วิธีคำนวณ SVD ของเมทริกซ์กระจัดกระจายขนาดใหญ่?

วิธีที่ดีที่สุดในการคำนวณการแยกย่อยค่าเอกเทศ (SVD) ของเมทริกซ์เชิงบวกที่มีขนาดใหญ่มาก (65M x 3.4M) คือที่ที่ข้อมูลกระจัดกระจายมาก?

เมทริกซ์น้อยกว่า 0.1% ไม่ใช่ศูนย์ ฉันต้องการวิธีที่:

• จะพอดีกับหน่วยความจำ (ฉันรู้ว่ามีวิธีการออนไลน์อยู่)
• จะถูกคำนวณในเวลาที่เหมาะสม: 3,4 วัน
• จะแม่นยำ แต่ความแม่นยำไม่ใช่ประเด็นหลักของฉันและฉันต้องการที่จะควบคุมปริมาณทรัพยากรที่ฉันใส่เข้าไป

มันจะดีถ้ามี Haskell, Python, C # และไลบรารี่ที่ใช้มัน ฉันไม่ได้ใช้ mathlab หรือ R แต่ถ้าจำเป็นฉันสามารถไปกับ R ได้

ถ้ามันเหมาะกับหน่วยความจำให้สร้างเมทริกซ์แบบกระจายใน R โดยใช้แพ็คเกจเมทริกซ์แล้วลองirlbaสำหรับ SVD คุณสามารถระบุจำนวนเวกเตอร์เอกพจน์ที่คุณต้องการในผลลัพธ์ซึ่งเป็นอีกวิธีหนึ่งในการ จำกัด การคำนวณ

นั่นเป็นเมทริกซ์ที่ค่อนข้างใหญ่ แต่ฉันเคยได้ผลลัพธ์ที่ดีมากกับวิธีนี้ในอดีต irlbaสวยล้ำสมัย จะใช้ขั้นตอนวิธีการเริ่มต้นใหม่โดยปริยาย Lanczos สอง diagonalization

สามารถเคี้ยวผ่านชุดข้อมูลรางวัล netflix (480,189 แถวคูณ 17,770 คอลัมน์, 100,480,507 รายการที่ไม่ใช่ศูนย์) ในหน่วยมิลลิวินาที ชุดข้อมูลของคุณใหญ่กว่าชุดข้อมูล Netflix ~ 200,000 เท่าดังนั้นจึงใช้เวลานานกว่านั้นมาก อาจมีเหตุผลที่คาดว่าจะสามารถทำการคำนวณได้ในสองสามวัน

1. Apache Spark: https://spark.apache.org/docs/1.1.0/mllib-data-types.html
2. Mahout Samsara (ออกจากแกนกลางทำงานเหนือ Spark และอื่น ๆ ): https://mahout.apache.org/users/environment/out-of-core-reference.html
3. SciDB (สำหรับข้อมูลขนาดใหญ่จริง ๆ ): http://www.paradigm4.com/scidb-how-linear-algebra-operations-scale/