เอกสารสำคัญเกี่ยวกับการย่อยสลายเมทริกซ์

ฉันเพิ่งอ่านหนังสือของ Skillicorn เกี่ยวกับการย่อยสลายเมทริกซ์และผิดหวังเล็กน้อยเนื่องจากเป็นเป้าหมายสำหรับผู้ชมระดับปริญญาตรี ฉันต้องการรวบรวม (สำหรับตัวฉันเองและคนอื่น ๆ ) โดยสังเขปสั้น ๆ เกี่ยวกับเอกสารสำคัญ (การสำรวจ แต่ยังรวมถึงเอกสารที่ก้าวหน้า) เกี่ยวกับการย่อยสลายเมทริกซ์ สิ่งที่ฉันมีอยู่ในใจเป็นหลักคือบางสิ่งบางอย่างใน SVD / PCA (และตัวแปรที่แข็งแกร่ง / กระจัดกระจาย) และ NNMF เนื่องจากมีการใช้งานมากที่สุด คุณมีคำแนะนำ / ข้อเสนอแนะหรือไม่? ฉันถือของฉันไม่อคติคำตอบ ฉันขอให้ จำกัด คำตอบให้กับกระดาษ 2-3 ข้อ

PS: ผมหมายถึงทั้งสอง decompositions เป็นที่ใช้มากที่สุดในการวิเคราะห์ข้อมูล แน่นอนว่า QR, Cholesky, LU และ polar มีความสำคัญมากในการวิเคราะห์เชิงตัวเลข นั่นไม่ใช่จุดเน้นของคำถามของฉัน

คุณจะรู้ได้อย่างไรว่า SVD และ NMF นั้นเป็นเมทริกซ์ที่ใช้กันมากที่สุดแทนที่จะเป็น LU, Cholesky และ QR 'การพัฒนา' ที่ชื่นชอบส่วนตัวของฉันจะต้องเป็นอัลกอริทึม QR เปิดเผยอันดับรับประกัน

• ชานโทนี่เอฟ "อันดับเปิดเผยข้อมูล QR" พีชคณิตเชิงเส้นและแอปพลิเคชั่นเล่ม 88-89, เมษายน 2530, หน้า 67-82 DOI: 10.1016 / 0024-3795 (87) 90103-0

... การพัฒนาความคิดก่อนหน้าของ QR ด้วยการหมุนคอลัมน์:

• Businger, Peter; Golub, Gene H. (1965) โซลูชั่นกำลังสองน้อยเชิงเส้นโดยการแปลงเจ้าของ Numerische Mathematikเล่มที่ 7, หมายเลข 3, 269-276, DOI: 10.1007 / BF01436084

A ( ?) ตำราคลาสสิก:

• Golub, ยีน H.; สินเชื่อแวน, ชาร์ลส์เอฟ (1996) เมทริกซ์คำนวณ (3rd ed.), Johns Hopkins, ไอ978-0-8018-5414-9

(ฉันรู้ว่าคุณไม่ได้ขอหนังสือเรียน แต่ฉันไม่สามารถต้านทานได้)

แก้ไข: googling อีกเล็กน้อยพบกระดาษที่มีบทคัดย่อแสดงให้เห็นว่าเราอาจจะเป็นเรื่องเล็กน้อยที่ข้าม porpoises ข้อความด้านบนของฉันมาจากมุมมอง 'พีชคณิตเชิงเส้นเชิงตัวเลข' (NLA) คุณอาจกังวลมากกว่านี้กับมุมมอง 'สถิติที่ใช้ / psychometrics' (AS / P) คุณช่วยอธิบายได้ไหม?

• Lawrence Hubert, Jacqueline Meulman และ Willem Heiser วัตถุประสงค์สองประการสำหรับการแยกตัวประกอบเมทริกซ์: การประเมินคุณค่าทางประวัติศาสตร์ SIAM รีวิวฉบับที่ 42, ฉบับที่ 1 (มี.ค. , 2000), หน้า 68-82

สำหรับ NNMF นั้น Lee และ Seung อธิบายถึงอัลกอริธึมซ้ำ ๆ ซึ่งง่ายมากในการนำไปใช้ ที่จริงแล้วพวกมันให้อัลกอริธึมที่คล้ายกันสองอันอันหนึ่งสำหรับการลดบรรทัดฐาน Frobenius ของสิ่งตกค้างอีกอันหนึ่งเพื่อลด Kullback-Leibler Divergence ของการประมาณและเมทริกซ์ดั้งเดิม

• Daniel Lee, H. Sebastian Seung, อัลกอริทึมสำหรับการแยกตัวประกอบเมทริกซ์ที่ไม่เป็นลบ,ความก้าวหน้าในระบบประมวลผลข้อมูลประสาท 13: การดำเนินการของการประชุม 2000 กด MIT pp. 556–562

บางทีคุณอาจพบว่าน่าสนใจ

1. [เรียนรู้ด้วยเมทริกซ์ Factorizations]วิทยานิพนธ์ระดับปริญญาเอกโดย Nathan Srebro
2. [การตรวจสอบวิธีการแยกตัวประกอบเมทริกซ์ที่หลากหลายสำหรับระบบผู้แนะนำขนาดใหญ่] , GáborTakács et.al. และเกือบเทคนิคเดียวกันอธิบายไว้ที่นี่

ลิงก์สองลิงค์สุดท้ายแสดงว่ามีการใช้เมทริกซ์แบบกระจายข้อเท็จจริงในการกรองแบบร่วมมือกันได้อย่างไร อย่างไรก็ตามฉันเชื่อว่าอัลกอริธึมการแยกตัวประกอบแบบ SGD จะมีประโยชน์ในที่อื่น (อย่างน้อยพวกมันก็ง่ายในการเขียนโค้ด)

Witten, Tibshirani - การสลายตัวของเมทริกซ์ถูกลงโทษ

http://www.biostat.washington.edu/~dwitten/Papers/pmd.pdf

http://cran.r-project.org/web/packages/PMA/index.html

Martinsson, Rokhlin, Szlam, Tygert - SVD แบบสุ่ม

http://cims.nyu.edu/~tygert/software.html

http://cims.nyu.edu/~tygert/blanczos.pdf

ที่ปีนี้NIPSมีกระดาษสั้น ๆ เกี่ยวกับการกระจายขนาดใหญ่มาก SVD ที่ทำงานในบัตรเดียวมากกว่าเมทริกซ์การป้อนข้อมูลสตรีมมิ่ง

การใช้งานที่มุ่งเน้นมากขึ้นกระดาษ แต่ใส่สิ่งในมุมมองกับเวลานาฬิกาแขวนจริงและ ตารางใกล้จุดเริ่มต้นเป็นการสำรวจที่ดีเช่นกัน