ความแตกต่างระหว่างการใช้งาน scikit-Learn ของ PCA และ TruncatedSVD

ฉันเข้าใจความสัมพันธ์ระหว่างการวิเคราะห์องค์ประกอบหลักและการสลายตัวของค่าเอกพจน์ในระดับพีชคณิต / แน่นอน คำถามของฉันเป็นเรื่องเกี่ยวกับการดำเนินงาน scikit เรียนรู้

เอกสารกล่าวว่า: " [TruncatedSVD] คล้ายกับ PCA มาก แต่ทำงานกับเวกเตอร์ตัวอย่างโดยตรงแทนที่จะเป็นเมทริกซ์ความแปรปรวนร่วม " ซึ่งจะสะท้อนความแตกต่างพีชคณิตระหว่างทั้งสองวิธี อย่างไรก็ตามภายหลังได้กล่าวว่า: " ตัวประมาณนี้ [TruncatedSVD] รองรับสองอัลกอริทึม: ตัวแก้ SVD แบบสุ่มที่รวดเร็วและอัลกอริทึม“ ไร้เดียงสา” ที่ใช้ ARPACK เป็น eigensolver บน (X * XT) หรือ (XT * X) มีประสิทธิภาพ ". เกี่ยวกับPCAมันบอกว่า: "การลดขนาดเชิงเส้นโดยใช้การแยกส่วนประกอบของข้อมูลเพื่อฉายภาพ ... " และการติดตั้ง PCA รองรับสองอัลกอริทึม (สุ่มและ ARPACK) ตัวแก้ปัญหาบวกอีกหนึ่ง LAPACK เมื่อมองดูโค้ดฉันจะเห็นว่าทั้ง ARPACK และ LAPACK ทั้งใน PCA และ TruncatedSVD ทำ svd บนข้อมูลตัวอย่าง X, ARPACK สามารถจัดการกับเมทริกซ์กระจัดกระจาย (ใช้ svds)

ดังนั้นนอกเหนือจากคุณสมบัติและวิธีการที่แตกต่างกันและ PCA ยังสามารถทำการแยกสลายค่าเอกพจน์ที่แน่นอนโดยใช้ LAPACK, PCA และ TruncatedSVD การใช้งาน scikit-Learn ดูเหมือนจะเป็นอัลกอริทึมเดียวกัน คำถามแรก: ถูกต้องหรือไม่

คำถามที่สอง: แม้ว่า LAPACK และ ARPACK ใช้ scipy.linalg.svd (X) และ scipy.linalg.svds (X) เป็น X เมทริกซ์ตัวอย่างพวกเขาคำนวณการสลายตัวของเอกพจน์หรือ eigen-decomposition ของหรือภายใน ในขณะที่ตัวแก้แบบ "สุ่ม" ไม่จำเป็นต้องคำนวณผลิตภัณฑ์ (สิ่งนี้เกี่ยวข้องกับความมั่นคงเชิงตัวเลขดูที่เหตุใด PCA ของข้อมูลโดยใช้ SVD ของข้อมูล ) ถูกต้องหรือไม่X ∗ X $X^T*X$$X*X^T$

รหัสที่เกี่ยวข้อง: บรรทัดPCA 415 ตัดบรรทัดSVD 137

PCA และ TruncatedSVD การใช้งาน scikit-Learn ดูเหมือนจะเป็นอัลกอริทึมเดียวกัน

ไม่: PCA คือ (ตัดทอน) SVD สำหรับข้อมูลกึ่งกลาง (โดยการลบค่าเฉลี่ยต่อคุณลักษณะ) หากข้อมูลอยู่กึ่งกลางทั้งสองคลาสจะทำเช่นเดียวกัน

ในทางปฏิบัติTruncatedSVDมีประโยชน์ในชุดข้อมูลขนาดใหญ่กระจัดกระจายซึ่งไม่สามารถอยู่กึ่งกลางได้โดยไม่ทำให้การใช้หน่วยความจำระเบิด

• numpy.linalg.svdและscipy.linalg.svdทั้งคู่พึ่งพา LAPACK _GESDD อธิบายไว้ที่นี่: http://www.netlib.org/lapack/lug/node32.html (ไดรเวอร์หารและพิชิต)

• scipy.sparse.linalg.svdsอาศัย ARPACK เพื่อทำการแบ่งแยกค่า eigen ของ XT X หรือ X XT (ขึ้นอยู่กับรูปร่างของข้อมูล) ผ่านวิธีการวนซ้ำของ Arnoldi คู่มือผู้ใช้ HTML ของ ARPACK มีการจัดรูปแบบที่ไม่สมบูรณ์ซึ่งซ่อนรายละเอียดการคำนวณไว้ แต่การทำซ้ำของ Arnoldi ได้รับการอธิบายอย่างดีในวิกิพีเดีย: https://en.wikipedia.org/wiki/Arnoldi_iteration

นี่คือรหัสสำหรับ SVD-based SVD ใน scipy:

https://github.com/scipy/scipy/blob/master/scipy/sparse/linalg/eigen/arpack/arpack.py#L1642 (ค้นหาสตริงสำหรับ "def svds" ในกรณีที่มีการเปลี่ยนแปลงบรรทัดในซอร์สโค้ด )