มีข้อได้เปรียบของ SVD บน PCA หรือไม่?

ฉันรู้วิธีการคำนวณ PCA และ SVD ทางคณิตศาสตร์และฉันรู้ว่าทั้งสองสามารถนำไปใช้กับการถดถอยเชิงเส้นสแควร์น้อยที่สุด

ข้อได้เปรียบหลักของ SVD ในทางคณิตศาสตร์ดูเหมือนว่าสามารถนำไปใช้กับเมทริกซ์ที่ไม่ได้เป็นแบบสแควร์ได้

ทั้งสองมุ่งเน้นไปที่การสลายตัวของเมทริกซ์นอกเหนือจากข้อได้เปรียบของ SVD ที่กล่าวมามีข้อได้เปรียบหรือข้อมูลเชิงลึกเพิ่มเติมใด ๆ จากการใช้ SVD ผ่าน PCA หรือไม่ $X^\top X$

ฉันกำลังมองหาสัญชาตญาณมากกว่าความแตกต่างทางคณิตศาสตร์

pca least-squares svd

— Baz
แหล่งที่มา

คำถามไม่ชัดเจน ก่อนอื่นคุณพูดถึง OLS regression จากนั้นจะหายไป ถัดไปadvantage... SVD over PCA- svd และ PCA ไม่สามารถเปรียบเทียบเป็นการดำเนินการทางคณิตศาสตร์และวิธีการวิเคราะห์ข้อมูล คำถามของคุณเป็นสิ่งที่เกี่ยวกับวิธีการทำ PCAหรือไม่ หรือคุณจะถามอะไร

— ttnphns

ขออภัยที่ไม่ชัดเจน ฉันมีตัวประมาณประเภทสันที่ได้มาโดยใช้ PCA และอื่น ๆ ที่ใช้ SVD มีความแตกต่างในวิธีการตั้งค่ารุ่นคือเงื่อนไขของข้อมูลก่อนหน้านี้ที่พวกเขาใช้ แต่พวกเขาเขียนโดยผู้เขียนคนเดียวกัน ฉันพยายามเข้าใจความแตกต่างระหว่างพวกเขาและพยายามคิดว่าทำไมเขาถึงใช้ PCA กับ SVD เป็นพื้นฐานสำหรับการวิเคราะห์ของเขา บางทีมันอาจเป็นกฎเกณฑ์ก็ได้ แต่ถ้าฉันสามารถเข้าใจข้อดีข้อเสียมันจะช่วยได้ จนถึงตอนนี้ดูเหมือนว่า SVD เป็นเพียงวิธีการทำ PCA ที่มีแนวโน้มที่จะมีเสถียรภาพเชิงตัวเลขมากขึ้น

— Baz

ไม่เป็นไร แต่ฉันก็สงสัยว่าการใช้ SVD จะสร้างความเข้าใจเชิงลึกทางด้านเศรษฐศาสตร์ / สัญชาตญาณของปัญหาเพิ่มเติมหรือไม่

— Baz

หากคุณต้องการเน้นเฉพาะเรื่องเศรษฐมิติฉันคิดว่าคุณต้องสะกดคำนั้นในคำถามและอธิบายว่าทำไม ฉันไม่สามารถเห็นได้ว่าการสนทนาของ SVD และ PCA ซึ่งเป็นสัตว์ประเภทต่าง ๆ นั้นแตกต่างกันสำหรับเศรษฐมิติมากกว่าวิทยาศาสตร์สาขาสถิติอื่น ๆ

— Nick Cox

@Baz: "จนถึงตอนนี้ดูเหมือนว่า SVD เป็นเพียงวิธีการทำ PCA ที่มีแนวโน้มที่จะมีเสถียรภาพมากขึ้นเป็นตัวเลข" - [ในบริบทนี้] มันถูกต้องใช่

— อะมีบาพูดว่า Reinstate Monica

คำตอบ:

ดังที่ @ttnphns และ @ nick-cox กล่าวว่า SVD เป็นวิธีการเชิงตัวเลขและ PCA เป็นวิธีการวิเคราะห์ (เช่นกำลังสองน้อยที่สุด) คุณสามารถทำ PCA โดยใช้ SVD หรือคุณสามารถทำ PCA เพื่อทำการสลาย eigen ของ (หรือ ) หรือคุณสามารถทำได้ PCA โดยใช้วิธีการอื่น ๆ อีกมากมายเหมือนกับที่คุณสามารถแก้ปัญหากำลังสองน้อยที่สุด เช่นวิธีการของนิวตันหรือการไล่ระดับสีหรือ SVD เป็นต้น $X^T X$ $X X^T$

ดังนั้นจึงไม่มี "ข้อได้เปรียบ" สำหรับ SVD ผ่าน PCA เพราะมันเหมือนถามว่าวิธีของนิวตันดีกว่ากำลังสองน้อยหรือไม่: สองวิธีนี้ไม่สามารถเปรียบเทียบกันได้

— purple51
แหล่งที่มา

ตัวอย่างที่ดีของคำตอบสั้น ๆ ที่กระชับยังคงเป็นหัวใจของคำถาม

— Nick Cox

ว้าวมี 8 upvotes สำหรับคำตอบนี้และ 0 upvotes สำหรับคำถามเดิม สิ่งนี้ไม่สมเหตุสมผล หากคุณโหวตขึ้นคำตอบลองพิจารณาอัปเดตคำถามด้วย!

— อะมีบาพูดว่า Reinstate Monica

@amoeba คำถามที่ฉันสับสน คำตอบนั้นชัดเจนว่าความสับสนคืออะไร ฉันคิดว่านั่นเป็นคำอธิบายที่ดีสำหรับความแตกต่างของคะแนนโหวต

— Nick Cox

จริงๆแล้วจะมีความคล่องแคล่วมากขึ้น SVD ไม่ใช่วิธีเชิงตัวเลขต่อมันเป็นการดำเนินการพีชคณิตเชิงเส้นซึ่งสามารถนำมาใช้โดยใช้วิธีการเชิงตัวเลขเฉพาะที่เกี่ยวข้องกับสิ่งต่าง ๆ เช่นการแปลงเจ้าของ ...

— purple51

แต่ข้อดีของ (เมื่อได้รับส่วนประกอบหลักผ่าน) SVD เป็นตัวเลข: ความแม่นยำมากขึ้น ดูตัวอย่าง Jolliffe (2002) อาจ

— Nikos Alexandris

คำถามนี้ถามว่าคุณควรทำการปรับมาตรฐาน Z ให้เป็นมาตรฐานก่อนที่จะใช้ SVD หรือไม่ นี่เป็นเพราะ PCA เป็นการเปลี่ยนแปลงข้างต้นตามด้วย SVD บางครั้งการทำ Normalization นั้นค่อนข้างอันตราย หากข้อมูลของคุณเป็นตัวอย่าง (เปลี่ยนรูป) จำนวนคำที่เป็นบวกการลบค่าเฉลี่ยนั้นเป็นอันตรายอย่างแน่นอน เนื่องจากเลขศูนย์ซึ่งแสดงถึงการไม่มีคำในเอกสารจะถูกแมปกับจำนวนลบที่มีขนาดสูง ในปัญหาเชิงเส้นควรใช้ขนาดที่สูงขึ้นเพื่อแสดงช่วงที่คุณสมบัติของคุณละเอียดอ่อนที่สุด การหารด้วยค่าเบี่ยงเบนมาตรฐานจะเป็นอันตรายต่อข้อมูลประเภทนี้

— Stefan Savev
แหล่งที่มา

นี่เป็นตัวอย่างที่น่าสนใจ แต่ฉันเชื่อว่ามันควรจะเป็นของเธรดอื่น ๆ PCA สามารถทำได้โดยไม่ต้องให้คะแนน z ดังนั้นฉันไม่เห็นด้วยประโยคแรกของคุณ: นั่นไม่ใช่สิ่งที่คำถามนี้คือ "ถามจริง ๆ "

— อะมีบาพูดว่า Reinstate Monica

PCA และ SVD จะเหมือนกันถ้าคุณไม่สนใจวิธีลบ (นี่คือการให้คะแนน Z ที่ฉันพูดถึงบางครั้งผู้คนให้ PCA ด้วยการหารด้วย stdev) ฉันไม่เห็นด้วยที่คุณสามารถทำ PCA ได้โดยไม่ต้องลบค่าเฉลี่ย คุณสามารถทำ PCA กับเมทริกซ์ที่ไม่ใช่สแควร์ได้เช่นกัน

— Stefan Savev