เมื่อใดที่คุณจะใช้ PCA แทน LDA ในการจำแนกประเภท

ฉันกำลังอ่านบทความนี้เกี่ยวกับความแตกต่างระหว่างการวิเคราะห์องค์ประกอบหลักและการวิเคราะห์จำแนกหลายอย่าง (การวิเคราะห์จำแนกเชิงเส้น) และฉันพยายามเข้าใจว่าทำไมคุณถึงใช้ PCA แทน MDA / LDA

คำอธิบายสรุปได้ดังนี้

การพูดอย่างคร่าวๆใน PCA เรากำลังพยายามหาแกนที่มีความแปรปรวนสูงสุดซึ่งเป็นข้อมูลที่แพร่กระจายมากที่สุด (ภายในคลาสเนื่องจาก PCA ปฏิบัติต่อชุดข้อมูลทั้งหมดเป็นหนึ่งคลาส) และใน MDA เรายังเพิ่มการแพร่กระจายระหว่างชั้นเรียนเพิ่มเติม

คุณไม่ต้องการที่จะเพิ่มความแปรปรวนสูงสุดและเพิ่มการแพร่กระจายระหว่างคลาสให้สูงสุดหรือไม่?

คุณพลาดอะไรไปกว่านี้: PCA ไม่ใช่วิธีการจัดหมวดหมู่

PCA ในการเรียนรู้ของเครื่องถือเป็นวิธีการทางวิศวกรรมคุณสมบัติ เมื่อคุณใช้ PCA กับข้อมูลของคุณคุณจะรับประกันว่าจะไม่มีความสัมพันธ์ระหว่างคุณสมบัติที่ได้ อัลกอริทึมการจำแนกประเภทจำนวนมากได้รับประโยชน์จากสิ่งนั้น

คุณต้องจำไว้เสมอว่าอัลกอริธึมอาจมีข้อสมมติฐานเกี่ยวกับข้อมูลและหากสมมติฐานดังกล่าวไม่ถือพวกเขาอาจมีประสิทธิภาพต่ำกว่า

LDA ต้องคำนวณผกผันแปรปรวนเมทริกซ์เพื่อฉายข้อมูล (ตรวจสอบหัวข้อและคำตอบเหล่านี้: ควร PCA จะดำเนินการก่อนที่ผมจะทำจำแนก?และไม่ได้ทำให้ความรู้สึกที่จะรวม PCA และ LDA? ) หากคุณมีข้อมูลน้อยนี่เป็นสิ่งที่ไม่เสถียรและคุณได้รับการคาดการณ์ที่มากเกินไปไปยังจุดข้อมูลของคุณเช่นเมทริกซ์ความแปรปรวนร่วมแบบเอกพจน์ภายในคลาส PCA มักจะถูกใช้เพื่อหลีกเลี่ยงปัญหาดังกล่าวซึ่งช่วยลดปัญหามิติ

ดังนั้นคำตอบคือคุณไม่เคยใช้ PCA ในการจำแนกประเภท แต่คุณสามารถใช้มันเพื่อพยายามปรับปรุงประสิทธิภาพของ LDA

ในขณะที่คำตอบก่อนหน้าโดย Firebug ถูกต้องฉันต้องการเพิ่มมุมมองอื่น:

การเรียนรู้แบบไม่ควบคุมกับผู้เรียน:

LDA มีประโยชน์อย่างมากในการค้นหามิติที่มุ่งเป้าไปที่การแยกกลุ่มดังนั้นคุณจะต้องรู้จักกลุ่มก่อน LDA ไม่ใช่ตัวจําแนกโดยไม่จําเป็น แต่สามารถใช้เป็นตัวแยกประเภทได้ ดังนั้น LDA สามารถใช้ในการเรียนรู้แบบมีผู้สอนเท่านั้น

PCA เป็นวิธีการทั่วไปสำหรับdenoisingและการลดขนาดและไม่ต้องการข้อมูลเพิ่มเติมใด ๆ เช่นป้ายกำกับของชั้นเรียนในการเรียนรู้แบบมีผู้สอน ดังนั้นจึงสามารถนำไปใช้ในการเรียนรู้แบบไม่มีผู้ดูแล

LDA ใช้เพื่อแกะสลักพื้นที่หลายมิติ

PCA ใช้เพื่อยุบพื้นที่หลายมิติ

ตัวอย่างเช่น: วัตถุ 3 มิติใช้เงา 2 มิติ PCA มักจะช่วยให้เราสามารถยุบมิติเชิงพื้นที่หลายร้อยมิติไปสู่มิติเชิงพื้นที่จำนวนหนึ่งที่น้อยลงในขณะที่รักษาข้อมูลที่สำคัญไว้ 70% - 90%

ฉันจะเห็นขนาดและรูปร่างของมือคุณจากเงาของมันได้อย่างไร ฉันไม่สามารถบอกคุณทุกอย่างเกี่ยวกับรูปร่างของมือของคุณ แต่ด้วยการสะสมของเงา 3 หรือ 4 อันจากมุมที่เหมาะสมที่สุด จากนั้นฉันสามารถบอกคุณได้มากที่สุดเกี่ยวกับขนาดและรูปร่างของมือ