มันเหมาะสมหรือไม่ที่จะรวม PCA และ LDA

สมมติว่าฉันมีชุดข้อมูลสำหรับงานการจัดหมวดหมู่ทางสถิติภายใต้การดูแลเช่นผ่านตัวจําแนกของ Bayes ชุดข้อมูลนี้ประกอบด้วย 20 ฟีเจอร์และฉันต้องการต้มให้เหลือ 2 ฟีเจอร์โดยใช้เทคนิคการลดขนาดเช่นการวิเคราะห์ส่วนประกอบหลัก (PCA) และ / หรือการวิเคราะห์เชิงเส้น (LDA)

เทคนิคทั้งสองกำลังฉายข้อมูลลงในพื้นที่ย่อยขนาดเล็ก: ด้วย PCA ฉันจะหาทิศทาง (ส่วนประกอบ) ที่เพิ่มความแปรปรวนในชุดข้อมูล (โดยไม่คำนึงถึงคลาสฉลาก) และด้วย LDA ฉันจะมีส่วนประกอบที่ขยายระหว่าง - คลาสแยก

ตอนนี้ฉันกำลังสงสัยว่าอย่างไรและทำไมเทคนิคเหล่านี้สามารถรวมกันและถ้ามันทำให้รู้สึก

ตัวอย่างเช่น:

1. แปลงชุดข้อมูลผ่าน PCA และฉายลงบนพื้นที่ว่างสองมิติใหม่
2. Transform (ชุด PCA-transformed) ชุดข้อมูลที่ผ่าน LDA เป็นค่าสูงสุด การแยกชั้นเรียน

หรือ

1. ข้ามขั้นตอน PCA และใช้ส่วนประกอบ 2 อันดับแรกจาก LDA

หรือชุดค่าผสมอื่น ๆ ที่เหมาะสม

สรุป: สามารถดำเนินการ PCA ก่อน LDA เพื่อทำให้ปัญหาเป็นปกติและหลีกเลี่ยงการปรับขนาดที่มากเกินไป

จำได้ว่าประมาณการ LDA คำนวณได้จาก eigendecomposition ของโดยที่ Σ Wและเป็นเมทริกซ์ความแปรปรวนร่วมระหว่างและภายในคลาส หากมีจุดข้อมูลน้อยกว่าจุด (โดยที่คือขนาดของพื้นที่ของคุณเช่นจำนวนคุณสมบัติ / ตัวแปร) ดังนั้นจะเป็นเอกพจน์ดังนั้นจึงไม่สามารถกลับด้านได้ ในกรณีนี้ไม่มีวิธีการที่จะดำเนินการ LDA โดยตรง แต่ถ้าใช้ PCA ก่อนมันจะใช้ได้ @Aaron ทำหมายเหตุนี้ในความคิดเห็นเพื่อตอบกลับของเขาและฉันเห็นด้วยกับที่ (แต่ไม่เห็นด้วยกับคำตอบของเขาโดยทั่วไปตามที่คุณจะเห็นตอนนี้) N Σ $\boldsymbol \Sigma_W^{-1} \boldsymbol \Sigma_B$$\boldsymbol \Sigma_W$$\boldsymbol \Sigma_B$$N$$N$$\boldsymbol \Sigma_W$

อย่างไรก็ตามนี่เป็นเพียงส่วนหนึ่งของปัญหา ภาพที่ใหญ่กว่าคือ LDA นั้นมีแนวโน้มที่จะทำให้ข้อมูลง่ายเกินไป โปรดทราบว่าเมทริกซ์ความแปรปรวนร่วมภายในคลาสจะกลับด้านในการคำนวณ LDA สำหรับเมทริกซ์ผกผันในระดับสูงเป็นการดำเนินการที่อ่อนไหวมากซึ่งสามารถทำได้อย่างน่าเชื่อถือหากการประเมินนั้นดีจริงๆ แต่ในมิติที่สูงมันยากจริงๆที่จะได้รับการประมาณที่แม่นยำของและในทางปฏิบัติเรามักจะต้องมีจุดข้อมูลมากกว่าจุดเพื่อเริ่มหวังว่าการประเมินนั้นดี มิฉะนั้นΣ W N » 1 Σ W$\boldsymbol \Sigma_W$$N \gg 1$$\boldsymbol \Sigma_W$$N$$\boldsymbol \Sigma_W$ จะเกือบเป็นเอกเทศ (เช่นค่าลักษณะเฉพาะบางอย่างจะต่ำมาก) และสิ่งนี้จะทำให้เกิดการปรับตัวที่เหมาะสมเช่นการแยกชั้นเรียนที่ใกล้เคียงกับข้อมูลการฝึกอบรมพร้อมกับประสิทธิภาพการทำงานของข้อมูลการทดสอบ

เพื่อจัดการกับปัญหานี้เราจำเป็นต้องทำให้ปัญหาเป็นปกติ วิธีหนึ่งในการทำคือใช้ PCA เพื่อลดมิติข้อมูลก่อน มีอีกคนเนื้อหาที่ดีขึ้นเช่นมีregularized LDA (rLDA) วิธีการซึ่งก็ใช้มีขนาดเล็กλแทนΣ W (เรียกว่าการหดตัวประมาณ ) แต่ทำ PCA แรกคือแนวคิด วิธีการที่ง่ายที่สุดและมักจะทำงานได้ดี$(1-\lambda)\boldsymbol \Sigma_W + \lambda \boldsymbol I$$\lambda$$\boldsymbol \Sigma_W$

ภาพประกอบ

นี่คือภาพประกอบของปัญหาการปรับตัวมากเกินไป ฉันสร้างตัวอย่าง 60 คลาสต่อคลาสใน 3 คลาสจากการแจกแจงแบบเกาส์มาตรฐาน (หมายถึงศูนย์, ความแปรปรวนของหน่วย) ในช่องว่าง 10, 50-, 100- และ 150 มิติและใช้ LDA เพื่อฉายข้อมูลบน 2D:

สังเกตว่าเมื่อมิติข้อมูลเติบโตขึ้นคลาสจะดีขึ้นและแยกออกได้ดีขึ้น แต่ในความเป็นจริงไม่มีความแตกต่างระหว่างคลาส

เราสามารถดูว่า PCA ช่วยป้องกันการ overfitting อย่างไรถ้าเราแยกชั้นเรียนออกเล็กน้อย ฉันเพิ่ม 1 ลงในพิกัดที่หนึ่งของชั้นหนึ่ง 2 ไปยังพิกัดที่หนึ่งของชั้นสองและ 3 ในพิกัดที่หนึ่งของชั้นสาม ตอนนี้พวกเขาจะถูกแยกออกจากกันเล็กน้อยให้ดูแผนย่อยด้านบนซ้าย:

การ overfitting (แถวบน) ยังคงชัดเจน แต่ถ้าฉันประมวลผลข้อมูลล่วงหน้าด้วย PCA ให้รักษา 10 มิติ (แถวล่าง) เสมอการหายไปมากเกินไปจะหายไปในขณะที่คลาสยังคงอยู่ใกล้กันมากที่สุด

PS เพื่อป้องกันความเข้าใจผิด: ฉันไม่ได้อ้างว่า PCA + LDA เป็นกลยุทธ์การทำให้เป็นมาตรฐานที่ดี (ตรงกันข้ามฉันจะแนะนำให้ใช้ rLDA) ฉันแค่แสดงให้เห็นว่ามันเป็นกลยุทธ์ที่เป็นไปได้

ปรับปรุง ก่อนหน้านี้หัวข้อที่คล้ายกันมากถูกกล่าวถึงในหัวข้อต่อไปนี้พร้อมคำตอบที่น่าสนใจและครอบคลุมโดย @cbeleites:

• ควรทำ PCA ก่อนที่ฉันจะจัดประเภทหรือไม่
• มันสมเหตุสมผลหรือไม่ที่จะรัน LDA ในหลาย ๆ องค์ประกอบหลักและไม่ใช่ตัวแปรทั้งหมด

ดูคำถามนี้ด้วยคำตอบที่ดี:

• อะไรจะทำให้ PCA เสื่อมเสียผลลัพธ์ของตัวจําแนก?

หากคุณมีปัญหาสองระดับ LDA จะพาคุณไปสู่มิติที่ 1 ไม่มีเหตุผลที่ต้องทำ PCA ก่อน