องค์ประกอบหลักแรกไม่ได้แยกคลาส แต่พีซีเครื่องอื่นทำ เป็นไปได้อย่างไร?

11

ฉันใช้ PCA ใน 17 ตัวแปรเชิงปริมาณเพื่อให้ได้ชุดของตัวแปรที่มีขนาดเล็กลงซึ่งเป็นองค์ประกอบหลักที่จะใช้ในการเรียนรู้ของเครื่องภายใต้การดูแลเพื่อแบ่งอินสแตนซ์ออกเป็นสองชั้น หลังจาก PCA บัญชี PC1 คิดเป็น 31% ของความแปรปรวนของข้อมูล PC2 คิดเป็น 17%, PC3 คิดเป็น 10%, PC4 คิดเป็น 8%, PC5 คิดเป็น 7% และ PC6 คิดเป็น 6%

อย่างไรก็ตามเมื่อฉันดูความแตกต่างของพีซีระหว่างสองคลาสน่าประหลาดใจที่ PC1 ไม่ได้แยกแยะระหว่างสองคลาสได้ดี พีซีที่เหลืออยู่เป็นตัวเลือกที่ดี นอกจากนี้ PC1 จะไม่เกี่ยวข้องเมื่อใช้ในต้นไม้ตัดสินใจซึ่งหมายความว่าหลังจากตัดแต่งกิ่งต้นไม้มันจะไม่ปรากฏแม้แต่ในต้นไม้ แผนผังประกอบด้วย PC2-PC6

มีคำอธิบายใด ๆ สำหรับปรากฏการณ์นี้หรือไม่? มันเป็นสิ่งที่ผิดปกติกับตัวแปรที่ได้รับหรือไม่?

— ฟรีด้า
แหล่งที่มา

5

อ่านคำถามล่าสุดนี้stats.stackexchange.com/q/79968/3277พร้อมลิงก์เพิ่มเติม เนื่องจาก PCA ไม่ทราบเกี่ยวกับการมีอยู่ของคลาสจึงไม่รับประกันว่าพีซีเครื่องใดจะเป็นผู้เลือกปฏิบัติที่ดีจริงๆ ยิ่ง PC1 นั้นจะเป็นผู้เลือกปฏิบัติที่ดี ดูเพิ่มเติมภาพสองภาพเป็นตัวอย่างที่นี่

— ttnphns

2

ดูเพิ่มเติมสิ่งที่สามารถทำให้ PCA ทวีความรุนแรงขึ้นผลของลักษณนาม? โดยเฉพาะอย่างยิ่งตัวเลขในคำตอบโดย @vqv

— อะมีบา

14

นอกจากนี้ยังสามารถเกิดขึ้นได้หากตัวแปรไม่ถูกปรับสัดส่วนให้มีความแปรปรวนของหน่วยก่อนทำ PCA ตัวอย่างเช่นสำหรับข้อมูลเหล่านี้ (โปรดสังเกตว่าสเกลเริ่มจากถึงในขณะที่จากเป็น ): $y$ $-0.5$ $1$ $x$ $-3$ $3$

ป้อนคำอธิบายรูปภาพที่นี่

PC1 มีค่าประมาณและบัญชีสำหรับความแปรปรวนเกือบทั้งหมด แต่ไม่มีอำนาจการเลือกปฏิบัติในขณะที่ PC2 คือและจำแนกอย่างสมบูรณ์ระหว่างคลาส $x$ $y$

— Flounderer
แหล่งที่มา

สวัสดีขอบคุณสำหรับคำตอบของคุณ! การปรับขนาดควรทำอย่างไร? (x-เฉลี่ย) / SD?

— Frida

ใช่ใน RI ใช้prcomp(x, center=T, scale=T)ซึ่งเหมือนกับการทำ (x-mean) / sd ในตัวอย่างนี้คุณจะพบว่าไม่มีองค์ประกอบหลักใดที่แยกแยะระหว่างคลาสได้ดี ใช้งานได้ก็ต่อเมื่อใช้ร่วมกัน

— Flounderer

ฉันเข้าใจว่าพีซีนั้นเสริม แต่มีคำอธิบายใด ๆ ความจริงแล้วนี่เป็นครั้งแรกที่ฉันจะได้รับ PC1 ที่อ่อนกว่าเมื่อเทียบกับคนอื่น ๆ

— Frida

@Frida: ความคิดเห็นของ ttnphns เป็นไปตามเป้าหมาย ดูen.wikipedia.org/wiki/Linear_discriminant_analysisวรรคสาม ในบางแง่มันเป็นโชคที่ PCA กลายเป็นประโยชน์บ่อยครั้ง

— Wayne

6

ฉันคิดว่าคำตอบและตัวอย่างที่ได้รับจาก @Flounderer บ่งบอกถึงสิ่งนี้ แต่ฉันคิดว่ามันคุ้มค่ากับการสะกดคำนี้ การวิเคราะห์องค์ประกอบหลัก (PCA) คือฉลาก (การจำแนกประเภท) โดยไม่สนใจ สิ่งที่ทำก็คือการแปลงข้อมูลมิติสูงเป็นพื้นที่มิติ มันอาจช่วยในการจำแนกความพยายามโดยตัวอย่างเช่นการสร้างชุดข้อมูลที่แยกได้ง่ายขึ้นโดยวิธีการเฉพาะ อย่างไรก็ตามนี่เป็นเพียงผลพลอยได้ (หรือผลข้างเคียง) ของ PCA

— Boris Gorelik
แหล่งที่มา

1

เมื่อเราทำการวิเคราะห์องค์ประกอบหลักส่วนประกอบหลักสอดคล้องกับทิศทางของความแปรปรวนสูงสุดพวกเขาไม่รับประกันการแบ่งแยกสูงสุดหรือแยกระหว่างชั้นเรียน

ดังนั้นองค์ประกอบที่ 2 ให้การจำแนกที่ดีหมายความว่าข้อมูลในทิศทางนั้นให้การแบ่งแยกระหว่างคลาสที่ดีขึ้น เมื่อคุณทำการวิเคราะห์ Discriminant เชิงเส้น (LDA) มันจะให้ส่วนประกอบทิศทางที่ดีที่สุดแก่คุณซึ่งจะเพิ่มระยะทางระหว่างคลาสให้มากที่สุดและลดระยะห่างระหว่างชั้นเรียน

ดังนั้นหากคุณทำ LDA กับข้อมูลแทนที่จะเป็น PCA อาจเป็นหนึ่งในองค์ประกอบแรก ๆ ที่ใกล้เคียงกับ PC6 มากกว่า PC1 หวังว่านี่จะช่วยได้

— Santanu_Pattanayak
แหล่งที่มา