การใช้การวิเคราะห์องค์ประกอบหลัก (PCA) สำหรับการเลือกคุณสมบัติ

ฉันใหม่สำหรับการเลือกคุณสมบัติและฉันสงสัยว่าคุณจะใช้ PCA เพื่อดำเนินการเลือกคุณลักษณะอย่างไร PCA คำนวณคะแนนสัมพัทธ์สำหรับตัวแปรอินพุตแต่ละตัวที่คุณสามารถใช้เพื่อกรองตัวแปรอินพุตที่ไม่ใช่ข้อมูลหรือไม่? โดยทั่วไปฉันต้องการที่จะสามารถสั่งซื้อคุณสมบัติเดิมในข้อมูลตามความแปรปรวนหรือจำนวนข้อมูลที่มีอยู่

แนวคิดพื้นฐานเมื่อใช้ PCA เป็นเครื่องมือสำหรับการเลือกคุณสมบัติคือการเลือกตัวแปรตามขนาด (จากมากที่สุดไปหาน้อยที่สุดในค่าสัมบูรณ์) ของสัมประสิทธิ์ ( โหลด ) คุณอาจจำได้ว่า PCA พยายามที่จะแทนที่ตัวแปร (มีความสัมพันธ์มากขึ้นหรือน้อยลง) ด้วยชุดค่าผสมเชิงเส้นที่ไม่สัมพันธ์กัน (ประมาณการ) ของตัวแปรดั้งเดิม ให้เราไม่สนใจวิธีเลือกเหมาะสมที่สุดสำหรับปัญหาที่เกิดขึ้น องค์ประกอบหลักเหล่านั้นถูกจัดอันดับตามความสำคัญผ่านการอธิบายความแปรปรวนและตัวแปรแต่ละอย่างมีส่วนช่วยในระดับที่แตกต่างกันไปในแต่ละองค์ประกอบ การใช้เกณฑ์ผลต่างที่ใหญ่ที่สุดจะคล้ายกับการแยกคุณลักษณะ$p$$k<p$$k$$k$ โดยที่องค์ประกอบหลักถูกใช้เป็นคุณสมบัติใหม่แทนที่จะเป็นตัวแปรดั้งเดิม อย่างไรก็ตามเราสามารถตัดสินใจที่จะเก็บเฉพาะองค์ประกอบแรกและเลือกตัวแปรที่มีสัมประสิทธิ์สัมบูรณ์สูงสุด หมายเลขอาจขึ้นอยู่กับสัดส่วนของจำนวนตัวแปร (เช่นเก็บเฉพาะ 10% สูงสุดของตัวแปร ) หรือค่าตัดคงที่ (เช่นพิจารณาขีด จำกัด ของค่าสัมประสิทธิ์ปกติ) วิธีการนี้มีความคล้ายคลึงกับโอเปอเรเตอร์Lassoในการลงโทษที่ถูกลงโทษ (หรือการถดถอยPLS ) แม้ว่าค่าของหรือจำนวนขององค์ประกอบที่จะเก็บรักษาเป็นตัวเลือกที่ชัดเจน$j<p$$j$$p$$j$

ปัญหาเกี่ยวกับการใช้ PCA คือ (1) การวัดจากตัวแปรดั้งเดิมทั้งหมดถูกใช้ในการฉายภาพไปยังพื้นที่มิติด้านล่าง (2) พิจารณาเฉพาะความสัมพันธ์เชิงเส้นเท่านั้นและ (3) วิธีการที่ใช้ PCA หรือ SVD เช่นกัน เป็นวิธีการคัดกรองแบบ univariate (t-test, correlation, ฯลฯ ) อย่าคำนึงถึงธรรมชาติของตัวแปรหลายตัวแปรที่มีศักยภาพของโครงสร้างข้อมูล (เช่นการปฏิสัมพันธ์ระหว่างคำสั่งที่สูงขึ้นระหว่างตัวแปร)

เกี่ยวกับจุดที่ 1 มีการเสนอวิธีการคัดกรองที่ละเอียดยิ่งขึ้นบางตัวอย่างเช่นการวิเคราะห์คุณสมบัติหลักหรือวิธีการแบบขั้นตอนเช่นเดียวกับที่ใช้สำหรับ ' การโกนของยีน ' ในการศึกษาการแสดงออกของยีน นอกจากนี้อาจใช้PCA กระจัดกระจายเพื่อทำการลดขนาดและเลือกตัวแปรตามผลลัพธ์การโหลดตัวแปร เกี่ยวกับจุดที่ 2 เป็นไปได้ที่จะใช้เคอร์เนล PCA (ใช้เคล็ดลับเคอร์เนล ) หากจำเป็นต้องฝังความสัมพันธ์แบบไม่เชิงเส้นลงในพื้นที่มิติที่ต่ำกว่า ต้นไม้ตัดสินใจหรือดีกว่าป่าสุ่มขั้นตอนวิธีการอาจจะดีขึ้นสามารถที่จะแก้ปัญหาจุด 3. หลังจะช่วยให้ได้รับมา Gini- หรือเปลี่ยนแปลงตามมาตรการสำคัญตัวแปร

จุดสุดท้าย: หากคุณตั้งใจจะทำการเลือกคุณสมบัติก่อนที่จะใช้การจำแนกประเภทหรือแบบจำลองการถดถอยให้ตรวจสอบความถูกต้องของกระบวนการทั้งหมด (ดู .107.10.2 ขององค์ประกอบของการเรียนรู้ทางสถิติหรือAmbroise และ McLachlan, 2002 )

ในขณะที่คุณสนใจโซลูชัน R ฉันขอแนะนำให้ดูที่ชุดคาเร็ตซึ่งมีฟังก์ชันที่มีประโยชน์มากมายสำหรับการประมวลผลข้อมูลล่วงหน้าและการเลือกตัวแปรในบริบทการจำแนกหรือการถดถอย

ด้วยชุดของคุณสมบัติ N การวิเคราะห์ PCA จะสร้าง (1) การรวมกันเชิงเส้นของคุณสมบัติที่มีความแปรปรวนสูงสุด (องค์ประกอบ PCA แรก), (2) การรวมเชิงเส้นที่มีความแปรปรวนสูงสุดใน orthogonal subspace กับส่วนประกอบ PCA แรกเป็นต้น (ภายใต้ข้อ จำกัด ที่ค่าสัมประสิทธิ์ของชุดค่าผสมเป็นเวกเตอร์ที่มีค่าหน่วย) ไม่ว่าชุดค่าผสมเชิงเส้นที่มีความแปรปรวนสูงสุดเป็นคุณลักษณะ "ดี" หรือไม่นั้นขึ้นอยู่กับสิ่งที่คุณพยายามทำนาย ด้วยเหตุนี้ฉันจึงบอกว่าการเป็นองค์ประกอบ PCA และการมีคุณสมบัติ "ดี" คือ (โดยทั่วไป) สองแนวคิดที่ไม่เกี่ยวข้อง

คุณไม่สามารถสั่งซื้อฟีเจอร์ตามความแปรปรวนได้เนื่องจากความแปรปรวนที่ใช้ใน PCA นั้นเป็นเอนทิตีหลายมิติ คุณสามารถสั่งซื้อฟีเจอร์โดยการฉายความแปรปรวนไปยังทิศทางที่คุณเลือกเท่านั้น (ซึ่งโดยปกติคือคอมไพน์หลักตัวแรก) ดังนั้นในคำอื่น ๆ ว่าคุณลักษณะนั้นมีความแปรปรวนมากกว่าแอนเทอร์หรือไม่นั้นขึ้นอยู่กับวิธีที่คุณเลือกทิศทางการฉาย