จะใช้การถดถอยกับองค์ประกอบหลักเพื่อทำนายตัวแปรเอาต์พุตได้อย่างไร

ผมอ่านเกี่ยวกับพื้นฐานของการวิเคราะห์องค์ประกอบหลักจากtutorial1 , link1และlink2

ฉันมีชุดข้อมูลของตัวแปร 100 ตัว (รวมถึงตัวแปรเอาต์พุต Y) ฉันต้องการลดตัวแปรเป็น 40 โดย PCA แล้วทำนายตัวแปร Y โดยใช้ตัวแปร 40 ตัว

ปัญหาที่ 1:หลังจากได้รับส่วนประกอบหลักและเลือก 40 องค์ประกอบแรกถ้าฉันใช้การถดถอยบนฉันได้รับฟังก์ชั่นบางอย่างที่เหมาะกับข้อมูล แต่จะคาดเดาตัวแปร Y จากข้อมูลต้นฉบับได้อย่างไร? ในการทำนายตัวแปร YI มีตัวแปร (100-1) ที่อินพุตและฉันจะรู้ได้อย่างไรว่ามีตัวแปร 40 ตัวที่เลือกตัวแปร 100-1 ดั้งเดิมของฉันได้อย่างไร

ปัญหาที่ 2:ฉันกลับ PCA และรับข้อมูลกลับมาจากองค์ประกอบหลัก 40 รายการ แต่ข้อมูลมีการเปลี่ยนแปลงเพราะฉันเลือกเพียง 40 องค์ประกอบแรก การใช้การถดถอยกับข้อมูลเหล่านี้สมเหตุสมผลหรือไม่?

ฉันใช้ Matlab / Octave

คุณไม่ได้เลือกชุดย่อยของตัวแปร 99 (100-1) ดั้งเดิมของคุณ

องค์ประกอบหลักแต่ละรายการเป็นการรวมกันเชิงเส้นของตัวแปรทำนาย 99 ทั้งหมด (ตัวแปร x, IVs, ... ) ถ้าคุณใช้ครั้งแรก 40 ส่วนประกอบหลักในแต่ละส่วนของพวกเขาเป็นหน้าที่ของทุก 99 เดิมทำนายตัวแปร (อย่างน้อยกับ PCA ธรรมดา - มีเวอร์ชั่นที่กระจัดกระจาย / เป็นมาตรฐานเช่นSPCAของ Zou, Hastie และ Tibshirani ที่จะให้ส่วนประกอบตามตัวแปรที่น้อยลง)

พิจารณากรณีง่าย ๆ ของตัวแปรที่มีความสัมพันธ์เชิงบวกสองตัวซึ่งสำหรับความเรียบง่ายเราจะถือว่าเป็นตัวแปรที่เท่ากัน จากนั้นองค์ประกอบหลักแรกจะเป็น (เศษส่วน) ของผลรวมของทั้งสองตัวแปรและส่วนที่สองจะเป็น (เศษส่วน) ของความแตกต่างของทั้งสองตัวแปร; หากทั้งสองไม่ได้แปรผันเท่ากันส่วนประกอบหลักตัวแรกจะมีน้ำหนักมากขึ้นอีกตัวหนึ่งที่หนักกว่า แต่ก็จะยังคงเกี่ยวข้องกับทั้งคู่

ดังนั้นคุณเริ่มต้นด้วยตัวแปร 99 x ของคุณซึ่งคุณคำนวณส่วนประกอบหลัก 40 รายการโดยใช้น้ำหนักที่สอดคล้องกันกับตัวแปรดั้งเดิมแต่ละตัว [NB ในการสนทนาของฉันฉันถือว่าและนั้นอยู่กึ่งกลาง]$y$$X$

จากนั้นคุณใช้ตัวแปรใหม่ 40 ตัวราวกับว่าพวกมันเป็นตัวทำนายในแบบของตัวเองเช่นเดียวกับที่คุณมีปัญหาการถดถอยหลาย ๆ ครั้ง (ในทางปฏิบัติมีวิธีที่มีประสิทธิภาพมากกว่าในการประมาณค่า แต่ลองแยกแง่มุมการคำนวณออกจากกันและจัดการกับแนวคิดพื้นฐาน)

สำหรับคำถามที่สองของคุณยังไม่ชัดเจนว่าคุณหมายถึงอะไรโดย "การย้อนกลับของ PCA"

พีซีของคุณเป็นชุดค่าผสมของตัวแปรดั้งเดิม สมมติว่าความแปรปรวนดั้งเดิมของคุณอยู่ในและคุณคำนวณ (โดยที่คือและคือเมทริกซ์ซึ่งมีน้ำหนักส่วนประกอบหลักสำหรับองค์ประกอบที่คุณใช้) จากนั้นคุณ ประมาณการผ่านการถดถอย$X$$Z=XW$$X$$n\times 99$$W$$99\times 40$$40$$\hat{y}=Z\hat{\beta}_\text{PC}$

จากนั้นคุณสามารถเขียนพูด (ที่ไหน , แน่นอน) ดังนั้นคุณสามารถเขียนเป็นฟังก์ชันของตัวทำนายดั้งเดิมได้ ผมไม่ทราบว่าสิ่งที่คุณหมายโดย 'ย้อนกลับ' แต่มันเป็นวิธีที่มีความหมายที่จะดูที่ความสัมพันธ์ระหว่างเดิมและXมันไม่เหมือนกับค่าสัมประสิทธิ์ที่คุณได้รับจากการประมาณค่าการถดถอยของ X ดั้งเดิม - แน่นอนว่ามันเป็นมาตรฐานโดยการทำ PCA; แม้ว่าคุณจะได้ค่าสัมประสิทธิ์สำหรับ X ดั้งเดิมของคุณแต่ละตัวด้วยวิธีนี้พวกเขามีค่า df ของจำนวนส่วนประกอบที่คุณติดตั้งเท่านั้น$\hat{y}=Z\hat{\beta}_\text{PC}=XW\hat{\beta}_\text{PC}=X\hat{\beta}^*$$\hat{\beta}^*=W\hat{\beta}_\text{PC}$$y$$X$

ยังเห็นวิกิพีเดียถดถอยองค์ประกอบหลัก