อะไรคือข้อดีของการลดขนาดของตัวทำนายสำหรับวัตถุประสงค์ของการถดถอย

แอปพลิเคชันหรือข้อดีของการลดขนาดแบบถดถอย (DRR) หรือเทคนิคการลดขนาดแบบมิติ (SDR) ภายใต้เทคนิคแบบการถดถอยแบบดั้งเดิม (ไม่มีการลดขนาดแบบมิติ) คืออะไร? ระดับเทคนิคเหล่านี้ค้นหาการแทนค่ามิติต่ำของชุดคุณลักษณะสำหรับปัญหาการถดถอย ตัวอย่างของเทคนิคดังกล่าว ได้แก่ การถดถอยแบบผกผันแบบแบ่งส่วน, วิธีการหลักของ Hessian, การประมาณค่าความแปรปรวนเฉลี่ยแบบแบ่งส่วน, การถดถอยแบบผกผันเคอร์เนลแบบเคอร์เนล, การถดถอยส่วนประกอบหลักเป็นต้น

1. ในแง่ของ RMSE ที่ผ่านการตรวจสอบความถูกต้องแล้วหากอัลกอริทึมทำงานได้ดีขึ้นในงานการถดถอยโดยไม่ลดมิติใด ๆ แล้วการใช้มิติลดจริงสำหรับการถดถอยคืออะไร? ฉันไม่เข้าใจเทคนิคเหล่านี้

2. เทคนิคเหล่านี้มีโอกาสใช้เพื่อลดความซับซ้อนของพื้นที่และเวลาสำหรับการถดถอยหรือไม่? หากเป็นข้อได้เปรียบหลักทรัพยากรบางอย่างเกี่ยวกับการลดความซับซ้อนสำหรับชุดข้อมูลมิติสูงเมื่อใช้เทคนิคนี้จะมีประโยชน์ ฉันถกเถียงเรื่องนี้กับข้อเท็จจริงที่ว่าการใช้เทคนิค DRR หรือ SDR นั้นต้องใช้เวลาและพื้นที่ SDR / DRR + Regression นี้บนชุดข้อมูลที่มีความสลัวต่ำกว่าเร็วกว่าเฉพาะชุดข้อมูลที่มีความสลัวสูงหรือไม่

3. การตั้งค่านี้ได้รับการพิจารณาจากความสนใจเชิงนามธรรมเท่านั้นและไม่มีแอปพลิเคชันที่ใช้งานได้จริงหรือไม่?

ตามความคิดด้านข้าง: บางครั้งมีข้อสันนิษฐานว่าการกระจายตัวของคุณสมบัติและการตอบสนองอยู่บนความหลากหลาย มันทำให้รู้สึกถึงการเรียนรู้หลากหลายจากตัวอย่างที่สังเกตในบริบทนี้สำหรับการแก้ปัญหาการถดถอย$X$$Y$

ตามสมมติฐานที่หลากหลายข้อมูลจะถูกสมมติว่าอยู่บนท่อร่วมที่มีมิติต่ำความหมายที่เหลือคือเสียงดังนั้นหากคุณทำการลดขนาดอย่างถูกต้องคุณควรปรับปรุงประสิทธิภาพโดยการสร้างแบบจำลองสัญญาณแทนเสียงรบกวน มันไม่ใช่แค่คำถามเกี่ยวกับพื้นที่และความซับซ้อน

วัตถุประสงค์ของการลดขนาดในการถดถอยคือการทำให้เป็นปกติ

เทคนิคส่วนใหญ่ที่คุณระบุไว้ไม่เป็นที่รู้จัก ฉันไม่เคยได้ยินเกี่ยวกับสิ่งเหล่านี้นอกเหนือจากการวิเคราะห์ส่วนประกอบหลัก (PCR) ดังนั้นฉันจะตอบกลับเกี่ยวกับ PCR แต่คาดว่าจะใช้กับเทคนิคอื่นเช่นกัน

คำสองคำที่สำคัญที่นี่มีการoverfittingและกู สำหรับการรักษาระยะยาวและการอภิปรายฉันแนะนำคุณให้รู้จักกับ องค์ประกอบของการเรียนรู้ทางสถิติแต่สั้น ๆ จะเกิดอะไรขึ้นถ้าคุณมีตัวทำนายจำนวนมาก ( ) และตัวอย่างไม่เพียงพอ ( ) คือการถดถอยมาตรฐานจะเหมาะสมกับข้อมูลมากเกินไปสร้างแบบจำลองที่ดูเหมือนว่าจะมีประสิทธิภาพที่ดีในชุดฝึกอบรม แต่จริงๆแล้วมีประสิทธิภาพต่ำในชุดทดสอบใด ๆ$p$$n$

ในตัวอย่างมากเมื่อจำนวนของการพยากรณ์เกินกว่าจำนวนของกลุ่มตัวอย่าง (คนเรียกมันว่าจะปัญหา) คุณสามารถจริงอย่างสมบูรณ์แบบพอดีๆตัวแปรตอบสนองบรรลุดูเหมือนผลการดำเนินงาน นี่เป็นเรื่องไร้สาระอย่างชัดเจนY 100 $p>n$$y$$100\%$

เพื่อจัดการกับ overfitting หนึ่งต้องใช้normalizationและมีมากมาย normalization กลยุทธ์ ในบางวิธีเราพยายามลดจำนวนผู้ทำนายอย่างมากลดปัญหาให้กับสถานการณ์จากนั้นใช้การถดถอยมาตรฐาน นี่คือสิ่งที่การถดถอยองค์ประกอบหลักทำ โปรดดูองค์ประกอบส่วน 3.4--3.6 PCR นั้นมักจะไม่ดีพอและโดยส่วนใหญ่แล้ววิธีการทำให้เป็นมาตรฐานอื่น ๆ จะทำงานได้ดีกว่า แต่ก็ง่ายที่จะเข้าใจและตีความ$p\ll n$

โปรดทราบว่า PCR นั้นไม่ได้เป็นไปตามอำเภอใจเช่นกัน (เช่นการรักษาขนาดไว้โดยสุ่ม เหตุผลนี้เป็นเพราะ PCR เชื่อมต่ออย่างใกล้ชิดกับสันเขาถดถอยซึ่งเป็น regularizer การหดตัวมาตรฐานที่เป็นที่รู้จักกันว่าทำงานได้ดีในหลายกรณี ดูคำตอบของฉันที่นี่เพื่อเปรียบเทียบ: ความสัมพันธ์ระหว่างการถดถอยสันเขาและ PCA ถดถอย$p$

หากต้องการดูประสิทธิภาพเพิ่มขึ้นเมื่อเทียบกับการถดถอยมาตรฐานคุณต้องมีชุดข้อมูลที่มีตัวทำนายจำนวนมากและตัวอย่างไม่มากนักและคุณจำเป็นต้องใช้การตรวจสอบความถูกต้องข้ามหรือชุดการทดสอบอิสระอย่างแน่นอน หากคุณไม่เห็นประสิทธิภาพเพิ่มขึ้นชุดข้อมูลของคุณอาจมีขนาดไม่เพียงพอ

หัวข้อที่เกี่ยวข้องกับคำตอบที่ดี:

• การถดถอยในการตั้งค่า (การทำนายประสิทธิภาพของยาจากการแสดงออกของยีนด้วยเครื่องทำนาย 30k และ ~ 30 ตัวอย่าง)$p\gg N$

• การถดถอยในการตั้งค่า : วิธีเลือกวิธีการทำให้เป็นมาตรฐาน (Lasso, PLS, PCR, สัน)$p>n$