ใช้ LASSO สำหรับการเลือกคุณสมบัติเท่านั้น

ในระดับการเรียนรู้เครื่องของเราได้เรียนรู้เกี่ยวกับวิธีการ Lasso ถดถอยเป็นอย่างดีในการดำเนินการเลือกคุณลักษณะเพราะมันทำให้การใช้ regularization$l_1$

คำถามของฉัน: โดยปกติแล้วคนใช้แบบจำลอง LASSO เพียงเพื่อทำการเลือกคุณลักษณะ (แล้วดำเนินการถ่ายโอนคุณลักษณะเหล่านั้นไปยังรูปแบบการเรียนรู้ของเครื่องอื่น) หรือพวกเขามักจะใช้ LASSO เพื่อทำการเลือกทั้งคุณสมบัติและการถดถอยจริง

ตัวอย่างเช่นสมมติว่าคุณต้องการลดการถดถอยในแนวสัน แต่คุณเชื่อว่าคุณสมบัติหลายอย่างของคุณไม่ดีนัก จะเป็นการดีไหมถ้าจะเรียกใช้ LASSO ใช้เฉพาะฟีเจอร์ที่อัลกอริธึมไม่ใกล้ศูนย์และใช้เฉพาะในการทิ้งข้อมูลของคุณเป็นแบบจำลองการถดถอยของสันเขา? ด้วยวิธีนี้คุณจะได้รับประโยชน์จากการทำให้เป็นปกติสำหรับการเลือกคุณสมบัติ แต่ยังได้รับประโยชน์จากการทำให้เป็นเพื่อลดการ(ฉันรู้ว่าสิ่งนี้มีความสำคัญกับ Elastic Net Regression แต่ดูเหมือนว่าคุณไม่จำเป็นต้องมีทั้งคำและในฟังก์ชันวัตถุประสงค์การถดถอยขั้นสุดท้าย)$l_1$$l_2$$l_1$$l_2$

นอกเหนือจากการถดถอยแล้วนี่เป็นกลยุทธ์ที่ชาญฉลาดหรือไม่เมื่อทำการแบ่งประเภท (ใช้ SVMs, โครงข่ายประสาทเทียม, ฟอเรสต์แบบสุ่ม, ฯลฯ )?

เกือบทุกวิธีที่ทำการเลือกรูปแบบบางรูปแบบแล้วทำการวิเคราะห์ต่อไปราวกับว่าไม่มีการเลือกแบบจำลองเกิดขึ้นก่อนหน้านี้โดยทั่วไปจะมีสัดส่วนที่ไม่ดี หากไม่มีข้อโต้แย้งเชิงทฤษฎีที่น่าสนใจซึ่งได้รับการสนับสนุนจากหลักฐานจากการศึกษาแบบจำลองอย่างกว้างขวางสำหรับขนาดตัวอย่างที่เป็นจริงและคุณสมบัติเทียบกับอัตราส่วนขนาดตัวอย่างเพื่อแสดงว่านี่เป็นข้อยกเว้นเป็นไปได้ว่าแนวทางดังกล่าวจะมีคุณสมบัติที่ไม่น่าพอใจ ฉันไม่ได้ตระหนักถึงหลักฐานเชิงบวกใด ๆ สำหรับวิธีนี้ แต่อาจมีคนอื่นเป็น เนื่องจากมีทางเลือกที่สมเหตุสมผลที่จะบรรลุเป้าหมายที่ต้องการทั้งหมด (เช่นตาข่ายยืดหยุ่น) วิธีการนี้ยากที่จะแสดงให้เห็นถึงการใช้วิธีการเฉพาะกิจแบบผู้ต้องสงสัยแทน

นอกจากคำตอบทั้งหมดข้างต้น: มันเป็นไปได้ที่จะคำนวณการทดสอบการเปลี่ยนแปลง chi2 ที่แน่นอนสำหรับตาราง 2x2 และ rxc แทนที่จะเปรียบเทียบค่าที่เราสังเกตได้ของสถิติไคสแควร์กับการแจกแจงไคสแควร์เชิงซีกเราต้องเปรียบเทียบมันกับการแจกแจงการเปลี่ยนแปลงที่แน่นอน เราจำเป็นต้องอนุญาตข้อมูลของเราในทุกวิถีทางที่เป็นไปได้ในการรักษาระยะขอบของแถวและคอลัมน์ให้คงที่ สำหรับชุดข้อมูลที่มีการเปลี่ยนแปลงแต่ละชุดเราได้ทำการคำนวณสถิติ chi2 จากนั้นเราเปรียบเทียบ chi2 ที่สังเกตได้ของเรากับสถิติ chi2 (เรียงลำดับ) การจัดอันดับของสถิติการทดสอบจริงในสถิติการทดสอบ chi2 ที่เปลี่ยนแปลงจะให้ค่า p