ทำไมการเลือกชุดย่อยที่ดีที่สุดจึงไม่ได้รับความนิยมเมื่อเทียบกับเชือก

ฉันกำลังอ่านเกี่ยวกับการเลือกชุดย่อยที่ดีที่สุดในองค์ประกอบของหนังสือการเรียนรู้ทางสถิติ ถ้าฉันมีตัวทำนาย 3 ตัวฉันจะสร้างชุดย่อย:2 3 = $x_1,x_2,x_3$$2^3=8$

1. ชุดย่อยที่ไม่มีตัวทำนาย
2. เซตย่อยที่มีตัวทำนาย$x_1$
3. เซตย่อยที่มีตัวทำนาย$x_2$
4. เซตย่อยที่มีตัวทำนาย$x_3$
5. เซตย่อยที่มีตัวทำนาย$x_1,x_2$
6. เซตย่อยที่มีตัวทำนาย$x_1,x_3$
7. เซตย่อยที่มีตัวทำนาย$x_2,x_3$
8. เซตย่อยที่มีตัวทำนาย$x_1,x_2,x_3$

จากนั้นฉันจะทดสอบแบบจำลองเหล่านี้ทั้งหมดในข้อมูลการทดสอบเพื่อเลือกแบบที่ดีที่สุด

ตอนนี้คำถามของฉันคือเหตุใดการเลือกชุดย่อยที่ดีที่สุดจึงไม่ได้รับความนิยมเมื่อเทียบกับเช่นบ่วงบาศ

ถ้าฉันเปรียบเทียบฟังก์ชั่น thresholding ของเซตย่อยและ lasso ที่ดีที่สุดฉันจะเห็นว่าเซตย่อยที่ดีที่สุดกำหนดค่าสัมประสิทธิ์บางค่าให้เป็นศูนย์เช่น lasso แต่ค่าสัมประสิทธิ์อื่น ๆ (ที่ไม่ใช่ศูนย์) จะยังคงมีค่า ols พวกเขาจะไม่ได้รับอคติ ในขณะที่ lasso สัมประสิทธิ์บางอย่างจะเป็นศูนย์และอื่น ๆ (ไม่ใช่ศูนย์) จะมีอคติ รูปด้านล่างแสดงว่าดีกว่า:

จากภาพส่วนหนึ่งของเส้นสีแดงในกล่องเซตย่อยที่ดีที่สุดวางลงบนสีเทา อีกส่วนหนึ่งวางอยู่ในแกน x ซึ่งสัมประสิทธิ์บางค่าเป็นศูนย์ เส้นสีเทากำหนดโซลูชันที่ไม่เอนเอียง ในเชือกอคติบางส่วนเป็นที่รู้จักโดย\จากรูปนี้ฉันเห็นว่าเซตย่อยที่ดีที่สุดดีกว่าบ่วงบาศ! อะไรคือข้อเสียของการใช้ชุดย่อยที่ดีที่สุด?$\lambda$

ในการเลือกเซ็ตย่อยพารามิเตอร์ที่ไม่ใช่ศูนย์จะไม่เอนเอียงหากคุณเลือกเซ็ตเซ็ตของโมเดลที่ถูกต้องเท่านั้นเช่นถ้าคุณลบเฉพาะตัวทำนายที่มีค่าสัมประสิทธิ์จริงเป็นศูนย์ หากขั้นตอนการเลือกของคุณทำให้คุณไม่รวมตัวทำนายที่มีค่าสัมประสิทธิ์เป็นศูนย์จริงค่าสัมประสิทธิ์การประมาณทั้งหมดจะถูกลำเอียง สิ่งนี้จะเอาชนะอาร์กิวเมนต์ของคุณหากคุณยอมรับว่าการเลือกนั้นไม่สมบูรณ์แบบ

ดังนั้นเพื่อให้ "มั่นใจ" จากแบบจำลองที่ไม่เอนเอียงคุณควรทำผิดด้านข้างของการรวมตัวทำนายมากกว่าหรือแม้แต่ทั้งหมดที่เกี่ยวข้อง นั่นคือคุณไม่ควรเลือกเลย

ทำไมนี่เป็นความคิดที่ไม่ดี เนื่องจากการแลกเปลี่ยนอคติแปรปรวน ใช่โมเดลขนาดใหญ่ของคุณจะไม่เอนเอียง แต่จะมีความแปรปรวนขนาดใหญ่และความแปรปรวนจะมีผลต่อการทำนายข้อผิดพลาด (หรืออื่น ๆ )

ดังนั้นจึงเป็นการดีกว่าที่จะยอมรับว่าการประเมินพารามิเตอร์จะมีอคติ แต่มีความแปรปรวนต่ำกว่า (การทำให้เป็นมาตรฐาน) แทนที่จะหวังว่าการเลือกชุดย่อยของเราจะลบพารามิเตอร์ศูนย์ที่แท้จริงเท่านั้นดังนั้นเราจึงมีโมเดลที่เป็นกลาง

เนื่องจากคุณเขียนว่าคุณประเมินทั้งสองวิธีโดยใช้การตรวจสอบความถูกต้องข้ามสิ่งนี้จะช่วยลดข้อกังวลบางอย่างข้างต้น ปัญหาที่เหลืออีกประการสำหรับการจัดกลุ่มที่ดีที่สุดยังคงอยู่: มัน จำกัด พารามิเตอร์บางอย่างให้เป็นศูนย์อย่างแน่นอนและปล่อยให้คนอื่น ๆ ลอยได้อย่างอิสระ ดังนั้นจึงมีความไม่ต่อเนื่องในการประมาณการซึ่งไม่ได้อยู่ที่นั่นหากเราบิดบ่วงบาศเกินจุดเมื่อมีการรวมหรือแยกตัวทำนายสมมติว่าการตรวจสอบความถูกต้องของข้อมูลส่งออก "ดีที่สุด" ที่อยู่ใกล้กับดังนั้นเราจึงไม่แน่ใจว่าควรจะรวม p หรือไม่ ในกรณีนี้ฉันจะยืนยันว่าเหมาะสมกว่าที่จะ จำกัด การประมาณพารามิเตอร์λ 0พีλ λ 0 βพีβ P = 0 β P = β OLS$\lambda$$\lambda_0$$p$$\lambda$$\lambda_0$$\hat{\beta}_p$ผ่าน lasso ไปยังค่าเล็ก ๆ (สัมบูรณ์) แทนที่จะแยกออกทั้งหมดหรือปล่อยให้มันลอยได้อย่างอิสระตามที่ดีที่สุดของชุดย่อย$\hat{\beta}_p=0$$\hat{\beta}_p=\hat{\beta}_p^{\text{OLS}}$

สิ่งนี้อาจเป็นประโยชน์: เหตุใดการหดตัวจึงทำงานได้

โดยหลักการแล้วหากพบเซตย่อยที่ดีที่สุดมันจะดีกว่า LASSO ในแง่ของ (1) การเลือกตัวแปรที่มีส่วนช่วยให้พอดี (2) ไม่เลือกตัวแปรที่ไม่เหมาะสม (3) ความแม่นยำในการทำนายและ (4) สร้างการประมาณที่ไม่เอนเอียงสำหรับตัวแปรที่เลือก หนึ่งกระดาษล่าสุดที่ถกเถียงกันอยู่สำหรับคุณภาพที่เหนือกว่าของเซตที่ดีที่สุดกว่าเชือกคือโดยBertsimas, et al (2016) "การเลือกชุดย่อยที่ดีที่สุดผ่านเลนส์เพิ่มประสิทธิภาพสมัยใหม่" อีกอันหนึ่งที่มีอายุมากกว่าให้ตัวอย่างที่เป็นรูปธรรม (บน deconvolution รถไฟสไปค์) ที่เซตย่อยที่ดีที่สุดดีกว่า LASSO หรือสันเขาก็คือโดยde Rooi & Eilers (2011)

เหตุผลที่ LASSO ยังคงเป็นที่ต้องการในทางปฏิบัติส่วนใหญ่เป็นเพราะมันง่ายต่อการคำนวณมาก การเลือกเซตย่อยที่ดีที่สุดคือการใช้ pseudonorm โทษเป็นปัญหา combinatorial และเป็น NP ยากในขณะที่วิธีการแก้ปัญหา LASSO ง่ายต่อการคำนวณผ่านเส้นทาง normalization โดยใช้โคตรพิกัดแบบทวนเข็ม นอกจากนี้ LASSO ( norm การลงโทษที่มีการถดถอย) เป็นการผ่อนนูนที่แคบที่สุดของ pseudonorm ที่ลงโทษการถดถอย / การเลือกเซตย่อยที่ดีที่สุด (การถดถอยสะพานนั่นคือ norm การลงโทษที่ถดถอยด้วย q ใกล้เคียงกับ 0 แต่นี่ไม่ใช่ปัญหาการเพิ่มประสิทธิภาพของนูนอีกต่อไปและค่อนข้างยุ่งยากL 1 L 0 L $L_0$$L_1$$L_0$$L_q$)

เพื่อลดความเอนเอียงของ LASSO เราสามารถใช้วิธีการหลายขั้นตอนที่ได้มาเช่น LASSO ที่ปรับได้ (ซึ่งค่าสัมประสิทธิ์จะถูกลงโทษแตกต่างกันไปตามการประเมินก่อนหน้านี้จากการประมาณกำลังสองน้อยที่สุดหรือการถดถอยแบบสัน) หรือ LASSO ที่ผ่อนคลาย กำลังสองน้อยที่สุดพอดีของตัวแปรที่เลือกโดย LASSO) เมื่อเปรียบเทียบกับเซตย่อยที่ดีที่สุด LASSO มีแนวโน้มที่จะเลือกตัวแปรมากเกินไปเล็กน้อย การเลือกชุดย่อยที่ดีที่สุดดีกว่า แต่ยากกว่าที่จะเหมาะสม

ที่ถูกกล่าวว่านอกจากนี้ยังมีวิธีการคำนวณที่มีประสิทธิภาพในขณะนี้ที่จะทำเลือกชุดย่อย / ดีที่สุดถดถอยลงโทษเช่นใช้วิธีการปรับตัวสันเขาที่อธิบายไว้ในกระดาษ "เกิดการปรับเปลี่ยนขั้นตอนการริดจ์สำหรับ L0 กู" โดย Frommlet & Nuel (2016) โปรดทราบว่าภายใต้การเลือกชุดย่อยที่ดีที่สุดคุณยังคงต้องใช้การตรวจสอบข้ามหรือเกณฑ์ข้อมูลบางอย่าง (ปรับ R2, AIC, BIC, mBIC ... ) เพื่อกำหนดจำนวนตัวทำนายที่ให้ประสิทธิภาพในการทำนายที่ดีที่สุด / กำลังอธิบายสำหรับ จำนวนตัวแปรในแบบจำลองของคุณซึ่งจำเป็นต่อการหลีกเลี่ยงการตั้งค่ามากเกินไป บทความ"Extended Comparisons of Best Selection Selection, Forward Stepwise Selection และ Lasso" โดย Hastie et al (2017)$L_0$ให้การเปรียบเทียบที่กว้างขวางของเซตย่อยที่ดีที่สุด LASSO และ LASSO บางรุ่นเช่น LASSO ที่ผ่อนคลายและพวกเขาอ้างว่า LASSO ที่ผ่อนคลายเป็นสิ่งที่สร้างความแม่นยำในการทำนายแบบจำลองสูงที่สุดภายใต้สถานการณ์ที่กว้างที่สุดนั่นคือพวกเขาได้ข้อสรุปที่แตกต่างกว่า Bertsimas แต่ข้อสรุปเกี่ยวกับสิ่งที่ดีที่สุดขึ้นอยู่กับสิ่งที่คุณคิดว่าดีที่สุด (เช่นความแม่นยำในการทำนายที่สูงที่สุดหรือดีที่สุดในการเลือกตัวแปรที่เกี่ยวข้องและไม่รวมถึงตัวแปรที่ไม่เกี่ยวข้อง; ridge regression เป็นต้นโดยทั่วไปจะเลือกตัวแปรมากเกินไป ตัวแปร collinear สูง แต่ก็สามารถทำได้ดีจริงๆ)

สำหรับปัญหาเล็ก ๆ ที่มี 3 ตัวแปรเช่นคุณอธิบายว่าการเลือกชุดย่อยที่ชัดเจนที่สุดคือตัวเลือกที่ต้องการ