LASSO / LARS เทียบกับวิธีทั่วไป (GETS)


15

ฉันสงสัยว่าทำไมการเลือกรูปแบบ LASSO และ LARS ถึงได้รับความนิยมถึงแม้ว่าพวกเขาจะเป็นเพียงรูปแบบของการเลือกไปข้างหน้าอย่างชาญฉลาด (และทำให้ต้องพึ่งพาเส้นทาง)

ในทำนองเดียวกันทำไม General to Specific (GETT) จึงมีวิธีการในการเลือกรูปแบบเป็นส่วนใหญ่ถึงแม้ว่าพวกเขาจะทำได้ดีกว่า LARS / LASSO เพราะพวกเขาไม่ประสบปัญหาการถดถอยขั้นตอนที่ชาญฉลาด? (การอ้างอิงพื้นฐานสำหรับ GETS: http://www.federalreserve.gov/pubs/ifdp/2005/838/ifdp838.pdf - อัลกอริทึมใหม่ในการเริ่มต้นนี้ด้วยการค้นหาแบบกว้างและแผนผังที่หลีกเลี่ยงการพึ่งพาพา ธ และแสดงให้เห็นถึง มักจะทำได้ดีกว่า LASSO / LARS)

ดูเหมือนแปลก ๆ LARS / LASSO ดูเหมือนจะได้รับการเปิดเผยและการอ้างอิงมากกว่า General to Specific (GET) ทุกคนมีความคิดอะไรบ้าง?

ไม่พยายามเริ่มการถกเถียงอย่างจริงจังมองหาคำอธิบายที่สมเหตุสมผลว่าทำไมวรรณกรรมดูเหมือนจะให้ความสำคัญกับ LASSO / LARS มากกว่า GET และมีคนเพียงไม่กี่คนที่ชี้ให้เห็นถึงข้อบกพร่องของ LASSO / LARS


คุณหมายถึงอะไรขึ้นอยู่กับเส้นทางที่นี่? นอกจากนี้ยังมีการอ้างอิงที่เชื่อถือได้มากกว่าที่คุณสามารถให้กับ GETS หรือไม่ ฉันไม่คุ้นเคยกับสิ่งนี้
พระคาร์ดินัล

นี่คือที่ดีมากขึ้น "เผด็จการ" การอ้างอิงที่ยังกล่าวถึงเชือก: degruyter.com/view/j/jtse.2011.3.1/jtse.2011.3.1.1097/...
tortilla

เป็นไปได้ที่จะเพิ่มสิ่งที่ฉันหมายถึง: ดังนั้นคุณเพิ่ม regressors สำคัญทีละ แต่วิธีนี้ไม่อนุญาตให้คุณลดลงถ้าขึ้นอยู่กับความสัมพันธ์ระหว่าง regressors หนึ่งอาจกลายเป็นไม่มีนัยสำคัญ ดังนั้นเมื่อมีการเพิ่มจะมีการพึ่งพาพา ธ ที่ regressor นี้ถูกตั้งค่าไว้และไม่สามารถทิ้งได้ ไม่ใช่อย่างนั้นเหรอ?
tortilla

1
มีความเป็นไปได้ที่ตัวแปรจะตกหล่นลงกลางวงด้วยบ่วงถ้าค่าสัมประสิทธิ์ของมันตัดผ่านศูนย์ตลอดทาง คุณคุ้นเคยกับ Efron และคณะ บทความต้นฉบับเกี่ยวกับ LARS? มันอธิบายในรายละเอียดมากกับรสชาติที่เป็นรูปทรงเรขาคณิตที่ดี
พระคาร์ดินัล

2
ฉันคิดว่า Lasso ได้รับความนิยมเนื่องจากมันได้ปลดเปลื้องปัญหาการเลือกแบบจำลองใหม่จากการทดสอบสมมติฐานอย่างใดอย่างหนึ่งไปจนถึงการประมาณค่าพารามิเตอร์อย่างใดอย่างหนึ่ง
ความน่าจะเป็นเชิง

คำตอบ:


2

ข้อจำกัดความรับผิดชอบ:ฉันคุ้นเคยกับการเลือกรุ่นของ David F. Hendry จากระยะไกลเท่านั้น อย่างไรก็ตามฉันรู้ว่าจากเพื่อนร่วมงานที่น่าเชื่อถือซึ่งเฮนรี่ได้ทำการก้าวหน้าที่น่าสนใจมากเกี่ยวกับปัญหาการเลือกแบบจำลองภายในเศรษฐมิติ เพื่อตัดสินว่าวรรณกรรมทางสถิติไม่ได้ให้ความสนใจมากพอกับงานของเขาในการเลือกแบบจำลองหรือไม่นั้นจะต้องใช้งานอีกมากสำหรับส่วนของฉัน

อย่างไรก็ตามเป็นเรื่องที่น่าสนใจที่จะพยายามทำความเข้าใจว่าเพราะเหตุใดวิธีการหนึ่งหรือความคิดจึงสร้างกิจกรรมได้มากกว่ากิจกรรมอื่น ๆ ไม่ต้องสงสัยเลยว่ามีแง่มุมของแฟชั่นในด้านวิทยาศาสตร์เช่นกัน อย่างที่ฉันเห็นมัน lasso (และเพื่อน) มีข้อดีอย่างหนึ่งที่สำคัญของการแก้ปัญหาการเพิ่มประสิทธิภาพที่แสดงออกได้ง่ายมาก นี่คือกุญแจสำคัญในการทำความเข้าใจทฤษฎีโดยละเอียดเกี่ยวกับการแก้ปัญหาและอัลกอริทึมที่มีประสิทธิภาพที่พัฒนาขึ้น หนังสือเล่มล่าสุดสถิติสำหรับข้อมูลมิติสูงโดยBühlmannและ Van De Geer แสดงให้เห็นว่ามีคนรู้จัก lasso มากแค่ไหน

คุณสามารถทำการศึกษาเกี่ยวกับการจำลองสถานการณ์ที่ไม่มีที่สิ้นสุดและแน่นอนคุณสามารถใช้วิธีการที่คุณพบว่ามีความเกี่ยวข้องมากที่สุดและเหมาะสมกับการใช้งานเฉพาะ แต่สำหรับบางส่วนของวรรณคดีเชิงสถิติ เชือกที่สร้างกิจกรรมจำนวนมากสะท้อนให้เห็นว่ามีคำถามเชิงทฤษฎีที่สามารถเข้าถึงได้จริงและมีวิธีแก้ปัญหาที่น่าสนใจ

อีกประเด็นหนึ่งคือบ่วงบาศหรือการแปรผันนั้นทำงานได้ดีในหลายกรณี ฉันไม่เชื่อว่ามันถูกต้องว่าบ่วงบาศนั้นทำได้ง่ายกว่าวิธีอื่นตามที่ OP แนะนำ อาจจะเป็นในแง่ของการเลือกรูปแบบ (ประดิษฐ์) แต่ไม่ใช่ในแง่ของประสิทธิภาพการทำนาย ไม่มีการอ้างอิงที่กล่าวถึงดูเหมือนจะเปรียบเทียบทั้ง Gets และ Lasso


2

เหตุใดวิธีการเลือกรุ่น LASSO และ LARS จึงได้รับความนิยมถึงแม้ว่าพวกเขาจะเป็นเพียงรูปแบบของการเลือกไปข้างหน้าอย่างชาญฉลาด

มีความแตกต่างระหว่างการเลือกชุดย่อย LASSO และ (GET): LASSO ลดค่าสัมประสิทธิ์เป็นศูนย์ในทางที่ขึ้นอยู่กับข้อมูลในขณะที่การเลือกชุดย่อย (GETS) ไม่ได้ สิ่งนี้ดูเหมือนจะเป็นข้อได้เปรียบของการเลือกชุดย่อย LASSO มากกว่า (GETS) แม้ว่าบางครั้งมันอาจล้มเหลว (จำเป็นต้องมีการปรับพารามิเตอร์ซึ่งโดยปกติจะทำผ่านการตรวจสอบความถูกต้องของข้อมูล

(GETS) วิธีการ <... > ทำได้ดีกว่า LARS / LASSO

ประสิทธิภาพของ GETS ดูเหมือนจะมีคุณภาพเทียบเท่ากับ LASSO เมื่อทำโดยนักวิจัยที่เป็นกลาง (?) (แม้ว่าจะไม่จำเป็นต้องเป็นเช่นนั้นในเอกสารที่เสนอ GETS รุ่นใหม่ - แต่นั่นคือสิ่งที่คุณคาดหวัง); ดูการอ้างอิงบางอย่างในหัวข้อนี้

บางที Sir Hendry & Co กำลังได้รับผลลัพธ์ที่ดีเมื่อใช้ GET เนื่องจากแอปพลิเคชันเฉพาะของพวกเขา แต่ทำไมถึงเป็นเช่นนั้น? นี่คือคำถามที่แยกต่างหาก

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.