การเลือกลงโทษที่เหมาะสมที่สุดสำหรับบ่วงบาศ

มีผลการวิเคราะห์หรือเอกสารทดลองใด ๆ เกี่ยวกับตัวเลือกที่ดีที่สุดของสัมประสิทธิ์ของระยะเวลาการลงโทษตามความเหมาะสมฉันหมายถึงพารามิเตอร์ที่เพิ่มความน่าจะเป็นในการเลือกแบบจำลองที่ดีที่สุดหรือลดความสูญเสียที่คาดหวังให้น้อยที่สุด ฉันถามเพราะบ่อยครั้งที่มันเป็นไปไม่ได้ที่จะเลือกพารามิเตอร์โดยการตรวจสอบข้ามหรือ bootstrap เพราะทั้งสองกรณีมีปัญหาเป็นจำนวนมากหรือเนื่องจากขนาดของปัญหาในมือ เพียงผลบวกฉันรู้คือ Candes และวางแผนการคัดเลือกตัวแบบใกล้เหมาะโดยℓ 1ลด$\ell_1$$\ell_1$

$\|y-\hat{y}(\lambda)\|_2^2$$\lambda = A \sigma_{\text{noise}} \sqrt{\dfrac{\log p}{n}}$$A > 2\sqrt{2}$

ฉันคิดว่าคุณส่วนใหญ่สนใจในการถดถอยเหมือนในเอกสารอ้างอิงและไม่ใช่แอปพลิเคชันอื่น ๆ ของจ่าย (กราฟิก lasso พูด)$\ell_1$

ฉันเชื่อว่าคำตอบบางอย่างสามารถพบได้ในบทความเรื่อง "องศาอิสระ" ของ Zasso และคณะ สั้น ๆ มันให้สูตรการวิเคราะห์สำหรับองศาอิสระที่มีประสิทธิภาพซึ่งสำหรับการสูญเสียข้อผิดพลาดกำลังสองช่วยให้คุณสามารถแทนที่ CV ด้วยสถิติการวิเคราะห์ -type สถิติกล่าว$C_p$

สถานที่ที่ต้องดูอีกแห่งหนึ่งคือในตัวเลือก Dantzig: การประมาณทางสถิติเมื่อ p มีขนาดใหญ่กว่า nและเอกสารการอภิปรายในปัญหาเดียวกันของ Annals of Statistics ความเข้าใจของฉันคือพวกเขาแก้ปัญหาที่เกี่ยวข้องอย่างใกล้ชิดกับการถดถอยแบบ lasso แต่มีค่าสัมประสิทธิ์การลงโทษคงที่ แต่โปรดดูเอกสารการอภิปรายด้วย

หากคุณไม่ได้สนใจในการทำนาย แต่ในการเลือกรูปแบบฉันไม่ได้ตระหนักถึงผลลัพธ์ที่คล้ายกัน การทำนายตัวแบบที่เหมาะสมมักส่งผลให้เกิดตัวแปรที่เลือกมากเกินไปในตัวแบบการถดถอย ในการเลือกกระดาษที่มีเสถียรภาพ Meinshausen และBühlmannนำเสนอเทคนิคการย่อยตัวอย่างมีประโยชน์มากขึ้นสำหรับการเลือกรูปแบบ แต่มันอาจเรียกร้องให้คำนวณตามความต้องการของคุณมากเกินไป

ตั้งแต่มีการถามคำถามนี้ความก้าวหน้าที่น่าสนใจได้เกิดขึ้นแล้ว ตัวอย่างเช่นพิจารณาเอกสารนี้

Chichignoud, M. , Lederer, J. , & Wainwright, M. (2016) โครงการที่ใช้งานได้จริงและอัลกอริธึมที่รวดเร็วในการปรับแต่ง Lasso ด้วยการรับประกันที่ดีที่สุด วารสารวิจัยการเรียนรู้ของเครื่อง, 17, 1–17

พวกเขาเสนอวิธีการในการเลือกพารามิเตอร์การปรับแต่ง LASSO พร้อมตัวอย่างไฟไนต์ที่พิสูจน์ได้สำหรับการเลือกรุ่น ดังที่พวกเขากล่าวไว้ในบทความ "สำหรับรูปแบบการสอบเทียบมาตรฐานในหมู่พวกเขาการตรวจสอบข้ามไม่มีการรับรองที่เทียบเคียงกันได้ในวรรณคดีในความเป็นจริงเราไม่ได้ตระหนักถึงการรับประกันตัวอย่าง จำกัด ใด ๆ สำหรับแผนการสอบเทียบมาตรฐาน"

สิ่งนี้ไม่ได้ตอบคำถามของคุณ แต่: ในการตั้งค่าข้อมูลขนาดใหญ่อาจปรับจูนเนอร์ปกติโดยใช้การแบ่งรถไฟ / การทดสอบเดียวแทนที่จะทำ 10 ครั้งหรือมากกว่านั้นในการตรวจสอบความถูกต้องข้าม (หรือมากกว่าสำหรับ bootstrap) ขนาดและความเป็นตัวแทนของตัวอย่างที่เลือกสำหรับ devset จะกำหนดความแม่นยำของการประมาณค่าของเครื่องมือปรับสมดุลที่เหมาะสม

จากประสบการณ์ของฉันการสูญเสียที่ถือเอาไว้ค่อนข้างแบนในช่วง regularizer ที่สำคัญ ฉันแน่ใจว่าความจริงข้อนี้อาจไม่ถือเป็นปัญหาอื่น