อะไรคือ“ เอกสารเร็ว” ที่สำคัญที่สุดเกี่ยวกับวิธีการทำให้เป็นมาตรฐาน

ในหลายคำตอบที่ฉันได้เห็นผู้ใช้ CrossValidated แนะนำ OP ค้นหาเอกสารต้นใน Lasso, Ridge และ Elastic Net

สำหรับลูกหลานแล้วน้ำเชื้อทำงานอย่างไรกับ Lasso, Ridge และ Elastic Net

เนื่องจากคุณเพียงแค่ค้นหาการอ้างอิงนี่คือรายการ:

1. Tikhonov, Andrey Nikolayevich (1943) "Обустойчивостиобратныхзадач" [เกี่ยวกับความเสถียรของปัญหาผกผัน] Doklady Akademii Nauk SSSR 39 (5): 195–198
2. Tikhonov, AN (1963) "Орешениинекорректнопоставленныхзадачиметодерегуляризации" Doklady Akademii Nauk SSSR 151: 501–504 .. แปลเป็น "การแก้ปัญหาของสูตรที่ไม่ถูกต้องและวิธีการทำให้เป็นมาตรฐาน" คณิตศาสตร์โซเวียต 4: 1035–1038
3. Hoerl AE, 1962, การประยุกต์การวิเคราะห์สันเขากับปัญหาการถดถอย, ความก้าวหน้าทางวิศวกรรมเคมี, 1958, 54–59
4. Arthur E. Hoerl; Robert W. Kennard (1970) "การถดถอยของสันเขา: การประเมินแบบลำเอียงสำหรับปัญหาที่ไม่ได้เกิดจากนอกระบบ" Technometrics 12 (1): 55–67 ดอย: 10.2307 / 1,267,351 https://pdfs.semanticscholar.org/910e/d31ef5532dcbcf0bd01a980b1f79b9086fca.pdf
5. Tibshirani, Robert (1996) "การย่อและการเลือกการถดถอยผ่าน Lasso" (PostScript) วารสารสมาคมสถิติรอยัลซีรีส์ 58 (1): 267–288 MR 1379242 https://statweb.stanford.edu/~tibs/lasso/lasso.pdf
6. Zou, H. และ Hastie, T. (2005) การทำให้เป็นปกติและการเลือกตัวแปรผ่านทางเน็ตยืดหยุ่น วารสารสมาคมสถิติรอยัลซีรีส์ 67: pp. 301–320 https://web.stanford.edu/~hastie/Papers/B67.2%20%282005%29%20301-320%20Zou%20&%20Hastie.pdf

กระดาษที่มีความสำคัญทางประวัติศาสตร์ซึ่งผมเชื่อว่าก่อนแสดงให้เห็นว่าการประมาณค่าการให้น้ำหนักสามารถทำให้การประมาณค่าที่ดีขึ้นสำหรับตัวแบบเชิงเส้นธรรมดา

• สไตน์, C. , 1956, มกราคม Inadmissibility ของตัวประมาณค่าปกติสำหรับค่าเฉลี่ยของการแจกแจงปกติหลายตัวแปร ในการประชุมทางวิชาการของเบิร์กลีย์ที่สามเกี่ยวกับสถิติทางคณิตศาสตร์และความน่าจะเป็น (ตอนที่ 1, ฉบับที่ 399, หน้า 197-206)

บทลงโทษที่ทันสมัยและสำคัญอีกสองสามประการ ได้แก่ SCAD และ MCP:

• Fan, J. และ Li, R. , 2001. การเลือกตัวแปรผ่านทางแบบไม่ปลอดภัยมีการลงโทษและคุณสมบัติของพยากรณ์ วารสารสมาคมสถิติอเมริกัน, 96 (456), pp.1348-1360
• Zhang, CH, 2010 การเลือกตัวแปรที่ไม่เอนเอียงเกือบทั้งหมดภายใต้บทลงโทษขั้นต่ำสุดเว้า พงศาวดารของสถิติ, 38 (2), pp.894-942

และบางอย่างเกี่ยวกับอัลกอริทึมที่ดีมากสำหรับการได้รับการประมาณการโดยใช้วิธีการเหล่านี้:

• Breheny, P. และ Huang, J. , 2011. ประสานงานอัลกอริธึมที่สืบเชื้อสายมาเพื่อการลงทัณฑ์ที่ไม่ถูกลงโทษด้วยแอพพลิเคชั่นการเลือกคุณสมบัติทางชีวภาพ บันทึกย่อของสถิติที่ใช้ 5 (1), p.232
• Mazumder, R. , Friedman, JH และ Hastie, T. , 2011 Sparsenet: ประสานงานการสืบเชื้อสายพร้อมกับบทลงโทษที่ไม่ใช่รูปแบบนูน วารสารสมาคมสถิติอเมริกัน, 106 (495), pp.1125-1138

บทความนี้ควรดูด้วยตัวเลือก Dantzig ซึ่งสัมพันธ์กับ LASSO อย่างใกล้ชิด แต่ (ฉันเชื่อ) มันแนะนำแนวคิดของความไม่เท่าเทียมกันของ oracle สำหรับการประมาณค่าทางสถิติซึ่งเป็นความคิดที่ทรงพลัง

• Candes, E. และ Tao, T. , 2007 ตัวเลือก Dantzig: การประมาณทางสถิติเมื่อ p มีขนาดใหญ่กว่า n พงศาวดารของสถิติ, pp.2313-2351