regularization

มีหลายวิธีในการดำเนินการทำให้เป็นมาตรฐาน - $L_0$, $L_1$และ $L_2$บรรทัดฐานตามบรรทัดฐานเช่น ตามFriedman Hastie & Tibsharani , regularizer ที่ดีที่สุดขึ้นอยู่กับปัญหา: คือธรรมชาติของฟังก์ชั่นเป้าหมายที่แท้จริง, พื้นฐานที่ใช้เฉพาะ, อัตราส่วนสัญญาณต่อเสียงรบกวน, และขนาดตัวอย่าง

มีการวิจัยเชิงประจักษ์เปรียบเทียบวิธีการและประสิทธิภาพของวิธีการทำให้เป็นมาตรฐานแบบต่างๆหรือไม่?

ลองพิจารณาโมเดลเชิงเส้นที่ถูกลงโทษ

$L_0$ การลงโทษนั้นไม่ได้ใช้มากนักและมักจะถูกแทนที่ด้วย $L_1$ บรรทัดฐานที่มีความยืดหยุ่นทางคณิตศาสตร์มากขึ้น

$L_1$การทำให้เป็นมาตรฐานมีคุณสมบัติในการสร้างรูปแบบกระจัดกระจาย ซึ่งหมายความว่าตัวแปรเพียงเล็กน้อยเท่านั้นที่จะมีค่าสัมประสิทธิ์การถดถอย 0 มีการใช้โดยเฉพาะอย่างยิ่งถ้าคุณคิดว่ามีเพียงไม่กี่ตัวเท่านั้นที่มีผลกระทบต่อตัวแปรเอาต์พุตอย่างแท้จริง หากมีตัวแปรที่มีความสัมพันธ์กันมากจะเลือกเพียงหนึ่งในตัวแปรเหล่านี้ที่มีค่าสัมประสิทธิ์ไม่เป็น 0

$L_2$ การลงโทษนั้นเป็นเหมือนถ้าคุณเพิ่มคุณค่า $\lambda$บนเส้นทแยงมุมของเมทริกซ์อินพุต มันสามารถใช้ตัวอย่างในสถานการณ์ที่จำนวนตัวแปรมีขนาดใหญ่กว่าจำนวนตัวอย่าง เพื่อให้ได้เมทริกซ์จตุรัส กับ$L_2$ การลงโทษนอร์มตัวแปรทั้งหมดมีค่าสัมประสิทธิ์การถดถอยที่ไม่เป็นศูนย์

เพิ่มเติมเล็กน้อยสำหรับคำตอบของ @Donbeo

1) บรรทัดฐาน L0 ไม่ใช่บรรทัดฐานในความหมายที่แท้จริง มันคือจำนวนของรายการที่ไม่เป็นศูนย์ในเวกเตอร์ บรรทัดฐานนี้เห็นได้ชัดว่าไม่ใช่บรรทัดฐานนูนและไม่ใช่บรรทัดฐานในความหมายที่แท้จริง ดังนั้นคุณอาจเห็นคำศัพท์เช่น L0 'norm' มันกลายเป็นปัญหา combinatorial และด้วยเหตุนี้ NP จึงเป็นเรื่องยาก

2) บรรทัดฐาน L1 ให้โซลูชันกระจัดกระจาย (ค้นหา LASSO) มีผลลัพธ์เชื้อเชิญจาก Candes, Donoho และอื่น ๆ ที่แสดงให้เห็นว่าหากการแก้ปัญหาที่แท้จริงนั้นกระจัดกระจายจริงๆ L1 วิธีการลงโทษจะกู้คืนได้ หากโซลูชันพื้นฐานไม่กระจัดกระจายคุณจะไม่ได้รับโซลูชันพื้นฐานในกรณีที่ p >> n มีผลลัพธ์ที่ดีซึ่งแสดงว่า Lasso นั้นสอดคล้องกัน

3) มีวิธีการเช่น Elastic net โดย Zhou และ Hastie ซึ่งรวม L2 และ L1 เข้าไว้ด้วยกัน