เหตุใดจึงต้องใช้การทำให้เป็นมาตรฐาน L1 บน L2


10

การสร้างแบบจำลองการถดถอยเชิงเส้นโดยใช้ฟังก์ชั่นการสูญเสียทำไมฉันจึงควรใช้ L1 แทน L2 กู?

การป้องกันการ overfitting ดีกว่าไหม มันเป็นสิ่งที่กำหนด (เสมอดังนั้นวิธีการแก้ปัญหาที่ไม่ซ้ำกัน)? จะดีกว่าในการเลือกคุณสมบัติ (เพราะการผลิตแบบจำลองกระจัดกระจาย)? มันกระจายน้ำหนักในคุณสมบัติหรือไม่


2
L2 ไม่เลือกตัวแปรดังนั้น L1 จึงดีกว่าในที่นี้
Michael M

คำตอบ:


5

โดยพื้นฐานแล้วเราเพิ่มคำว่าการทำให้เป็นมาตรฐานเพื่อป้องกันไม่ให้ค่าสัมประสิทธิ์เหมาะสมพอดีจนเกินความเหมาะสม

ความแตกต่างระหว่าง L1 และ L2 คือ L1 คือผลรวมของน้ำหนักและ L2 เป็นผลรวมของน้ำหนักสี่เหลี่ยมจัตุรัส

L1 ไม่สามารถใช้ในวิธีการไล่ระดับสีเนื่องจากมันไม่แตกต่างจาก L2

L1 ช่วยทำการเลือกคุณลักษณะในช่องว่างคุณลักษณะเบาบางคุณสมบัติที่เลือกคือการรู้ว่าคุณลักษณะใดมีประโยชน์และมีความซ้ำซ้อน

ความแตกต่างระหว่างคุณสมบัติของพวกเขาสามารถสรุปได้ดังนี้:

l1 VS L2


1
ไม่เป็นความจริงที่ว่า "L1 ไม่สามารถใช้ในวิธีการไล่ระดับสี" Keras สนับสนุนมันเช่น ใช่อนุพันธ์นั้นมีค่าคงที่เสมอดังนั้นจึงเป็นเรื่องยากสำหรับการไล่ระดับสีเพื่อหาค่าต่ำสุด แต่การทำให้เป็นมาตรฐานเป็นคำศัพท์เล็ก ๆ ในฟังก์ชั่นการสูญเสียดังนั้นมันจึงไม่สำคัญมากในแผนการที่ยิ่งใหญ่ของสิ่งต่าง ๆ
ริคาร์โด้ครูซ

-1

L2 มีข้อได้เปรียบที่สำคัญอย่างหนึ่งต่อ L1 และนั่นคือค่าคงที่ของการหมุนและสเกล

นี้เป็นสิ่งสำคัญโดยเฉพาะอย่างยิ่งในการประยุกต์ใช้ทางภูมิศาสตร์ / ทางกายภาพ

สมมติว่าช่างเทคนิคของคุณติดตั้งเซ็นเซอร์ของคุณในนางฟ้า 45 องศาโดยไม่ได้ตั้งใจ L1 จะได้รับผลกระทบในขณะที่ L2 (ระยะทางแบบยุคลิด) จะยังคงเหมือนเดิม


4
นี่ไม่ใช่คำตอบสำหรับคำถาม
kbrose

คุณช่วยอธิบายค่าคงที่ได้ไหม
aneesh joshi

@Chati คำถามเกี่ยวกับการทำให้เป็นมาตรฐาน คุณกำลังสับสนกับการใช้งาน 1-norm และ 2-norm อื่น ๆ ในฟังก์ชั่นการสูญเสีย
Ricardo Cruz
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.