เหตุใดการสูญเสียบรรทัดฐาน L2 จึงมีโซลูชันที่ไม่เหมือนใครและการสูญเสีย norm L1 อาจมีวิธีแก้ปัญหาที่หลากหลาย

http://www.chioka.in/differences-between-l1-and-l2-as-loss-function-and-regularization/

ถ้าคุณดูที่ด้านบนสุดของโพสต์นี้ผู้เขียนกล่าวว่า L2 norm มีทางออกที่ไม่เหมือนใครและ L1 norm อาจมีวิธีแก้ปัญหามากมาย ฉันเข้าใจสิ่งนี้ในแง่ของการทำให้เป็นมาตรฐาน แต่ไม่ใช่ในแง่ของการใช้ L1 norm หรือ L2 norm ในฟังก์ชันการสูญเสีย

หากคุณดูกราฟของฟังก์ชั่นของสเกลาร์ x (x ^ 2 และ | x |) คุณจะเห็นว่าทั้งคู่มีวิธีแก้ปัญหาที่ไม่เหมือนใคร

ลองพิจารณาปัญหาหนึ่งมิติสำหรับการแสดงออกที่เป็นไปได้ง่ายที่สุด (กรณีมิติที่สูงกว่ามีคุณสมบัติคล้ายกัน)

ในขณะที่ทั้งสองและแต่ละอันมีค่าต่ำสุดที่ไม่ซ้ำกัน(ผลรวมของฟังก์ชั่นค่าสัมบูรณ์ที่มี x-offsets ที่แตกต่างกัน) มักจะไม่ พิจารณาและ :$|x-\mu|$$(x-\mu)^2$$\sum_i |x_i-\mu|$$x_1=1$$x_2=3$

(NB แม้จะมีฉลากบนแกน x นี่เป็นฟังก์ชั่นของจริง ๆ ฉันควรจะแก้ไขฉลาก แต่ฉันจะปล่อยไว้เหมือนเดิม)$\mu$

ในมิติที่สูงขึ้นคุณจะได้รับขั้นต่ำของภูมิภาคอย่างต่อเนื่องกับ -norm มีตัวอย่างในกรณีของการกระชับสายที่นี่$L_1$

ผลรวมของรูปสี่เหลี่ยมจัตุรัสยังคงเป็นกำลังสองดังนั้นจะมีวิธีแก้ปัญหาเฉพาะ ในมิติที่สูงขึ้น (การถดถอยหลายครั้ง) ปัญหากำลังสองอาจไม่มีขั้นต่ำที่ไม่ซ้ำกันโดยอัตโนมัติ - คุณอาจมีความสัมพันธ์หลายทางที่นำไปสู่สันเขามิติต่ำในเชิงลบของการสูญเสียในพื้นที่พารามิเตอร์; นั่นเป็นปัญหาที่แตกต่างจากที่แสดงไว้ที่นี่$\sum_i (x_i-\mu)^2 = n(\bar{x}-\mu)^2+k(\mathbf{x})$

คำเตือน. หน้าเว็บที่คุณเชื่อมโยงไปยังอ้างว่า -norm ถดถอยเป็นไปอย่างแข็งแกร่ง ฉันต้องบอกว่าฉันไม่เห็นด้วยอย่างสมบูรณ์ มันแข็งแกร่งเมื่อเทียบกับการเบี่ยงเบนขนาดใหญ่ในทิศทาง y ตราบใดที่มันไม่ใช่จุดที่มีอิทธิพล (ไม่เหมือนกันใน x-space) มันสามารถถูกทำให้เมาโดยพลการไม่ดีแม้แต่คนเดียวที่มีอิทธิพล มีตัวอย่างที่เป็นที่นี่$L_1$

เนื่องจาก (นอกบางสถานการณ์) คุณมักจะไม่ได้รับการรับรองใด ๆ จากการสังเกตการณ์ที่มีอิทธิพลสูงฉันจึงไม่เรียก L1-regression ที่แข็งแกร่ง

รหัส R สำหรับพล็อต:

 fi <- function(x,i=0) abs(x-i)
 f <- function(x) fi(x,1)+fi(x,3)
 plot(f,-1,5,ylim=c(0,6),col="blue",lwd=2)
 curve(fi(x,1),-1,5,lty=3,col="dimgrey",add=TRUE)
 curve(fi(x,3),-1,5,lty=3,col="dimgrey",add=TRUE)

การลดการสูญเสีย L2 ให้สอดคล้องกับการคำนวณค่าเฉลี่ยเลขคณิตซึ่งไม่มีความชัดเจนในขณะที่การลดการสูญเสีย L1 นั้นสอดคล้องกับการคำนวณค่ามัธยฐานซึ่งจะไม่ชัดเจนหากองค์ประกอบจำนวนคู่รวมอยู่ในการคำนวณค่ามัธยฐาน (ดูแนวโน้มกลาง) )