บรรทัดฐาน - พิเศษเกี่ยวกับคืออะไร ?

บรรทัดฐานที่ไม่ซ้ำกัน (ส่วนน้อย) เพราะที่เขตแดนระหว่างไม่ใช่นูนและนูน บรรทัดฐานคือ 'มากที่สุดเบาบาง' นูนบรรทัดฐาน (ใช่ไหม?)$L_1$$p=1$$L_1$

ฉันเข้าใจว่าบรรทัดฐาน Euclidean มีรากฐานทางเรขาคณิตและมีการตีความที่ชัดเจนเมื่อมิติมีหน่วยเดียวกัน แต่ฉันไม่เข้าใจว่าทำไมมันถึงถูกใช้เป็นพิเศษมากกว่าจำนวนจริงอื่น ๆ : ? ? ทำไมไม่ใช้ช่วงเต็มอย่างต่อเนื่องเป็นพารามิเตอร์$p=2$$p>1$$p=1.5$$p=\pi$

ฉันกำลังคิดถึงอะไร

คำอธิบายทางคณิตศาสตร์ที่มากขึ้นก็คือช่องว่างซึ่งประกอบด้วยชุดทั้งหมดที่มาบรรจบกันใน p-norm เป็นเพียง Hilbert ที่มีและไม่มีค่าอื่น ๆ ซึ่งหมายความว่าพื้นที่นี้เสร็จสมบูรณ์และบรรทัดฐานของพื้นที่นั้นอาจถูกชักนำโดยผลิตภัณฑ์ภายใน (ลองนึกถึงจุดดอทโปรดักชั่นที่คุ้นเคยใน ) ดังนั้นจึงดีกว่าที่จะใช้งาน$l^p$$p=2$$R^n$

นี่คือเหตุผลสองสามประการ:

1. มันเกี่ยวข้องในวิธีที่พิเศษมากกับผลิตภัณฑ์ด้านใน: มันเป็นบรรทัดฐานคู่ของตัวเอง(นั่นคือ "self-dual")
   ซึ่งหมายความว่าหากคุณพิจารณาเวกเตอร์ทั้งหมดภายในลูกบอลหน่วยผลิตภัณฑ์ภายในสูงสุดของพวกเขาที่มีเวกเตอร์ใด ๆคือบรรทัดฐานของเอง หัก fancily มันตอบสนองทรัพย์สินที่x ไม่มีบรรทัดฐานอื่นที่ทำงานในลักษณะนี้$\ell_2$$z$$\ell_2$$z$$\lVert x\rVert_2^2 = x \cdot x$$\ell_p$

2. มันมีการไล่ระดับสีที่สะดวกมาก : คุณไม่สามารถเอาชนะมันได้!

   $$\nabla_x\ \lVert f(x)\rVert_2^2 = 2 \ \nabla f(x) \cdot f(x)$$

แม้ว่าจะมีหลายเหตุผล แต่ AFAIK p = 2 เป็นที่ต้องการเนื่องจากเหตุผลดังต่อไปนี้:

• การวัดความคล้ายคลึงกัน / ความแตกต่าง:สำหรับ p = 2, Euclidean norm ให้การวัดความเหมือนหรือความแตกต่างระหว่างเวกเตอร์สองตัวซึ่งสามารถนำไปใช้เพื่อให้ได้ข้อมูลเชิงลึกที่ดียิ่งขึ้น คำตอบรายละเอียดเพิ่มเติมเกี่ยวกับเรื่องนี้สามารถพบได้ที่นี่
• การทำให้เป็นมาตรฐาน: L2 ปกติใช้สำหรับการทำให้เป็นปกติในการเรียนรู้ของเครื่องและเป็นที่ต้องการเนื่องจากเหตุผลสองประการคือ 1) มันสามารถสร้างความแตกต่างได้ง่าย 2) ด้วยการทำให้เป็นมาตรฐาน L2 น้ำหนักจะมีแนวโน้มลดลงตามสัดส่วน ดังนั้นการทำให้เป็นมาตรฐานของ L2 จะทำให้น้ำหนักที่ใหญ่กว่านั้นมากกว่าเมื่อเทียบกับน้ำหนักที่เล็กลง

ข้อผิดพลาดกำลังสองภายใต้ตัวแบบเชิงเส้นมักเป็นที่ต้องการเนื่องจาก:

• ความสัมพันธ์กับ orthogonality ที่ทำงานได้ดีด้วยความเคารพต่อปรากฏการณ์สุ่มถือเป็นเสียง (uncorrelatedness)
• มันนูนและเปลี่ยนแปลงได้ไม่ใช่$L_1$
• มันให้อัลกอริธึมการหาค่าเหมาะที่สุดที่เข้าใจได้ง่ายที่สุดเมื่ออนุพันธ์เปลี่ยนเป็นระบบเชิงเส้น

$L_1$มักจะถือว่าเป็น proxy สะดวกหรือผ่อนคลายนูนไป sparsity เข้มงวด (นับจากที่ไม่ใช่ศูนย์เงื่อนไข) ซึ่งมีความซับซ้อน combinatorially ดูตัวอย่างสำหรับระบบ Underdetermined ขนาดใหญ่ที่สุดของสมการเชิงเส้นน้อยที่สุด -norm โซลูชั่นนี้ยังมี $\ell_1$เส้นเล็กโซลูชั่น บางคนมีแนวโน้มที่จะใช้ ,เพื่อบังคับให้มีการกระจัดกระจายมากขึ้นด้วยต้นทุนของการสูญเสีย "นูน"$\ell_p$$0<p<1$

อย่างไรก็ตามการวัดการนับนั้นไม่ไวต่อการปรับสเกลที่ไม่ใช่ศูนย์ คูณเวกเตอร์ด้วยค่าคงที่ไม่เป็นศูนย์จำนวนคำที่ไม่ใช่ศูนย์จะยังคงเหมือนเดิม ดังนั้นคือ order homogeneous ในขณะที่ norms หรือ quasi-norms ทั้งหมด -order homogeneous แม้ว่าอย่างใด ในฐานะความคลาดเคลื่อนนี้ดูเหมือนจะเป็นช่องว่างให้ฉัน$\ell_0$$\ell_0$$0$$\ell_p$$1$$\ell_p \to \ell_0$$p\to 0$

ดังนั้นการรักษาด้วยบรรทัดฐานบางกำลังพิจารณา (ไม่ใช่นูน) อัตราส่วนบรรทัดฐานเช่น ดูตัวอย่างอ้างอิงในEuclid ในรถแท็กซี่: เบาบางตาบอด deconvolution กับเรียบ regularization$\ell_1 / \ell_2$$\ell_1 / \ell_2$