บรรทัดฐานคืออะไรและเกี่ยวข้องกับการทำให้เป็นมาตรฐานหรือไม่

ฉันได้เห็นเอกสารจำนวนมากเกี่ยวกับการนำเสนอที่กระจัดกระจายเมื่อเร็ว ๆ นี้และส่วนใหญ่ใช้บรรทัดฐานและทำการย่อเล็กสุด คำถามของฉันคืออะไรบรรทัดฐานและบรรทัดฐานแบบผสมคืออะไร และเกี่ยวข้องกับการทำให้เป็นมาตรฐานได้อย่างไรℓ p ℓ p , $\ell_p$$\ell_p$$\ell_{p, q}$

ขอบคุณ

$\ell_p$ norms เป็นฟังก์ชั่นที่รับเวกเตอร์และส่งคืนตัวเลขที่ไม่ใช่ค่าลบ พวกมันถูกนิยามเป็นในกรณีที่p = 2นี่คือ เรียกว่าบรรทัดฐานแบบยุคลิด คุณสามารถกำหนดระยะทางยุคลิดเป็น\ | \ vec x - \ vec Y เมื่อp = \ inftyนี่หมายถึง\ | \ vec x \ | _ \ infty = \ sup_i x_i (หรือ\ max_i x_i ) พูดอย่างเคร่งครัดพีจะต้องเป็นที่หนึ่งอย่างน้อยสำหรับ\ | \ vec x \ | _Pจะเป็นบรรทัดฐาน ถ้า0 <p <1ดังนั้น\ | \ vec x \ | _p p =

$$\|\vec x\|_p = \left(\sum_{i=1}^d |x_i|^p\right)^{1/p}$$ $p=2$ ‖ → x ‖ ∞ = จีบฉันx ฉันสูงสุดฉันx ฉัน P ‖ → x ‖ $\|\vec x - \vec y\|_2$$p = \infty$$\|\vec x\|_\infty = \sup_i x_i$$\max_i x_i$$p$$\|\vec x\|_p$‖ → x ‖ $0 < p < 1$$\|\vec x\|_p$ ไม่ใช่บรรทัดฐานจริง ๆ เพราะบรรทัดฐานต้องตอบสนองความไม่เท่าเทียมกันของสามเหลี่ยม

(นอกจากนี้ยังมีบรรทัดฐานซึ่งมีการกำหนดไว้อย่างแน่นอนยกเว้นฟังก์ชั่นแทนเวกเตอร์หรือลำดับ - จริงๆนี่คือสิ่งเดียวกันเนื่องจากเวกเตอร์เป็นฟังก์ชั่นที่มีโดเมน จำกัด )$L_p$

ฉันไม่ได้ตระหนักถึงการใช้ใด ๆ สำหรับบรรทัดฐานในการประยุกต์ใช้การเรียนรู้เครื่องที่นอกจากที่\ โดยปกติแล้วคุณจะเห็นหรือหรือบางครั้งที่คุณต้องการผ่อนคลายกรณี; ไม่เคร่งครัดนูนแต่คือสำหรับ<\ ซึ่งจะทำให้การค้นหาโซลูชัน "ง่ายขึ้น" ในบางกรณีp = ∞ p = 2 p = 1 1 < p < 2 p = 1 ‖ → x ‖ 1 → x ‖ → x ‖ p 1 < p < $p > 2$$p = \infty$$p = 2$$p = 1$$1 < p < 2$$p = 1$$\|\vec x\|_1$$\vec x$$\|\vec x\|_p$$1 < p < \infty$

ในบริบทของการทำให้เป็นปกติถ้าคุณเพิ่มในฟังก์ชันวัตถุประสงค์ของคุณสิ่งที่คุณพูดคือคุณคาดว่าจะกระจัดกระจายนั่นคือส่วนใหญ่ประกอบด้วยศูนย์ มันเป็นเรื่องทางเทคนิคเล็กน้อย แต่โดยทั่วไปถ้ามีวิธีแก้ปัญหาหนาแน่นก็น่าจะมีวิธีแก้ปัญหาแบบแยกคำด้วยบรรทัดฐานเดียวกัน หากคุณคาดหวังว่าโซลูชันของคุณจะมีความหนาแน่นสูงคุณสามารถเพิ่ม เข้ากับวัตถุประสงค์ของคุณเพราะจากนั้นจะทำงานกับอนุพันธ์ได้ง่ายขึ้น ทั้งสองมีจุดประสงค์ในการป้องกันไม่ให้น้ำหนักมากเกินไป$\|\vec x\|_1$ ‖ → x ‖ 2 $\vec x$$\|\vec x\|_2^2$

บรรทัดฐานแบบผสมเกิดขึ้นเมื่อคุณพยายามรวมหลายแหล่ง โดยทั่วไปคุณต้องการให้เวกเตอร์โซลูชันประกอบด้วยหลายส่วนโดยที่คือดัชนีของแหล่งข้อมูลบางแหล่ง บรรทัดฐานเป็นเพียง -norm ของทุก -norms เก็บในเวกเตอร์ กล่าวคือjℓp,qqp‖ → x ‖p,q=( m ∑ j = 1 ( d ∑ i = 1 | x j i | p ) q / p)1/$\vec{x}^j$$j$$\ell_{p,q}$$q$$p$

$$\|\vec x\|_{p,q} = \left( \sum_{j = 1}^m \left( \sum_{i=1}^d |x_i^j|^p\right)^{q/p}\right)^{1/q}$$

วัตถุประสงค์ของการนี้คือไม่ให้ "oversparsify" ชุดของการแก้ปัญหาพูดโดยใช้{1,2} ชิ้นส่วนแต่ละชิ้นจะกระจัดกระจาย แต่คุณไม่เสี่ยงที่จะทำเวกเตอร์โซลูชันทั้งหมดโดยใช้ -norm ของโซลูชันทั้งหมด ดังนั้นคุณจึงใช้ -norm ด้านนอกแทน 1 $\|\vec x\|_{1,2}$$1$$2$

หวังว่าจะช่วย

ดูกระดาษนี้สำหรับรายละเอียดเพิ่มเติม