วิธีการใช้การทำให้เป็นมาตรฐาน L2 ไปยังจุดที่ว่างในพื้นที่?

นี่คือสิ่งที่ผมอ่านในหนังสือเอียน Goodfellow ของการเรียนรู้ลึก

ในบริบทของเครือข่ายนิวรัล "การปรับค่าพารามิเตอร์ของพารามิเตอร์ L2 เป็นที่รู้กันทั่วไปว่าเป็นการลดน้ำหนักกลยุทธ์การทำให้เป็นมาตรฐานนี้ทำให้น้ำหนักใกล้เคียงกับแหล่งกำเนิด [... ] โดยทั่วไปเราสามารถทำให้ค่าพารามิเตอร์อยู่ใกล้กับจุดใด ๆ ในช่องว่าง "แต่มันเป็นเรื่องธรรมดามากที่จะทำให้พารามิเตอร์ของโมเดลเป็นศูนย์ (การเรียนรู้อย่างลึก Goodfellow และคณะ)

ฉันแค่อยากรู้ ฉันเข้าใจว่าเพียงเพิ่มคำ normalizing ในฟังก์ชันต้นทุนของเราและด้วยการลดค่าใช้จ่ายทั้งหมด$J$เราสามารถส่งผลต่อพารามิเตอร์ของแบบจำลองให้มีขนาดเล็กลง:

$$J(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) = L(\boldsymbol{\Theta}, \boldsymbol{X}, \boldsymbol{y}) + \lambda||\boldsymbol{w}||_{2}^{2}$$

แต่เราจะใช้กลยุทธ์การทำให้เป็นมาตรฐานนี้ได้อย่างไรซึ่งจะนำพารามิเตอร์ไปสู่จุดใด ๆ (กล่าวว่าเราต้องการบรรทัดฐานมีแนวโน้มที่จะ 5)

คุณถามคำถามสองข้อที่แตกต่างกัน

1. การมีบรรทัดฐานมักจะ 5 หมายความว่าคุณต้องการให้น้ำหนักอยู่ใกล้พื้นผิวของไฮเปอร์สเฟียร์ที่กึ่งกลางที่จุดกำเนิดด้วยรัศมี 5 การทำให้เป็นระเบียบนี้มีลักษณะเหมือน

$$J(\Theta, X, y) = L(\Theta, X, y) + \lambda (||w||_2^2-5)^2$$

แต่คุณสามารถใช้แทนสิ่งที่ต้องการฉันคิดว่า$\lambda \cdot\text{abs}(||w||_2^2-5)$

2. ในทางกลับกันถ้าคุณต้องการที่จะมีแนวโน้มต่อจุดโดยพลการ, คุณเพียงแค่ต้องใช้จุดที่เป็นศูนย์ค$c$

$$J(\Theta, X, y) = L(\Theta, X, y) + \lambda ||w-c||_2^2$$

กำหนดW λ = หาเรื่องนาทีW L ( Θ , X , Y ) + λ ‖ W ‖ 2 2 เรารู้ว่าลิมλ →การ∞ W λ = 0เนื่องจากโทษW ↦ ‖ W ‖ 2 2มีต้นกำเนิดเป็นผืนของมัน

$$\hat w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \|w\|_2^2.$$ $\lim_{\lambda \to \infty} \hat w_\lambda = 0$$w \mapsto \|w\|_2^2$

จุด Sycorax ให้เห็นว่าในทำนองเดียวกันการวางนัยทั่วไปที่ประสบความสำเร็จอาจทำให้เราเสนอตัวประมาณ˜ w λ = หาเรื่องmin w L ( Θ , X , y ) + λ p e n ( $\lim_{\lambda \to \infty} \left\{ \arg\min_w L(\Theta, X, y) + \lambda \|w-c\|_2^2 \right\} = c.$ที่ p e nเป็นฟังก์ชั่นที่ minimizer สร้างความพึงพอใจให้กับคุณสมบัติบางอย่างที่เราแสวงหา ที่จริงแล้ว Sycorax ใช้ p e n ( w ) = g ( ‖ w ‖ 2 2 - 5 )โดยที่ gถูกลดขนาดลงที่จุดกำเนิด (ไม่ซ้ำกัน) และโดยเฉพาะ g ∈ { | ⋅ |

$$\tilde w_\lambda = \arg\min_w L(\Theta, X, y) + \lambda \mathrm{pen}(w),$$ $\mathrm{pen}$$\mathrm{pen}(w) = g(\|w\|_2^2 - 5)$$g$ } ดังนั้น Lim λ →การ∞ ‖ ~ W λ ‖ 2 2 = 5 , ตามที่ต้องการ แต่น่าเสียดายที่ทั้งสองตัวเลือกของ gนำไปสู่การลงโทษที่ไม่ใช่แบบ nonconvex ทำให้การประมาณค่าทำได้ยาก$g \in \{|\cdot|, \, (\cdot)^2\}$$\lim_{\lambda \to \infty} \|\tilde w_\lambda \|_2^2 = 5$$g$

การวิเคราะห์ข้างต้นน่าจะเป็นทางออกที่ดีที่สุด (อาจจะถึงทางเลือกของซึ่งผมไม่มีดีกว่าที่จะแนะนำ) ถ้าเรายืนยันในλ →การ∞เป็นการตีความที่ไม่ซ้ำกันของ "แนวโน้มที่จะ" อธิบายไว้ในคำถาม แต่สมมติว่า‖ หาเรื่องนาทีW L ( Θ , X , Y ) ‖ 2 2 ≥ 5มีอยู่บางΛเพื่อให้ผืนW Λของ OP ของ satsifes ปัญหา‖ W Λ ‖ 2 2$g$$\lambda \to \infty$$\|\arg\min_w L(\Theta, X, y) \|_2^2 \geq 5$$\Lambda$$\hat w_\Lambda$ . ดังนั้น Lim λ →การΛ ‖ W λ ‖ 2 2 = 5 ,โดยไม่จำเป็นต้องเปลี่ยนเป้าหมายการทำงาน ถ้าไม่มีเช่น Λอยู่แล้วปัญหาของการคำนวณหาเรื่องนาทีW : ‖ W ‖ 2 2 = 5 L ( Θ , X , Y )เป็นเรื่องยากยิ่ง อันที่จริงก็ไม่จำเป็นที่จะต้องพิจารณาประมาณการใด ๆ นอกเหนือจาก W λเมื่อพยายามที่จะส่งเสริมให้มีคุณสมบัติตามธรรมชาติของ$\|\hat w_\Lambda\|_2^2 = 5$

$$\lim_{\lambda \to \Lambda} \left\| \hat w_\lambda \right\|_2^2 = 5,$$ $\Lambda$$\arg\min_{w : \|w\|_2^2 = 5} L(\Theta, X, y)$$\hat w_\lambda$ 2$\|\hat w_\lambda\|_2^2$

(เพื่อบังคับใช้ให้ตัวประมาณที่ถูกลงโทษได้รับค่าของบทลงโทษซึ่งไม่สำเร็จโดยผู้ประเมินที่ไม่ผ่านการทดสอบนั้นดูเหมือนจะผิดธรรมชาติอย่างมากสำหรับฉันหากใครก็ตามที่ตระหนักถึงสถานที่ใด ๆ

$L$$J$

มันควรง่ายที่จะเห็นตัวอย่างของ Sycorax ในแง่ของ MAP

สำหรับรายละเอียดของแผนที่คุณสามารถดูบันทึกเหล่านี้ได้ จากประสบการณ์ของฉัน googling 'สูงสุดหลังปกติ' ให้ผลลัพธ์ที่ดี