การลงโทษสะพานเทียบกับการทำให้เป็นมาตรฐานสุทธิยืดหยุ่น

ฟังก์ชันการลงโทษและการประมาณค่าบางอย่างนั้นได้รับการศึกษาอย่างดีเช่น LASSO ( $L_1$ ) และ Ridge ( $L_2$ ) และการเปรียบเทียบเหล่านี้ในการถดถอยอย่างไร

ฉันได้อ่านเกี่ยวกับบทลงโทษของบริดจ์ซึ่งเป็นบทลงโทษทั่วไป เปรียบเทียบกับ LASSO ซึ่งมีและ Ridge กับทำให้เป็นกรณีพิเศษ $\sum \|\beta_{j}\|^{\gamma}$ $\gamma = 1$ $\gamma = 2$

Wenjiang [ 1 ] เปรียบเทียบการลงโทษสะพานเมื่อ $\gamma \geq 1$ กับ LASSO แต่ฉันไม่พบการเปรียบเทียบกับการวางตัวแบบยืดหยุ่นสุทธิการรวมกันของการลงโทษ LASSO และแนวสันเขาให้เป็น $\sum \lambda_{2} \|\beta\|^{2}+\lambda_{1}\|\beta\|_{1}$ {1}

นี่เป็นคำถามที่น่าสนใจเพราะ Elastic Net และ Bridge เฉพาะนี้มีรูปแบบข้อ จำกัด ที่คล้ายกัน เปรียบเทียบวงกลมหน่วยเหล่านี้โดยใช้การวัดที่แตกต่างกัน ( $p$ คือพลังของระยะทาง Minkowski ):

$p = 1$ สอดคล้องกับ LASSO, $p = 2$ กับสันเขาและ $p = 1.4$ ถึงสะพานที่เป็นไปได้หนึ่งแห่ง ยืดหยุ่นสุทธิถูกสร้างขึ้นมีน้ำหนักเท่ากันใน $L_1$ และ $L_2$ ลงโทษ ตัวเลขเหล่านี้มีประโยชน์ในการระบุช่องว่างตัวอย่างเช่น (สะพานใดขาดอย่างชัดเจนขณะที่ Elastic Net เก็บรักษาไว้จาก LASSO)

ดังนั้น Bridge ที่มี $1<\gamma <2$ เปรียบเทียบกับ Elastic Net เกี่ยวกับการทำให้เป็นมาตรฐาน (นอกเหนือจาก sparsity) ได้อย่างไร ฉันมีความสนใจเป็นพิเศษในการเรียนรู้แบบมีผู้ควบคุมดังนั้นการอภิปรายเกี่ยวกับการเลือกคุณลักษณะ / การถ่วงน้ำหนักเป็นประเด็นที่เกี่ยวข้อง การโต้เถียงทางเรขาคณิตก็ยินดีต้อนรับเช่นกัน

บางทีที่สำคัญกว่านี้คือ Elastic Net เป็นที่ต้องการมากกว่าในกรณีนี้หรือไม่?

_{[1] Fu, WJ (1998) การถดถอยที่ถูกปรับ: สะพานเทียบกับบ่วงบาศ สมุดรายวันของสถิติการคำนวณและกราฟิก, 7 (3), 397-416}

แก้ไข: มีคำถามนี้วิธีการตัดสินใจว่าจะใช้มาตรการลงโทษที่ใช้? คำแนะนำทั่วไปหรือกฎทั่วไปของหนังสือเรียนที่กล่าวถึง LASSO, Ridge, Bridge และ Elastic Net แต่ไม่มีความพยายามที่จะเปรียบเทียบพวกเขา

— Firebug
แหล่งที่มา

มีเพียงเรื่องเดียวที่เกี่ยวข้อง แต่ถ้าลงโทษตามปกติคือการประมาณค่า MAP ของการถดถอยแบบเบย์พร้อมกับ Laplace Priors แบบสัมประสิทธิ์กับค่าสัมประสิทธิ์และเป็นแบบเดียวกันสำหรับ Priors แบบเกาส์เซียนฉันสงสัยว่าการลงโทษแบบสะพานเทียบเท่ากับ Subbotin ก่อน ... stats.stackexchange.com/questions/201038/…

L_{1}

$L_1$

L_{2}

$L_2$

— Sycorax พูดว่า Reinstate Monica

@RichardHardy ไม่มีความจำเป็นที่จะเขียนเชือกในเมืองหลวงทั้งหมดดูที่ความคิดเห็นของฉันที่นี่

— อะมีบาพูดว่า Reinstate Monica

โปรดทราบว่า Bridge regression อนุญาตให้ซึ่งให้การถดถอยแบบไม่นูน โดยเฉพาะอย่างยิ่งเมื่อพยายามเลือกกลุ่มของตัวแปรโดยเฉพาะอย่างยิ่งจากข้อมูลที่กระจัดกระจาย หรือโดยทั่วไปคุณอาจมีกลุ่มของโควาเรียส์ที่กำหนดไว้ล่วงหน้าซึ่งคุณจะทำให้ปกติเพื่อให้ไม่มีกลุ่มใดที่มีขนาดใหญ่และจากนั้นทำให้สัมประสิทธิ์กลุ่มเดี่ยวเป็นมาตรฐานเพื่อให้ได้ sparsity คือถ้าคุณเขียนโดยที่คุณสามารถทำnu_i}

γ < 1

$\gamma<1$

L^{2}

$L^2$

L^{1}

$L^1$

β = (a_{1}, \dots, a_{k})

$\beta=(a_1,\cdots,a_k)$

a_{i} = (β_{i_{1}}, β_{i_{2},}, \dots, β_{i_{r}})

$a_i=(\beta_{i_1},\beta_{i_2,},\cdots,\beta_{i_r})$

λ_{1} ‖ β ‖^{γ_{i}} + λ_{2} \sum_{i} ‖ a_{i} ‖^{ν_{i}}

$\lambda_1 \|\beta\|^{\gamma_i}+\lambda_2\sum_i \|a_i\|^{\nu_i}$

— Alex R.

@AlexR ที่จริงผมควรจะทำให้มันชัดเจนผมหมายถึง1 ฉันไม่รู้ถูกเรียกอีกอย่างว่าบริดจ์

γ \geq 1

$\gamma \geq 1$

γ < 1

$\gamma < 1$

— Firebug

@ อะมีบาโอเคสบาย ปกติฉันจะไม่แก้ไขหากการใช้ตัวพิมพ์ใหญ่สอดคล้องกันตลอดการโพสต์ แต่คราวนี้มีทั้ง "LASSO" และ "lasso" ดังนั้นฉันจึงไปที่ "LASSO" ซึ่งเป็นรูปแบบแรกในโพสต์ ฉันมักจะคิดถึงคำย่อนั่นคือเหตุผลที่ฉันใช้ตัวพิมพ์ใหญ่ทั้งหมด แต่อย่างที่คุณพูดว่า "บ่วงบาศ" อย่างง่ายอาจดีกว่า

— Richard Hardy

ความถดถอยของสะพานและตาข่ายยืดหยุ่นต่างกันอย่างไรเป็นคำถามที่น่าสนใจเนื่องจากได้รับการลงโทษที่คล้ายกัน นี่เป็นวิธีหนึ่งที่เป็นไปได้ สมมติว่าเราแก้ปัญหาการถดถอยของสะพาน จากนั้นเราสามารถถามได้ว่าวิธีการแก้ปัญหายืดหยุ่นสุทธิจะแตกต่างกันอย่างไร การดูการไล่ระดับสีของฟังก์ชันการสูญเสียทั้งสองสามารถบอกอะไรเราได้บ้าง

การถดถอยของสะพาน

Say เป็นเมทริกซ์ที่มีค่าของตัวแปรอิสระ ( คะแนน x มิติ) คือเวกเตอร์ที่มีค่าของตัวแปรตามและคือเวกเตอร์น้ำหนัก $X$ $n$ $d$ $y$ $w$

ฟังก์ชั่นการสูญเสียบอลบรรทัดฐานของน้ำหนักที่มีขนาด : $\ell_q$ $\lambda_b$

L_{b} (w) = ‖ y - X w ‖_{2}^{2} + λ_{b} ‖ w ‖_{q}^{q}

$L_b(w) = \| y - Xw\|_2^2 + \lambda_b \|w\|_q^q$

ความลาดชันของฟังก์ชั่นการสูญเสียคือ:

\nabla_{w} L_{b} (w) = - 2 X^{T} (y - X w) + λ_{b} q | w |^{\circ (q - 1)} sgn (w)

$\nabla_w L_b(w) = -2 X^T (y - Xw) + \lambda_b q |w|^{\circ(q-1)} \text{sgn}(w)$

หมายถึงพลัง Hadamard (เช่นองค์ประกอบที่ฉลาด) ซึ่งให้เวกเตอร์ที่องค์ประกอบเป็น $v^{\circ c}$ $i$ ฉันเป็นฟังก์ชันสัญญาณ (นำไปใช้กับองค์ประกอบของแต่ละ ) การไล่ระดับสีอาจจะไม่ได้กำหนดที่ศูนย์ค่าของบางส่วนคิว $v_i^c$ $\text{sgn}(w)$ $w$ $q$

ยืดหยุ่นสุทธิ

ฟังก์ชั่นการสูญเสียคือ:

L_{e} (w) = ‖ y - X w ‖_{2}^{2} + λ_{1} ‖ w ‖_{1} + λ_{2} ‖ w ‖_{2}^{2}

$L_e(w) = \|y - Xw\|_2^2 + \lambda_1 \|w\|_1 + \lambda_2 \|w\|_2^2$

นี่เป็นการลงโทษ บรรทัดฐานของน้ำหนักที่มีขนาดและบรรทัดฐานที่มีขนาด 2กระดาษตาข่ายยืดหยุ่นเรียกการย่อขนาดฟังก์ชั่นการสูญเสียนี้ว่า 'ตาข่ายยืดหยุ่นไร้เดียงสา' เพราะจะทำให้น้ำหนักลดลงเป็นสองเท่า พวกเขาอธิบายขั้นตอนการปรับปรุงที่มีการลดน้ำหนักในภายหลังเพื่อชดเชยการหดตัวสองเท่า แต่ฉันจะวิเคราะห์รุ่นที่ไร้เดียงสา นั่นเป็นข้อแม้ที่ต้องจำไว้ $\ell_1$ $\lambda_1$ $\ell_2$ $\lambda_2$

ความลาดชันของฟังก์ชั่นการสูญเสียคือ:

\nabla_{w} L_{e} (w) = - 2 X^{T} (y - X w) + λ_{1} sgn (w) + 2 λ_{2} w

$\nabla_w L_e(w) = -2 X^T (y - Xw) + \lambda_1 \text{sgn}(w) + 2 \lambda_2 w$

การไล่ระดับสีไม่ได้กำหนดที่ศูนย์เมื่อเพราะค่าสัมบูรณ์ในการลงโทษนั้นไม่สามารถเปลี่ยนแปลงได้ $\lambda_1 > 0$ $\ell_1$

เข้าใกล้

สมมติว่าเราเลือกตุ้มน้ำหนักที่แก้ปัญหาการถดถอยของสะพาน นี่หมายความว่าการลดทอนการถดถอยของสะพานเป็นศูนย์ ณ จุดนี้: $w^*$

\nabla_{w} L_{b} (w^{*}) = - 2 X^{T} (y - X w^{*}) + λ_{b} q | w^{*} |^{\circ (q - 1)} sgn (w^{*}) = \vec{0}

$\nabla_w L_b(w^*) = -2 X^T (y - Xw^*) + \lambda_b q |w^*|^{\circ (q-1)} \text{sgn}(w^*) = \vec{0}$

ดังนั้น:

2 X^{T} (y - X w^{*}) = λ_{b} q | w^{*} |^{\circ (q - 1)} sgn (w^{*})

$2 X^T (y - Xw^*) = \lambda_b q |w^*|^{\circ (q-1)} \text{sgn}(w^*)$

เราสามารถทดแทนนี้ในการไล่ระดับสีสุทธิยืดหยุ่นที่จะได้รับการแสดงออกสำหรับการไล่ระดับสีสุทธิยืดหยุ่นที่ *โชคดีที่มันไม่ขึ้นกับข้อมูลโดยตรงอีกต่อไป: $w^*$

\nabla_{w} L_{e} (w^{*}) = λ_{1} sgn (w^{*}) + 2 λ_{2} w^{*} - λ_{b} q | w^{*} |^{\circ (q - 1)} sgn (w^{*})

$\nabla_w L_e(w^*) = \lambda_1 \text{sgn}(w^*) + 2 \lambda_2 w^* -\lambda_b q |w^*|^{\circ (q-1)} \text{sgn}(w^*)$

มองไปที่การไล่ระดับสีสุทธิยืดหยุ่นที่บอกเรา: ระบุว่าสะพานถดถอยได้แปรสภาพน้ำหนักวิธีที่จะความขาดแคลนสุทธิยืดหยุ่นในการเปลี่ยนแปลงน้ำหนักเหล่านี้หรือไม่ $w^*$ $w^*$

มันทำให้เรามีทิศทางในท้องถิ่นและขนาดของการเปลี่ยนแปลงที่ต้องการเพราะจุดไล่ระดับในทิศทางของการขึ้นชันและฟังก์ชันการสูญเสียจะลดลงเมื่อเราเคลื่อนที่ในทิศทางตรงกันข้ามกับการไล่ระดับสี การไล่ระดับสีอาจไม่ชี้ตรงไปยังสารละลายตาข่ายยืดหยุ่น แต่เพราะฟังก์ชั่นมีผลขาดทุนสุทธิยืดหยุ่นนูนท้องถิ่นทิศทาง / ขนาดให้บางข้อมูลเกี่ยวกับวิธีการแก้ปัญหาสุทธิยืดหยุ่นจะแตกต่างจากการแก้ปัญหาสะพานถดถอย

กรณีที่ 1: ตรวจสอบสติ

( ) การถดถอยของบริดจ์ในกรณีนี้เทียบเท่ากับกำลังสองน้อยที่สุดธรรมดา (OLS) เนื่องจากขนาดการลงโทษเป็นศูนย์ สุทธิยืดหยุ่นเทียบเท่าถดถอยสันเพราะเพียงบรรทัดฐานมือสัมผัส พล็อตต่อไปนี้แสดงวิธีแก้ปัญหาการถดถอยแบบบริดจ์ที่แตกต่างกัน $\lambda_b = 0, \lambda_1 = 0, \lambda_2 = 1$ $\ell_2$

พล็อตด้านซ้าย: การไล่ระดับสีสุทธิแบบยืดหยุ่นเทียบกับน้ำหนักการถดถอยของสะพานในแต่ละมิติ

แกน x แสดงส่วนประกอบหนึ่งชุดของตุ้มน้ำหนัก เลือกโดยการถดถอยสะพาน แกน Y หมายถึงองค์ประกอบที่สอดคล้องกันของการไล่ระดับสีสุทธิยืดหยุ่นประเมิน *โปรดทราบว่าน้ำหนักนั้นมีหลายมิติ แต่เราเพียงแค่ดูน้ำหนัก / การไล่ระดับสีตามมิติเดียว $w^*$ $w^*$

พล็อตที่ถูกต้อง: การเปลี่ยนแปลงเน็ตยืดหยุ่นกับน้ำหนักการถดถอยของสะพาน (2d)

แต่ละจุดหมายถึงชุดน้ำหนัก 2d เลือกโดยการถดถอยสะพาน สำหรับแต่ละทางเลือกของเวกเตอร์จะถูกพล็อตชี้ไปในทิศทางตรงข้ามกับการไล่ระดับสีอีลาสติกยืดหยุ่นโดยมีขนาดตามสัดส่วนของการไล่ระดับสี นั่นคือเวกเตอร์ที่พล็อตแสดงให้เห็นว่าตาข่ายยืดหยุ่นต้องการเปลี่ยนวิธีแก้ปัญหาการถดถอยของสะพานอย่างไร $w^*$ $w^*$

พล็อตเหล่านี้แสดงให้เห็นว่าเมื่อเทียบกับการถดถอยของสะพาน (OLS ในกรณีนี้) ตาข่ายยืดหยุ่น (การถดถอยแนวสันในกรณีนี้) ต้องการลดน้ำหนักให้เป็นศูนย์ ปริมาณการหดตัวที่ต้องการจะเพิ่มขึ้นตามขนาดของน้ำหนัก หากน้ำหนักเป็นศูนย์โซลูชันจะเหมือนกัน การตีความคือว่าเราต้องการที่จะย้ายไปในทิศทางตรงข้ามกับการไล่ระดับสีเพื่อลดฟังก์ชั่นการสูญเสีย ตัวอย่างเช่นพูดการถดถอยของสะพานมารวมกันเป็นค่าบวกสำหรับหนึ่งในน้ำหนัก ณ จุดนี้การยืดตัวแบบยืดหยุนสุทธิเป็นบวกดังนั้นตาข่ายยืดตัวจึงต้องการลดน้ำหนักนี้ หากใช้การไล่ระดับสีแบบไล่ระดับเราจะทำขั้นตอนตามสัดส่วนในการไล่ระดับสี (แน่นอนว่าเราไม่สามารถใช้การไล่ระดับสีแบบทางเทคนิคเพื่อแก้ปัญหาตาข่ายยืดหยุ่นได้เนื่องจากความไม่สามารถหาอนุพันธ์ได้ที่ศูนย์

กรณีที่ 2: การจับคู่สะพาน & ตาข่ายยืดหยุ่น

( ) ฉันเลือกพารามิเตอร์การลงโทษสะพานเพื่อให้ตรงกับตัวอย่างจากคำถาม ฉันเลือกพารามิเตอร์เครือข่ายอีลาสติกเพื่อให้ได้โทษสุทธิที่ดีที่สุดที่ตรงกัน ที่นี่วิธีการจับคู่ที่ดีที่สุดจากการกระจายน้ำหนักโดยเฉพาะเราพบว่าพารามิเตอร์การลงโทษสุทธิยืดหยุ่นที่ลดความแตกต่างกำลังสองที่คาดไว้ระหว่างสะพานและการลงโทษสุทธิแบบยืดหยุ่น: $q = 1.4, \lambda_b = 1, \lambda_1 = 0.629, \lambda_2 = 0.355$

min_{λ_{1}, λ_{2}} E [(λ_{1} ‖ w ‖_{1} + λ_{2} ‖ w ‖_{2}^{2} - λ_{b} ‖ w ‖_{q}^{q})^{2}]

$\min_{\lambda_1, \lambda_2} \enspace E \left [ ( \lambda_1 \|w\|_1 + \lambda_2 \|w\|_2^2 - \lambda_b \|w\|_q^q )^2 \right ]$

ที่นี่ฉันคิดว่าน้ำหนักกับรายการทั้งหมดที่ดึงมาจากการกระจายเครื่องแบบใน (เช่นภายใน hypercube เป็นศูนย์กลางที่จุดกำเนิด) พารามิเตอร์ยืดหยุ่นสุทธิที่ดีที่สุดที่ตรงกันนั้นมีขนาดใกล้เคียงกับ 2 ถึง 1,000 มิติ แม้ว่าพวกเขาจะไม่ได้มีความไวต่อมิติ แต่พารามิเตอร์ที่ดีที่สุดที่ตรงกันจะขึ้นอยู่กับขนาดของการกระจาย $[-2, 2]$

ปรับพื้นผิว

นี่คือโครงร่างของการลงโทษรวมที่กำหนดโดยการถดถอยของสะพาน ( ) และตาข่ายยืดหยุ่นที่ดีที่สุดที่ตรงกัน ( $q=1.4, \lambda_b=100$ $\lambda_1 = 0.629, \lambda_2 = 0.355$

พฤติกรรมการไล่ระดับสี

เราสามารถดูต่อไปนี้:

ให้ $w^*_j$ $j$
$|w^*_j|< 0.25$
$|w^*_j| \approx 0.25$
$0.25 < |w^*_j| < 1.31$
$|w^*_j| \approx 1.31$
$|w^*_j| > 1.31$

$q$ $\lambda_b$ $\lambda_1, \lambda_2$

กรณีที่ 3: สะพานที่ไม่ตรงกัน & สุทธิยืดหยุ่น

$(q=1.8, \lambda_b=1, \lambda_1=0.765, \lambda_2 = 0.225)$ $\lambda_1, \lambda_2$ $\ell_1$ $\ell_2$

Relative to bridge regression, elastic net wants to shrink small weights toward zero and increase larger weights. There's a single set of weights in each quadrant where the bridge regression and elastic net solutions coincide, but elastic net wants to move away from this point if the weights differ even slightly.

$(q=1.2, \lambda_b=1, \lambda_1=173, \lambda_2 = 0.816)$ . In this regime, the bridge penalty is more similar to an $\ell_1$ penalty (although bridge regression may not produce sparse solutions with $q > 1$ , as mentioned in the elastic net paper). I found the best-matching $\lambda_1, \lambda_2$ , but then swapped them so that the elastic net behaves more like ridge regression ( $\ell_2$ penalty greater than $\ell_1$ penalty).

Relative to bridge regression, elastic net wants to grow small weights and shrink larger weights. There's a point in each quadrant where the bridge regression and elastic net solutions coincide, and elastic net wants to move toward these weights from neighboring points.

— user20160
แหล่งที่มา

(+1) Great answer, thanks for the effort! Could you address one last thing: "is the Elastic Net always more desirable?". No need to be lengthy;

— Firebug

Bridge regression and elastic net are equivalent to MAP estimation with different kinds of priors on the weights. From this perspective, it seems like the better choice would be the prior that better matches the data-generating process, and that neither method could be better in all cases.

— user20160

+6, very nice answer. Regarding your above comment: what prior yields bridge regression? I know that Gaussian prior corresponds to ridge and Laplace prior to lasso. Can one somehow combine these priors to get something that corresponds to elastic net?

— amoeba says Reinstate Monica

@amoeba The question wasn't directed to me, I know, but as GeneralAbrial said in the question, bridge probably corresponds to a Subbotin prior. Elastic net, as expected, is between Gaussian and Laplacian priors. See Li, Q., & Lin, N. (2010). The Bayesian elastic net. Bayesian Analysis, 5(1), 151-170. and Zou, H., & Hastie, T. (2005). Regularization and variable selection via the elastic net. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 67(2), 301-320. for a brief comparison between elastic net and bridge regression.

— Firebug

@amoeba thanks for the bounty and drawing attention to this post, likewise for the other post about PCA vs. nonlinear dimensionality reduction. It's admirable that you use your rep to promote others' questions/answers, and it makes me glad if this post is at least of some small value to people. Others, thanks too for the kind words.

— user20160