แสดงความเท่าเทียมกันระหว่างบรรทัดฐานการถดถอยปกติและบรรทัดฐานการถดถอยแบบ จำกัด การใช้ KKT

ตามที่อ้างอิงเล่ม 1 , เล่ม 2และกระดาษ

มีการกล่าวถึงว่ามีความเท่าเทียมกันระหว่างการถดถอยแบบปกติ (Ridge, LASSO และ Elastic Net) และสูตรข้อ จำกัด

ฉันยังดูCross Validated 1และCross Validated 2แต่ฉันไม่สามารถเห็นคำตอบที่ชัดเจนแสดงให้เห็นว่าการเทียบเท่าหรือตรรกะ

คำถามของฉันคือ

จะแสดงความเท่าเทียมกันอย่างไรโดยใช้ Karush – Kuhn – Tucker (KKT)

สูตรต่อไปนี้ใช้สำหรับการถดถอยแบบริดจ์

บันทึก

คำถามนี้ไม่ใช่การบ้าน มันเป็นเพียงเพื่อเพิ่มความเข้าใจของฉันในหัวข้อนี้

UPDATE

ฉันยังไม่มีความคิด

— jeza
แหล่งที่มา

ทำไมคุณต้องมีมากกว่า 1 คำตอบ? คำตอบปัจจุบันปรากฏขึ้นเพื่อตอบคำถามอย่างครอบคลุม หากคุณต้องการเรียนรู้เพิ่มเติมเกี่ยวกับวิธีการเพิ่มประสิทธิภาพConvex Optimization Lieven Vandenberghe และ Stephen P. Boyd เป็นจุดเริ่มต้นที่ดี

— Sycorax พูดว่า Reinstate Monica

@Sycorax ขอบคุณสำหรับความคิดเห็นของคุณและหนังสือที่คุณให้ฉัน คำตอบนั้นไม่ชัดเจนสำหรับฉันและฉันไม่สามารถขอคำอธิบายเพิ่มเติมได้ ดังนั้นคำตอบมากกว่าหนึ่งข้อให้ฉันเห็นมุมมองและวิธีการอธิบายที่แตกต่างกัน

— jeza

@jeza, คำตอบของฉันหายไปคืออะไร?

— Royi

โปรดพิมพ์คำถามของคุณเป็นข้อความอย่าเพิ่งโพสต์ภาพ (ดู ที่นี่ )

— gung - Reinstate Monica

คำตอบ:

คำตอบทางเทคนิคเพิ่มเติมเนื่องจากปัญหาการปรับให้เหมาะสมแบบ จำกัด สามารถเขียนเป็นตัวคูณของ Lagrange ได้ โดยเฉพาะLagrangian ที่เกี่ยวข้องกับปัญหาการหาค่าเหมาะที่สุดแบบ จำกัด ได้รับโดย โดยที่เป็นตัวทวีคูณที่ถูกเลือกเพื่อสนองข้อ จำกัด ของปัญหา เงื่อนไขการสั่งซื้อครั้งแรก (ซึ่งเพียงพอเนื่องจากคุณทำงานกับฟังก์ชั่นนูนที่เหมาะสม) สำหรับปัญหาการปรับให้เหมาะสมนี้สามารถรับได้โดยการแยกลากรองจ์ที่เกี่ยวข้องกับ

L (β) = \underset{β}{a r g m i n} {\sum_{i = 1}^{N} {(y_{i} - \sum_{j = 1}^{p} x_{i j} β_{j})}^{2}} + μ {(1 - α) \sum_{j = 1}^{p} | β_{j} | + α \sum_{j = 1}^{p} β_{j}^{2}}

$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}}\,\left\{\sum_{i=1}^N \left(y_i - \sum_{j=1}^p x_{ij} \beta_j\right)^2\right\} + \mu \left\{(1-\alpha) \sum_{j=1}^p |\beta_j| + \alpha \sum_{j=1}^p \beta_j^2\right\}$

μ

$\mu$

β

$\beta$ และการตั้งค่าตราสารอนุพันธ์เท่ากับ 0 (มันค่อนข้างจะเหมาะสมมากกว่าเนื่องจากส่วน LASSO มีจุดที่แตกต่างกัน แต่มีวิธีการจากการวิเคราะห์นูนเพื่อสรุปอนุพันธ์เพื่อให้เงื่อนไขลำดับแรกยังคงทำงานอยู่) เป็นที่ชัดเจนว่าเงื่อนไขการสั่งซื้อครั้งแรกเหล่านี้เหมือนกับเงื่อนไขการสั่งซื้อครั้งแรกของปัญหาที่ไม่มีข้อ จำกัด ที่คุณจดบันทึกไว้

อย่างไรก็ตามฉันคิดว่ามันมีประโยชน์ที่จะเห็นว่าทำไมโดยทั่วไปกับปัญหาการเพิ่มประสิทธิภาพเหล่านี้มักจะเป็นไปได้ที่จะคิดเกี่ยวกับปัญหาไม่ว่าจะผ่านเลนส์ของปัญหาการปรับให้เหมาะสมแบบ จำกัด หรือผ่านเลนส์ของปัญหาที่ไม่มีข้อ จำกัด โดยสมมติว่าเรามีปัญหาการปรับให้เหมาะสมแบบไม่มีเงื่อนไขของรูปแบบต่อไปนี้: เราสามารถลองแก้ปัญหาการเพิ่มประสิทธิภาพนี้ได้โดยตรง แต่บางครั้งมันอาจทำให้รู้สึกถึงปัญหานี้ ย่อย โดยเฉพาะอย่างยิ่งมันไม่ยากที่จะเห็นว่า ดังนั้นสำหรับค่าคงที่ของ

max_{x} f (x) + λ g (x)

$\max_x f(x) + \lambda g(x)$

max_{x} f (x) + λ g (x) = max_{t} (max_{x} f (x) s . t g (x) = t) + λ t

$\max_x f(x) + \lambda g(x) = \max_t \left(\max_x f(x)\ \mathrm{ s.t }\ g(x) = t\right) + \lambda t$

λ

$\lambda$ (และสมมติว่าฟังก์ชั่นที่ได้รับการปรับแต่งให้บรรลุออพติม่าได้จริง) เราสามารถเชื่อมโยงกับค่าที่แก้ปัญหาการปรับให้เหมาะสมภายนอก สิ่งนี้ทำให้เรามีการแมปจากปัญหาการปรับให้เหมาะสมแบบไม่ จำกัด ไปจนถึงปัญหาที่มีข้อ จำกัด ในการตั้งค่าเฉพาะของคุณเนื่องจากทุกอย่างทำหน้าที่อย่างดีสำหรับการถดถอยแบบยืดหยุ่นการแมปนี้ควรเป็นแบบหนึ่งต่อหนึ่งดังนั้นจึงเป็นประโยชน์ที่จะสามารถสลับระหว่างบริบททั้งสองนี้ขึ้นอยู่กับว่าเป็นประโยชน์กับแอปพลิเคชันใด โดยทั่วไปความสัมพันธ์ระหว่างปัญหาที่ถูก จำกัด และไม่มีข้อ จำกัด นี้อาจมีพฤติกรรมที่ไม่ดีนัก แต่อาจเป็นประโยชน์ในการพิจารณาว่าคุณสามารถย้ายไปมาระหว่างปัญหาที่ถูก จำกัด และไม่มีข้อ จำกัด ได้อย่างไร

t^{*}

$t^*$

แก้ไข: ตามที่ร้องขอฉันจะรวมการวิเคราะห์ที่เป็นรูปธรรมมากขึ้นสำหรับการถดถอยของสันเขาเพราะมันรวบรวมความคิดหลักในขณะที่หลีกเลี่ยงการจัดการกับเทคนิคที่เกี่ยวข้องกับการลงโทษ LASSO ที่ไม่แตกต่างกัน จำได้ว่าเรากำลังแก้ปัญหาการเพิ่มประสิทธิภาพ (ในสัญกรณ์เมทริกซ์):

\underset{β}{a r g m i n} {\sum_{i = 1}^{N} y_{i} - x_{i}^{T} β} s . t . | | β | |^{2} \leq M

$\underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\}\quad\mathrm{s.t.}\, ||\beta||^2 \leq M$

ให้เป็นโซลูชัน OLS (เช่นเมื่อไม่มีข้อ จำกัด ) จากนั้นฉันจะเน้นไปที่กรณีที่(หากมีสิ่งนี้อยู่) เนื่องจากมิฉะนั้นข้อ จำกัด นั้นไม่น่าสนใจเนื่องจากไม่มีการผูกมัด ลากรองจ์สำหรับปัญหานี้สามารถเขียนได้ จากนั้นเราจะได้รับเงื่อนไขการสั่งซื้อที่แตกต่างกัน : ซึ่งเป็นเพียงระบบสมการเชิงเส้นและสามารถแก้ไขได้: $\beta^{OLS}$ $M < \left|\left|\beta^{OLS}\right|\right|$

L (β) = \underset{β}{a r g m i n} {\sum_{i = 1}^{N} y_{i} - x_{i}^{T} β} - μ \cdot | | β | |^{2} \leq M

$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\} - \mu\cdot||\beta||^2 \leq M$

0 = - 2 (\sum_{i = 1}^{N} y_{i} x_{i} + (\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I) β)

$0 = -2 \left(\sum_{i=1}^N y_i x_i + \left(\sum_{i=1}^N x_i x_i^T + \mu I\right) \beta\right)$

\hat{β} = {(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i})

$\hat\beta = \left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)$ สำหรับทางเลือกของตัวคูณบาง\ตัวทวีคูณนั้นถูกเลือกเพื่อทำให้ข้อ จำกัด เป็นจริงเช่นเราต้องการ

μ

$\mu$

{({(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i}))}^{T} ({(\sum_{i = 1}^{N} x_{i} x_{i}^{T} + μ I)}^{- 1} (\sum_{i = 1}^{N} y_{i} x_{i})) = M

$\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right)^T\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right) = M$ ที่มีอยู่ตั้งแต่ LHS คือเนื่องใน\สมการนี้ให้การแมปที่ชัดเจนจากตัวคูณถึงข้อ จำกัด ,ด้วย เมื่อ RHS มีอยู่แล้วและ การทำแผนที่นี้สอดคล้องกับสิ่งที่ค่อนข้างใช้งานง่าย ทฤษฎีบทซองบอกเราว่า

μ

$\mu$

μ \in (0, \infty)

$\mu \in (0,\infty)$

M \in (0, | | β^{O L S} | |)

$M \in \left(0, \left|\left|\beta^{OLS}\right|\right|\right)$

lim_{μ \to 0} M (μ) = | | β^{O L S} | |

$\lim_{\mu\to 0} M(\mu) = \left|\left|\beta^{OLS}\right|\right|$

lim_{μ \to \infty} M (μ) = 0

$\lim_{\mu \to \infty} M(\mu) = 0$

μ (M)

$\mu(M)$ สอดคล้องกับการลดลงเล็กน้อยในข้อผิดพลาดที่เราได้รับจากการพักผ่อนเล็ก ๆ ของข้อ จำกัดMสิ่งนี้อธิบายได้ว่าทำไมเมื่อสอดคล้องกับ. เมื่อข้อ จำกัด ไม่มีผลผูกพันไม่มีค่าในการผ่อนคลายอีกต่อไปซึ่งเป็นสาเหตุที่ตัวคูณหายตัวไป

M

$M$

μ \to 0

$\mu \to 0$

M \to | | β^{O L S} | |

$M \to \left|\right|\beta^{OLS}\left|\right|$

— stats_model
แหล่งที่มา

คุณช่วยกรุณาให้รายละเอียดคำตอบอย่างละเอียดทีละขั้นตอนกับตัวอย่างที่เป็นประโยชน์หากเป็นไปได้

— jeza

ขอบคุณมากทำไมคุณไม่พูดถึง KKT? ฉันไม่คุ้นเคยกับเรื่องนี้ดังนั้นปฏิบัติกับฉันในฐานะนักเรียนมัธยมปลาย

— jeza

เงื่อนไข KKT ในกรณีนี้เป็นลักษณะทั่วไปของ "เงื่อนไขการสั่งซื้อครั้งแรก" ฉันพูดถึงโดยแยกความแตกต่างของลากรองจ์และตั้งค่าอนุพันธ์เท่ากับ 0 เนื่องจากในตัวอย่างนี้ข้อ จำกัด ที่มีความเสมอภาคเราไม่ต้องการเงื่อนไข KKT ใน เต็มโดยทั่วไป ในกรณีที่ซับซ้อนมากขึ้นสิ่งที่เกิดขึ้นคือความเท่าเทียมกันบางอย่างข้างต้นกลายเป็นอสมการและตัวทวีคูณกลายเป็น 0 สำหรับข้อ จำกัด ไม่มีผลผูกพัน ตัวอย่างเช่นนี่คือสิ่งที่เกิดขึ้นเมื่อในด้านบน

M > | | β^{O L S} | |

$M > ||\beta^{OLS}||$

— stats_model

มีการวิเคราะห์ที่ดีโดยเป็นstats_modelในคำตอบของเขา

ฉันพยายามตอบคำถามที่คล้ายกันที่หลักฐานของสูตรเทียบเท่าของริดจ์ถดถอย

ฉันจะใช้วิธี Hand On เพิ่มเติมสำหรับกรณีนี้
ลองดูการทำแผนที่ระหว่างและใน 2 รุ่น $t$ $\lambda$

ขณะที่ฉันเขียนและสามารถดูได้จากstats_modelในการวิเคราะห์ของเขาการทำแผนที่ขึ้นอยู่กับข้อมูล ดังนั้นเราจะเลือกการรับรู้ปัญหาที่เฉพาะเจาะจง แต่รหัสและการร่างภาพการแก้ปัญหาจะเพิ่มสัญชาตญาณให้กับสิ่งที่เกิดขึ้น

เราจะเปรียบเทียบโมเดล 2 แบบต่อไปนี้:

The Regularized Model: \arg min_{x} \frac{1}{2} {‖ A x - y ‖}_{2}^{2} + λ {‖ x ‖}_{2}^{2}

$\text{The Regularized Model: } \arg \min_{x} \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} + \lambda {\left\| x \right\|}_{2}^{2}$

The Constrained Model: \begin{aligned} \arg min_{x} & \frac{1}{2} {‖ A x - y ‖}_{2}^{2} \\ subject to & {‖ x ‖}_{2}^{2} \leq t \end{aligned}

$\text{The Constrained Model: } \begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} \\ \text{subject to} \quad & {\left\| x \right\|}_{2}^{2} \leq t \end{align*}$

สมมติว่าเป็นโซลูชันของโมเดลที่ทำให้เป็นมาตรฐานและให้เป็นโซลูชันของโมเดลที่มีข้อ จำกัด $\hat{x}$ $\tilde{x}$

เรากำลังมองหาที่ทำแผนที่จากที่จะดังกล่าวว่า{x} มองในการแก้ปัญหาของฉันที่จะแก้สำหรับนอร์ม จำกัด แควน้อยหนึ่งจะได้เห็นว่าการแก้ข้อ จำกัด รุ่นเกี่ยวข้องกับการแก้ Regularized รุ่นและการหาที่ตรงกับ (รหัสที่เกิดขึ้นจริงจะนำเสนอในแควน้อยกับยุคลิด ( ) ข้อ จำกัด ทั่วไป ) $t$ $\lambda$ $\hat{x} = \tilde{x}$
$\lambda$ $t$ ${L}_{2}$

ดังนั้นเราจะเรียกใช้แก้เหมือนกันและสำหรับแต่ละเราจะแสดงที่ดีที่สุด\ $t$ $\lambda$

แก้โดยทั่วไปแก้:

\begin{aligned} \arg_{λ} & λ \\ subject to & {‖ {(A^{T} A + 2 λ I)}^{- 1} A^{T} b ‖}_{2}^{2} - t = 0 \end{aligned}

$\begin{align*} \arg_{\lambda} \quad & \lambda \\ \text{subject to} \quad & {\left\| {\left( {A}^{T} A + 2 \lambda I \right)}^{-1} {A}^{T} b \right\|}_{2}^{2} - t = 0 \end{align*}$

ดังนั้นนี่คือเมทริกซ์ของเรา:

mA =

   -0.0716    0.2384   -0.6963   -0.0359
    0.5794   -0.9141    0.3674    1.6489
   -0.1485   -0.0049    0.3248   -1.7484
    0.5391   -0.4839   -0.5446   -0.8117
    0.0023    0.0434    0.5681    0.7776
    0.6104   -0.9808    0.6951   -1.1300

และนี่คือเวกเตอร์ของเรา:

นี่คือการทำแผนที่:

ที่สามารถมองเห็นข้างต้นสำหรับค่าสูงพอพารามิเตอร์ตามที่คาดไว้ $t$ $\lambda = 0$

ซูมเข้าสู่ช่วง [0, 10]:

รหัสเต็มมีอยู่ในStackExchange Cross Validated Q401212 GitHub Repository ของฉัน

— Royi
แหล่งที่มา