การพิสูจน์สูตรเทียบเท่าของการถดถอยสัน

15

ฉันได้อ่านหนังสือยอดนิยมที่สุดในการเรียนรู้เชิงสถิติ

1- องค์ประกอบของการเรียนรู้ทางสถิติ

2- เบื้องต้นเกี่ยวกับการเรียนรู้ทางสถิติ

ทั้งสองพูดถึงว่าการถดถอยของสันมีสองสูตรที่เทียบเท่า มีหลักฐานทางคณิตศาสตร์ที่เข้าใจได้ของผลลัพธ์นี้หรือไม่?

ฉันยังผ่านการตรวจสอบข้ามแต่ฉันไม่สามารถหาหลักฐานที่ชัดเจนได้ที่นั่น

นอกจากนี้ LASSO จะเพลิดเพลินกับการพิสูจน์ชนิดเดียวกันหรือไม่

— jeza
แหล่งที่มา

2

en.wikipedia.org/wiki/…

— Taylor

1

Lasso ไม่ได้เป็นรูปแบบของการถดถอยสัน

— ซีอาน

@jeza คุณช่วยอธิบายสิ่งที่ขาดหายไปในคำตอบของฉันได้ไหม มันเกิดขึ้นจริงทั้งหมดสามารถได้รับเกี่ยวกับการเชื่อมต่อ

— Royi

@jeza, คุณเจาะจงไหม? หากคุณไม่ทราบแนวคิดของลากรองจ์สำหรับปัญหาที่ จำกัด ก็ยากที่จะให้คำตอบที่กระชับ

— Royi

1

@jeza ปัญหาการปรับให้เหมาะสมแบบ จำกัด สามารถแปลงเป็นการปรับให้เหมาะสมที่สุดของฟังก์ชัน Lagrangian / เงื่อนไข KKT (ดังที่อธิบายไว้ในคำตอบปัจจุบัน) หลักการนี้มีคำอธิบายง่ายๆที่แตกต่างกันมากมายทั่วอินเทอร์เน็ต คำอธิบายเพิ่มเติมของการพิสูจน์มีความจำเป็นในทิศทางใด? คำอธิบาย / หลักฐานของตัวคูณ / ฟังก์ชันลากรองจ์, คำอธิบาย / หลักฐานว่าปัญหานี้เป็นกรณีของการเพิ่มประสิทธิภาพที่เกี่ยวข้องกับวิธีการของลากรองจ์, ความแตกต่าง KKT / ลากรองจ์, คำอธิบายของหลักการของการทำให้เป็นมาตรฐานเป็นต้น?

— Sextus Empiricus

19

Ridge Ridge Regression ( Tikhonov Normalization ) แบบคลาสสิคมอบให้โดย:

\arg min_{x} \frac{1}{2} {‖ x - y ‖}_{2}^{2} + λ {‖ x ‖}_{2}^{2}

$\arg \min_{x} \frac{1}{2} {\left\| x - y \right\|}_{2}^{2} + \lambda {\left\| x \right\|}_{2}^{2}$

การอ้างสิทธิ์ข้างต้นคือปัญหาดังต่อไปนี้เทียบเท่า:

\begin{aligned} \arg min_{x} & \frac{1}{2} {‖ x - y ‖}_{2}^{2} \\ subject to & {‖ x ‖}_{2}^{2} \leq t \end{aligned}

$\begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left\| x - y \right\|}_{2}^{2} \\ \text{subject to} \quad & {\left\| x \right\|}_{2}^{2} \leq t \end{align*}$

ลองกำหนดเป็นทางออกที่ดีที่สุดของปัญหาแรกและเป็นทางออกที่ดีที่สุดของปัญหาที่สอง $\hat{x}$ $\tilde{x}$

การเรียกร้องของความเท่าเทียมกันหมายความว่า{x} คือคุณสามารถมีคู่ของและวิธีแก้ปัญหาเหมือนกัน $\forall t, \: \exists \lambda \geq 0 : \hat{x} = \tilde{x}$
$t$ $\lambda \geq 0$

เราจะหาคู่ได้อย่างไร
ด้วยการแก้ปัญหาและดูคุณสมบัติของการแก้ปัญหา
ปัญหาทั้งสองนี้มีความนูนและราบเรียบดังนั้นจึงควรทำให้สิ่งต่าง ๆ ง่ายขึ้น

การแก้ปัญหาสำหรับปัญหาแรกนั้นเกิดขึ้น ณ จุดที่การไล่ระดับสีหายไปซึ่งหมายความว่า:

\hat{x} - y + 2 λ \hat{x} = 0

$\hat{x} - y + 2 \lambda \hat{x} = 0$

เงื่อนไข KKTของปัญหารัฐสอง:

\tilde{x} - y + 2 μ \tilde{x} = 0

$\tilde{x} - y + 2 \mu \tilde{x} = 0$

และ

μ ({‖ \tilde{x} ‖}_{2}^{2} - t) = 0

$\mu \left( {\left\| \tilde{x} \right\|}_{2}^{2} - t \right) = 0$

สมการสุดท้ายแสดงให้เห็นว่าหรือt $\mu = 0$ ${\left\| \tilde{x} \right\|}_{2}^{2} = t$

ให้ความสนใจว่าสมการฐาน 2 นั้นเทียบเท่ากัน
ถ้าและสมการทั้งสองไว้ $\hat{x} = \tilde{x}$ $\mu = \lambda$

ดังนั้นหมายความว่าในกรณีหนึ่งต้องตั้งซึ่งหมายความว่าสำหรับขนาดใหญ่เพียงพอเพื่อให้ทั้งสองจะเป็นหนึ่งเทียบเท่าต้องตั้ง0 ${\left\| y \right\|}_{2}^{2} \leq t$ $\mu = 0$ $t$ $\lambda = 0$

ในอีกกรณีหนึ่งเราควรหาโดยที่: $\mu$

y^{t} {(I + 2 μ I)}^{- 1} {(I + 2 μ I)}^{- 1} y = t

${y}^{t} \left( I + 2 \mu I \right)^{-1} \left( I + 2 \mu I \right)^{-1} y = t$

นี่เป็นพื้นเมื่อ ${\left\| \tilde{x} \right\|}_{2}^{2} = t$

เมื่อคุณพบว่าโซลูชั่นจะชนกัน $\mu$

เกี่ยวกับกรณี (LASSO) มันใช้ได้กับแนวคิดเดียวกัน ข้อแตกต่างเพียงอย่างเดียวคือเราไม่ได้ปิดการแก้ปัญหาดังนั้นการเชื่อมต่อจึงมีความซับซ้อนมากขึ้น ${L}_{1}$

มีลักษณะที่คำตอบของฉันที่StackExchange รอการตรวจสอบ Q291962และStackExchange การประมวลผลสัญญาณ Q21730 - ความสำคัญของการ $\lambda$ ในเกณฑ์การแสวงหา

หมายเหตุ
สิ่งที่เกิดขึ้นจริง?
ในปัญหาที่เกิดขึ้นทั้งสองพยายามที่จะใกล้เคียงที่สุดเท่าที่จะY ในกรณีแรกจะหายไปในเทอมแรก (ระยะทาง ) และในกรณีที่สองมันจะทำให้ฟังก์ชันวัตถุประสงค์หายไป ความแตกต่างก็คือในกรณีแรกที่หนึ่งจะต้องสมดุลนอร์มของxเมื่อมีความสมดุลสูงหมายความว่าคุณควรทำให้เล็กลง ในกรณีที่สองมีกำแพงคุณจะนำเข้ามาใกล้กับ $x$ $y$
$x = y$ ${L}_{2}$
${L}_{2}$ $x$ $\lambda$ $x$
$x$ $y$ จนกว่าคุณจะชนกำแพงซึ่งเป็นข้อ จำกัด ในเรื่องของนอร์ม (โดย ) ถ้ากำแพงนั้นมากพอ (ค่าสูงของ ) และมากพอขึ้นอยู่กับบรรทัดฐานของดังนั้นฉันไม่มีความหมายเหมือนกับมีความเกี่ยวข้องเฉพาะกับมูลค่าของมันคูณด้วยค่าเริ่มต้นของเริ่มมีความหมาย การเชื่อมต่อที่แน่นอนคือโดยลากรองจ์ดังกล่าวข้างต้น $t$
$t$ $y$ $\lambda$ $y$

ทรัพยากร

ฉันพบกระดาษนี้วันนี้ (03/04/2019):

ประมาณความแข็งสำหรับการเรียนของเบาบางปัญหาการเพิ่มประสิทธิภาพ

— Royi
แหล่งที่มา

ไม่เทียบเท่าหมายความว่า \ lambda และ \ t ควรเหมือนกัน เพราะฉันไม่สามารถเห็นได้ว่าในการพิสูจน์ ขอบคุณ

— jeza

@jeza, ขณะที่ผมเขียนข้างต้นสำหรับการใด ๆมี (ไม่จำเป็นต้องเท่ากับแต่การทำงานของและข้อมูลที่ ) เช่นว่าการแก้ปัญหาของทั้งสองรูปแบบจะเหมือนกัน

t

$t$

λ \geq 0

$\lambda \geq 0$

t

$t$

t

$t$

y

$y$

— Royi

3

@jeza ทั้ง

&

เป็นพารามิเตอร์ฟรีที่นี่ เมื่อคุณระบุแล้วให้พูดว่า

เพื่อให้ได้คำตอบที่เหมาะสมที่สุด แต่

ยังคงเป็นพารามิเตอร์อิสระ ดังนั้น ณ จุดนี้การเรียกร้องคือสามารถมีค่าบางส่วนของ

ที่จะให้ทางออกที่ดีที่สุดเหมือนกัน มีเป็นหลักข้อ จำกัด ในสิ่งที่จะต้อง; มันไม่ใช่ว่ามันจะต้องมีฟังก์ชั่นคงที่ของเช่นหรืออะไรบางอย่าง

λ

$\lambda$

t

$t$

λ

$\lambda$

t

$t$

t

$t$

t

$t$

λ

$\lambda$

t = λ / 2

$t=\lambda/2$

— gung - Reinstate Monica

@ Royi ฉันอยากรู้ว่า 1- ทำไมสูตรของคุณถึงมี (1/2) ในขณะที่สูตรที่เป็นปัญหาไม่ได้? 2- กำลังใช้ KKT เพื่อแสดงความเท่าเทียมกันของสองสูตรใช่หรือไม่ 3- ถ้าใช่ฉันยังมองไม่เห็นความเท่าเทียมกัน ฉันไม่แน่ใจ แต่สิ่งที่ฉันคาดหวังที่จะเห็นก็คือหลักฐานที่แสดงสูตรหนึ่ง = สูตรสอง

— jeza

1. ง่ายขึ้นเมื่อคุณแยกความแตกต่างของคำว่า LS คุณสามารถย้ายรูปแบบของฉันไปที่ OPโดยแยกเป็นสองส่วน 2. ฉันใช้ KKT สำหรับคดีที่สอง กรณีแรกไม่มีข้อ จำกัด ดังนั้นคุณสามารถแก้ไขได้ 3. ไม่มีสมการรูปแบบปิดระหว่างพวกเขา ฉันแสดงตรรกะและวิธีการสร้างกราฟที่เชื่อมต่อพวกเขา แต่ตามที่ฉันเขียนมันจะเปลี่ยนสำหรับแต่ละ (ขึ้นอยู่กับข้อมูล)

λ

$\lambda$

λ

$\lambda$

y

$y$

— Royi

9

วิธีการที่จะเข้าใจสิ่งที่เกิดขึ้นคือการเริ่มต้นด้วยเวอร์ชันข้อ จำกัด (สมการ 3.42 ในคำถาม) และแก้ไขได้ง่ายกว่าทางคณิตศาสตร์ แต่อาจใช้งานได้ง่ายขึ้นและแก้ปัญหาโดยใช้วิธีการ "Lagrange Multiplier" ( https: //en.wikipedia .org / wiki / Lagrange_multiplierหรือข้อความแคลคูลัสหลายตัวแปรที่คุณชื่นชอบ) เพียงจำไว้ว่าในแคลคูลัสเป็นเวกเตอร์ของตัวแปร แต่ในกรณีของเราเป็นค่าคงที่และคือเวกเตอร์ตัวแปร เมื่อคุณใช้เทคนิคคูณ Lagrange คุณจบลงด้วยสมการแรก (3.41) (หลังจากทิ้งพิเศษซึ่งเป็นญาติอย่างต่อเนื่องเพื่อลดและสามารถละเลย) $x$ $x$ $\beta$ $-\lambda t$

นอกจากนี้ยังแสดงให้เห็นว่าสิ่งนี้ใช้ได้กับเชือกและข้อ จำกัด อื่น ๆ

— เกร็กสโนว์
แหล่งที่มา

8

มันอาจคุ้มค่าที่จะอ่านเกี่ยวกับความเป็นคู่ของลากรองจ์และความสัมพันธ์ที่กว้างขึ้น (ในเวลาที่เท่ากัน) ระหว่าง:

การเพิ่มประสิทธิภาพอยู่ภายใต้ข้อ จำกัด hard (ie inviolable)
การเพิ่มประสิทธิภาพด้วยบทลงโทษสำหรับการละเมิดข้อ จำกัด

คำนำด่วนสำหรับคู่ที่อ่อนแอและคู่ที่แข็งแกร่ง

สมมติว่าเรามีฟังก์ชั่นของตัวแปรสองตัว สำหรับการใด ๆและเรามี: $f(x,y)$ $\hat{x}$ $\hat{y}$

min_{x} f (x, \hat{y}) \leq f (\hat{x}, \hat{y}) \leq max_{y} f (\hat{x}, y)

$\min_x f(x, \hat{y}) \leq f(\hat{x}, \hat{y}) \leq \max_y f(\hat{x}, y)$

ตั้งแต่ที่ถือสำหรับการใด ๆและก็ยังถือได้ว่า: $\hat{x}$ $\hat{y}$

max_{y} min_{x} f (x, y) \leq min_{x} max_{y} f (x, y)

$\max_y \min_x f(x, y) \leq \min_x \max_y f(x, y)$

นี้เป็นที่รู้จักกันเป็นคู่ที่อ่อนแอ ในบางสถานการณ์คุณยังมีความเป็นคู่ที่แข็งแกร่ง (หรือที่เรียกว่าคุณสมบัติของจุดอาน ):

max_{y} min_{x} f (x, y) = min_{x} max_{y} f (x, y)

$\max_y \min_x f(x, y) = \min_x \max_y f(x, y)$

เมื่อความเป็นคู่ที่แข็งแกร่งดำรงอยู่การแก้ปัญหาสองอย่างก็ช่วยแก้ปัญหาเบื้องต้นได้เช่นกัน พวกเขารู้สึกเหมือนมีปัญหาเดียวกัน!

ลากรองจ์สำหรับการถดถอยสัน จำกัด

ให้ฉันนิยามฟังก์ชันเป็น: $\mathcal{L}$

L (b, λ) = \sum_{i = 1}^{n} (y - x_{i} \cdot b)^{2} + λ (\sum_{j = 1}^{p} b_{j}^{2} - t)

$\mathcal{L}(\mathbf{b}, \lambda) = \sum_{i=1}^n (y - \mathbf{x}_i \cdot \mathbf{b})^2 + \lambda \left( \sum_{j=1}^p b_j^2 - t \right)$

การตีความขั้นต่ำสุดของ Lagrangian

ปัญหาการถดถอยของสันเขาที่มีข้อ จำกัด อย่างหนักคือ:

min_{b} max_{λ \geq 0} L (b, λ)

$\min_\mathbf{b} \max_{\lambda \geq 0} \mathcal{L}(\mathbf{b}, \lambda)$

คุณสามารถเลือกเพื่อลดวัตถุประสงค์รู้ทันว่าหลังจากที่จะเลือกฝ่ายตรงข้ามของคุณจะตั้งไปไม่มีที่สิ้นสุดหากคุณเลือกดังกล่าวว่าเสื้อ $\mathbf{b}$ $\mathbf{b}$ $\lambda$ $\mathbf{b}$ $\sum_{j=1}^p b_j^2 > t$

ถ้ามีค่าความเป็นคู่ที่แข็งแกร่ง (ซึ่งเป็นเช่นนี้เนื่องจากเงื่อนไขของ Slater นั้นเป็นที่พอใจสำหรับ ) คุณก็จะได้ผลลัพธ์เดียวกันโดยกลับคำสั่ง: $t>0$

max_{λ \geq 0} min_{b} L (b, λ)

$\max_{\lambda \geq 0} \min_\mathbf{b} \mathcal{L}(\mathbf{b}, \lambda)$

ที่นี่ฝ่ายตรงข้ามของคุณเลือกก่อน ! จากนั้นคุณเลือกเพื่อลดวัตถุประสงค์แล้วรู้ทางเลือกของλส่วน (ถ่ายตามที่กำหนด) เทียบเท่ากับรูปแบบที่ 2 ของปัญหาการถดถอยแบบสัน $\lambda$ $\mathbf{b}$ $\lambda$ $\min_\mathbf{b} \mathcal{L}(\mathbf{b}, \lambda)$ $\lambda$

อย่างที่คุณเห็นนี่ไม่ได้เป็นผลเฉพาะการถดถอยของสัน มันเป็นแนวคิดที่กว้างขึ้น

อ้างอิง

(ฉันเริ่มโพสต์นี้ตามคำอธิบายที่ฉันอ่านจาก Rockafellar)

Rockafellar, RT, การวิเคราะห์นูน

คุณอาจตรวจสอบการบรรยาย 7และการบรรยาย 8จากหลักสูตรของ Prof. Stephen Boyd เกี่ยวกับการทำให้เหมาะสมที่สุด

— Matthew Gunn
แหล่งที่มา

โปรดทราบว่าคำตอบของคุณสามารถขยายไปยังฟังก์ชั่นนูนใด ๆ

— 81235

6

พวกเขาจะไม่เทียบเท่า

สำหรับปัญหาการย่อเล็กสุดที่ จำกัด

\begin{matrix} (1) & min_{b} \sum_{i = 1}^{n} (y - x_{i}^{'} \cdot b)^{2} s . t . \sum_{j = 1}^{p} b_{j}^{2} \leq t, b = (b_{1}, . . ., b_{p}) \end{matrix}

$\min_{\mathbf b} \sum_{i=1}^n (y - \mathbf{x}'_i \cdot \mathbf{b})^2\\ s.t. \sum_{j=1}^p b_j^2 \leq t,\;\;\; \mathbf b = (b_1,...,b_p) \tag{1}$

เราแก้โดยลดกว่า Lagrangean ที่สอดคล้องกัน $\mathbf b$

\begin{matrix} (2) & Λ = \sum_{i = 1}^{n} (y - x_{i}^{'} \cdot b)^{2} + λ (\sum_{j = 1}^{p} b_{j}^{2} - t) \end{matrix}

$\Lambda = \sum_{i=1}^n (y - \mathbf{x}'_i \cdot \mathbf{b})^2 + \lambda \left( \sum_{j=1}^p b_j^2 - t \right) \tag{2}$

ที่นี่เป็นผูกได้รับจากภายนอกเป็น Karush-Kuhn-Tucker คูณไม่ใช่เชิงลบและ ทั้งเวกเตอร์เบต้าและจะได้รับการพิจารณาอย่างดีที่สุดผ่านขั้นตอนการลดได้รับเสื้อ $t$ $\lambda \geq 0$ $\lambda$ $t$

การเปรียบเทียบและ eq ในโพสต์ของ OP นั้นปรากฏว่าสามารถใช้ตัวประมาณค่าริดจ์เป็นโซลูชันสำหรับ $(2)$ $(3.41)$

\begin{matrix} (3) & min_{b} {Λ + λ t} \end{matrix}

$\min_{\mathbf b}\{\Lambda + \lambda t\} \tag{3}$

เนื่องจากในฟังก์ชั่นที่จะย่อขนาดดูเหมือนจะเป็นลากรองจ์ของปัญหาการย่อขนาดที่มีข้อ จำกัด รวมกับคำศัพท์ที่ไม่เกี่ยวข้องกับดังนั้นจึงดูเหมือนว่าทั้งสองวิธีนั้นมีความเท่าเทียมกัน ... $(3)$ $\mathbf b$

แต่สิ่งนี้ไม่ถูกต้องเพราะในการถดถอยของริดจ์เราลดค่ากำหนดให้น้อยกว่า แต่ในเลนส์ของปัญหาการลดข้อ จำกัด สมมติเรียกเก็บเงื่อนไขที่ว่าข้อ จำกัด มีผลผูกพันเช่นว่า $\mathbf b$ $\lambda >0$ $\lambda >0$

\sum_{j = 1}^{p} (b_{j, r i d g e}^{*})^{2} = t

$\sum_{j=1}^p (b^*_{j,ridge})^2 = t$

The general constrained minimization problem allows for $\lambda = 0$ also, and essentially it is a formulation that includes as special cases the basic least-squares estimator ( $\lambda ^*=0$ ) and the Ridge estimator ( $\lambda^* >0$ ).

So the two formulation are not equivalent. Nevertheless, Matthew Gunn's post shows in another and very intuitive way how the two are very closely connected. But duality is not equivalence.

— Alecos Papadopoulos
แหล่งที่มา

@MartijnWeterings Thanks for the comment, I have reworked my answer.

— Alecos Papadopoulos

@MartijnWeterings I do not see what is confusing since the expression written in your comment is exactly the expression I wrote in my reworked post.

— Alecos Papadopoulos

1

This was the duplicate question I had in mind were the equivalence is explained very intuitively to me math.stackexchange.com/a/336618/466748 the argument that you give for the two not being equivalent seems only secondary to me, and a matter of definition (the OP uses

λ \geq 0

$\lambda \geq 0$ instead of

λ > 0

$\lambda > 0$ and we could just as well add the constrain

t < ‖ β^{O L S} ‖_{2}^{2}

$t < \Vert \beta^{OLS} \Vert^2_2$ to exclude the cases where

λ = 0

$\lambda=0$ ) .

— Sextus Empiricus

@MartijnWeterings When A is a special case of B, A cannot be equivalent to B. And ridge regression is a special case of the general constrained minimization problem, Namely a situation to which we arrive if we constrain further the general problem (like you do in your last comment).

— Alecos Papadopoulos

Certainly you could define some constrained minimization problem that is more general then ridge regression (like you can also define some regularization problem that is more general than ridge regression, e.g. negative ridge regression), but then the non-equivalence is due to the way that you define the problem and not due to the transformation from the constrained representation to the Lagrangian representation. The two forms can be seen as equivalent within the constrained formulation/definition (non-general) that are useful for ridge regression.

— Sextus Empiricus