วิธีการหาค่าสัมประสิทธิ์การถดถอย

ในการถดถอยสันฟังก์ชันวัตถุประสงค์ที่จะลดลงคือ

RSS + λ \sum β_{j}^{2} .

$\text{RSS}+\lambda \sum\beta_j^2.$

สิ่งนี้สามารถเพิ่มประสิทธิภาพโดยใช้วิธีการเพิ่มทวีคูณ หรือมันคือความแตกต่างตรง?

regression regularization ridge-regression

— Minaj
แหล่งที่มา

อะไรคือความเชื่อมโยงระหว่างชื่อ (ซึ่งเน้นที่

λ

$\lambda$ ) และคำถาม (ซึ่งดูเหมือนจะเกี่ยวกับ

β_{j}

$\beta_j$ ) ฉันกังวลว่า "ได้รับการปรับปรุงให้ดีที่สุด" อาจมีการตีความที่แตกต่างกันอย่างชัดเจนโดยขึ้นอยู่กับว่าตัวแปรใดบ้างที่ถูกพิจารณาว่าเป็นตัวแปรที่สามารถเปลี่ยนแปลงได้

— whuber

ขอบคุณที่แก้ไขคำถาม ฉันได้อ่านว่า

ถูกพบโดยการตรวจสอบข้าม - แต่ผมเชื่อว่าวิธีการที่คุณมี

อยู่แล้วและใช้ข้อมูลที่แตกต่างกันเพื่อหาสิ่งที่ดีที่สุด

คำถามคือ - วิธีการที่คุณจะพบ

's ในสถานที่แรก เมื่อ

เป็นไม่ทราบ?

λ

$\lambda$

β_{j}

$\beta_j$

λ

$\lambda$

β_{j}

$\beta_j$

λ

$\lambda$

— Minaj

คำตอบ:

มีสองสูตรสำหรับปัญหาสัน อันแรกก็คือ

β_{R} = \underset{β}{argmin} {(y - X β)}^{'} (y - X β)

$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)$

ภายใต้

\sum_{j} β_{j}^{2} \leq s .

$\sum_{j} \beta_j^2 \leq s.$

สูตรนี้แสดงข้อ จำกัด ด้านขนาดของสัมประสิทธิ์การถดถอย สังเกตว่าข้อ จำกัด นี้มีความหมายว่าอย่างไร เราจะบังคับให้ค่าสัมประสิทธิ์การโกหกบอลรอบต้นกำเนิดที่มีรัศมี{s} $\sqrt{s}$

สูตรที่สองคือปัญหาของคุณ

β_{R} = \underset{β}{argmin} {(y - X β)}^{'} (y - X β) + λ \sum β_{j}^{2}

$\boldsymbol{\beta}_R = \operatorname*{argmin}_{\boldsymbol{\beta}} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right)^{\prime} \left( \mathbf{y} - \mathbf{X} \boldsymbol{\beta} \right) + \lambda \sum\beta_j^2$

ซึ่งอาจถูกมองว่าเป็นสูตรคูณทวีคูณ Largrange โปรดทราบว่าที่นี่เป็นพารามิเตอร์การปรับแต่งและค่าที่มากขึ้นของมันจะนำไปสู่การหดตัวมากขึ้น คุณสามารถแยกความแตกต่างของนิพจน์ที่เกี่ยวข้องกับและรับตัวประมาณสันที่รู้จักกันดี $\lambda$ $\boldsymbol{\beta}$

\begin{matrix} (1) & β_{R} = {(X^{'} X + λ I)}^{- 1} X^{'} y \end{matrix}

$\boldsymbol{\beta}_{R} = \left( \mathbf{X}^{\prime} \mathbf{X} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} \tag{1}$

ทั้งสองสูตรเทียบเท่าสมบูรณ์เนื่องจากมีการติดต่อแบบหนึ่งต่อหนึ่งระหว่างและ\ $s$ $\lambda$

ขอผมอธิบายเพิ่มเติมหน่อย ลองนึกภาพว่าคุณอยู่ในกรณีมุมฉากเหมาะ{I} นี่เป็นสถานการณ์ที่เรียบง่ายและไม่สมจริง แต่เราสามารถตรวจสอบตัวประมาณได้อย่างใกล้ชิดดังนั้นโปรดอดทนกับฉัน พิจารณาสิ่งที่เกิดขึ้นกับสมการ (1) ตัวประมาณค่าสันเขาลดลงไป $\mathbf{X}^{\prime} \mathbf{X} = \mathbf{I}$

β_{R} = {(I + λ I)}^{- 1} X^{'} y = {(I + λ I)}^{- 1} β_{O L S}

$\boldsymbol{\beta}_R = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \mathbf{X}^{\prime} \mathbf{y} = \left( \mathbf{I} + \lambda \mathbf{I} \right)^{-1} \boldsymbol{\beta}_{OLS}$

เช่นเดียวกับในกรณีมุมฉาก OLS ประมาณการจะได้รับจาก{y} ดูส่วนประกอบที่ชาญฉลาดตอนนี้เราได้รับแล้ว $\boldsymbol{\beta}_{OLS} = \mathbf{X}^{\prime} \mathbf{y}$

\begin{matrix} (2) & β_{R} = \frac{β_{O L S}}{1 + λ} \end{matrix}

$\beta_R = \frac{\beta_{OLS}}{1+\lambda} \tag{2}$

สังเกตว่าตอนนี้การหดตัวนั้นคงที่สำหรับค่าสัมประสิทธิ์ทั้งหมด สิ่งนี้อาจไม่ถือในกรณีทั่วไปและแน่นอนมันสามารถแสดงให้เห็นว่าการหดตัวจะแตกต่างกันอย่างกว้างขวางหากมีความเสื่อมในเมทริกซ์ $\mathbf{X}^{\prime} \mathbf{X}$

แต่ขอกลับไปที่ปัญหาการปรับให้เหมาะสมแบบ จำกัด โดยทฤษฎี KKTที่จำเป็นเงื่อนไขในการ optimality คือ

λ (\sum β_{R, j}^{2} - s) = 0

$\lambda \left( \sum \beta_{R,j} ^2 -s \right) = 0$

ดังนั้นหรือ (ในกรณีนี้เราบอกว่าข้อ จำกัด มีผลผูกพัน) ถ้าจะไม่มีการลงโทษและเรากลับมาอยู่ในสถานการณ์ปกติของ OLS สมมติว่าข้อ จำกัด มีผลผูกพันและเราอยู่ในสถานการณ์ที่สอง ใช้สูตรใน (2) เราก็มี $\lambda = 0$ $\sum \beta_{R,j} ^2 -s = 0$ $\lambda = 0$

s = \sum β_{R, j}^{2} = \frac{1}{{(1 + λ)}^{2}} \sum β_{O L S, j}^{2}

$s = \sum \beta_{R,j}^2 = \frac{1}{\left(1 + \lambda \right)^2} \sum \beta_{OLS,j}^2$

เราได้มาจากไหน

λ = \sqrt{\frac{\sum β_{O L S, j}^{2}}{s}} - 1

$\lambda = \sqrt{\frac{\sum \beta_{OLS,j} ^2}{s}} - 1$

ความสัมพันธ์แบบหนึ่งต่อหนึ่งถูกอ้างสิทธิ์ก่อนหน้านี้ ฉันคาดหวังว่าสิ่งนี้จะยากกว่าที่จะสร้างในกรณีที่ไม่ใช่มุมฉาก แต่ผลลัพธ์จะดำเนินการโดยไม่คำนึงถึง

ดูอีกครั้งที่ (2) และแม้ว่าคุณจะเห็นเรายังคงหายไป\ในการรับค่าที่ดีที่สุดคุณสามารถใช้การตรวจสอบข้ามหรือดูร่องรอยของสันเขา วิธีหลังเกี่ยวข้องกับการสร้างลำดับของใน (0,1) และดูว่าการประมาณการเปลี่ยนแปลงอย่างไร จากนั้นคุณเลือกที่ทำให้เสถียร วิธีนี้เป็นวิธีที่แนะนำในครั้งที่สองของการอ้างอิงด้านล่างโดยวิธีการและเป็นวิธีที่เก่าแก่ที่สุด $\lambda$ $\lambda$ $\lambda$

อ้างอิง

Hoerl, Arthur E. , และ Robert W. Kennard "การถดถอยของสันเขา: การประเมินแบบเอนเอียงสำหรับปัญหาที่ไม่เกี่ยวข้องกับภาคอื่น" Technometrics 12.1 (1970): 55-67

Hoerl, Arthur E. , และ Robert W. Kennard "การถดถอยของสันเขา: แอปพลิเคชันสำหรับปัญหาที่ไม่เกี่ยวกับนอกรีต" เทคนิค 12.1 (1970): 69-82

— JohnK
แหล่งที่มา

@Minaj Ridge ถดถอยมีการหดตัวคงที่สำหรับค่าสัมประสิทธิ์ทั้งหมด (นอกเหนือจากการสกัดกั้น) นั่นเป็นสาเหตุที่มีเพียงตัวคูณเดียว

— JohnK

@amoeba นี่คือข้อเสนอแนะโดย Hoerl และ Kennard ผู้แนะนำสันเขาถดถอยในปี 1970 จากประสบการณ์ของพวกเขา - และของฉัน - ค่าสัมประสิทธิ์จะคงที่ในช่วงเวลานั้นแม้จะอยู่ในระดับที่สูงมากของความหลากสี แน่นอนว่านี่เป็นกลยุทธ์เชิงประจักษ์ดังนั้นจึงไม่รับประกันว่าจะทำงานตลอดเวลา

— JohnK

นอกจากนี้คุณยังสามารถใช้วิธีการหลอกแบบสังเกตการณ์และรับค่าประมาณโดยไม่มีอะไรซับซ้อนกว่าโปรแกรมการถดถอยกำลังสองน้อยที่สุด คุณยังสามารถตรวจสอบผลกระทบของการเปลี่ยนในแบบเดียวกัน

λ

$\lambda$

— Glen_b -Reinstate Monica

@amoeba มันเป็นความจริงที่สันเขาไม่ได้แปรขบวนนั่นเป็นเหตุผลว่าทำไมจึงเป็นเรื่องธรรมดาที่จะสร้างมาตรฐานของข้อมูลไว้ล่วงหน้า ฉันได้รวมการอ้างอิงที่เกี่ยวข้องในกรณีที่คุณต้องการดู พวกเขาน่าสนใจอย่างมากและไม่ใช่เทคนิค

— JohnK

@JohnK ในผลการถดถอยสัน shrinks แต่ละตามจำนวนเงินที่แตกต่างกันดังนั้นการหดตัวไม่คงที่แม้ว่าจะมีเพียงคนเดียวคือการหดตัวพารามิเตอร์\

β

$\beta$

λ

$\lambda$

— Frank Harrell

หนังสือของฉันถดถอยการสร้างแบบจำลองกลยุทธ์การขุดคุ้ยการใช้งานที่มีประสิทธิภาพของเอไอซีในการเลือก\สิ่งนี้มาจากความน่าจะเป็นบันทึกการลงโทษและองศาอิสระที่มีประสิทธิภาพซึ่งภายหลังเป็นหน้าที่ของความแตกต่างของที่ลดลงโดยการลงโทษ นำเสนอเกี่ยวกับเรื่องนี้ที่นี่ แพ็คเกจR พบที่ปรับประสิทธิภาพ AIC ให้เหมาะสมและยังอนุญาตให้ปรับค่าพารามิเตอร์หลายค่าได้ (เช่นหนึ่งสำหรับเอฟเฟ็กต์หลักเชิงเส้นหนึ่งอันสำหรับเอฟเฟ็กต์แบบไม่เชิงเส้นหนึ่งสำหรับเอฟเฟกต์เชิงเส้นเชิงเส้น $\lambda$ $\hat{\beta}$ rmspentrace $\lambda$

— Frank Harrell
แหล่งที่มา

+1 อะไรที่คุณคิดว่าการใช้ลาหนึ่งเอาข้อผิดพลาด CV คำนวณผ่านสูตรอย่างชัดเจน (เช่นโดยไม่ต้องปฏิบัติจริง CV) สำหรับการเลือก ? คุณมีความคิดเห็นเกี่ยวกับวิธีการเปรียบเทียบกับ "effective AIC" หรือไม่?

λ

$\lambda$

— อะมีบาพูดว่า Reinstate Monica

ฉันไม่ได้ศึกษาเรื่องนั้น LOOCV ใช้การคำนวณจำนวนมาก

— Frank Harrell

ไม่ได้ถ้าสูตรอย่างชัดเจนมีการใช้งาน: stats.stackexchange.com/questions/32542

— อะมีบาพูดว่า Reinstate Monica

สูตรนั้นใช้ได้กับกรณีพิเศษของ OLS ไม่ใช่เพื่อโอกาสสูงสุดโดยทั่วไป แต่มีสูตรโดยประมาณโดยใช้คะแนนที่เหลืออยู่ ฉันรู้ว่าเรากำลังพูดถึง OLS เป็นหลักในการสนทนานี้

— Frank Harrell

ฉันไม่ได้ทำการวิเคราะห์ แต่เป็นตัวเลข ฉันมักจะพล็อต RMSE กับλเช่น:

รูปที่ 1 RMSE และค่าคงที่λหรืออัลฟ่า

— Lennart
แหล่งที่มา

นี่หมายความว่าคุณแก้ไขค่าที่แน่นอนของแล้วแยกความแตกต่างของนิพจน์เพื่อค้นหาหลังจากนั้นคุณคำนวณ RMSE และทำกระบวนการทั้งหมดใหม่อีกครั้งเพื่อหาค่าของหรือไม่

λ

$\lambda$

β_{j}

$\beta_j$

λ

$\lambda$

— Minaj