ภายใต้เงื่อนไขอะไรคือการถดถอยสันสามารถให้การปรับปรุงมากกว่าการถดถอยกำลังสองน้อยที่สุดธรรมดาได้?

สันเขาถดถอยประมาณการพารามิเตอร์ในแบบจำลองเชิงเส้นโดยที่เป็นพารามิเตอร์การทำให้เป็นมาตรฐาน เป็นที่ทราบกันดีว่ามันมักจะทำงานได้ดีกว่าการถดถอย OLS (ด้วย ) เมื่อมีตัวทำนายที่สัมพันธ์กันจำนวนมาก $\boldsymbol \beta$ $\mathbf y = \mathbf X \boldsymbol \beta$

{\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y,

$\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y,$

λ

$\lambda$

λ = 0

$\lambda=0$

ทฤษฎีการดำรงอยู่ของสันเขาถดถอยบอกว่ามีพารามิเตอร์อยู่เสมอนั่นหมายความว่า - กำลังสอง - ข้อผิดพลาดของเล็กกว่าค่าเฉลี่ย - ข้อผิดพลาดของ OLS เคร่งครัด การประมาณค่า\ กล่าวอีกนัยหนึ่งค่าที่ดีที่สุดของนั้นไม่ใช่ศูนย์เสมอ เห็นได้ชัดว่านี่เป็นครั้งแรกที่ได้รับการพิสูจน์ในHoerl และ Kennard ปี 1970และมีการทำซ้ำในบันทึกการบรรยายหลายครั้งที่ฉันพบทางออนไลน์ (เช่นที่นี่และที่นี่ ) คำถามของฉันเกี่ยวกับสมมติฐานของทฤษฎีบทนี้: $\lambda^* > 0$ $\hat{\boldsymbol \beta}_\lambda$ $\hat{\boldsymbol \beta}_\mathrm{OLS}=\hat{\boldsymbol \beta}_0$ $\lambda$

มีสมมติฐานเกี่ยวกับเมทริกซ์ความแปรปรวนร่วม $\mathbf X^\top \mathbf X$ หรือไม่?
มีสมมติฐานเกี่ยวกับมิติของ $\mathbf X$ หรือไม่?

โดยเฉพาะคือทฤษฎีบทยังคงเป็นจริงหากทำนายเป็น orthogonal (เช่น $\mathbf X^\top \mathbf X$ เป็นแนวทแยงมุม) หรือแม้ว่า $\mathbf X^\top \mathbf X=\mathbf I$ ? และมันยังคงเป็นจริงหากมีเพียงหนึ่งหรือสองตัวทำนาย (พูดตัวทำนายหนึ่งตัวและการสกัดกั้น)?

หากทฤษฎีบทไม่มีข้อสมมติฐานดังกล่าวและยังคงเป็นจริงแม้ในกรณีเหล่านี้แล้วเหตุใดจึงแนะนำให้ใช้การถดถอยแบบสันในกรณีของตัวพยากรณ์ที่สัมพันธ์กันเท่านั้นและไม่เคยแนะนำ (สำหรับการถดถอยแบบง่าย)

สิ่งนี้เกี่ยวข้องกับคำถามของฉันเกี่ยวกับมุมมองแบบรวมเกี่ยวกับการหดตัว: ความสัมพันธ์ (ถ้ามี) ระหว่างความขัดแย้งของสไตน์การถดถอยของสันเขาและผลกระทบแบบสุ่มในรูปแบบผสมคืออะไร แต่ไม่มีคำตอบใดที่จะชี้แจงประเด็นนี้จนถึงขณะนี้

regression ridge-regression shrinkage

— อะมีบาพูดว่า Reinstate Monica
แหล่งที่มา

มันปรากฏขึ้นทั้งหมด แต่คำถามสุดท้ายได้รับการกล่าวถึงโดยตรงในกระดาษ Hoerl & Kennard โดยเฉพาะอย่างยิ่งในประโยคแรกของบทนำและประโยคแรกของบทสรุป คำถามสุดท้ายสามารถตอบได้โดยการสังเกตความแปรปรวนร่วมระหว่างเวกเตอร์คงที่และตัวทำนายเดี่ยวใด ๆ จะเป็นศูนย์เสมอซึ่งจะช่วยให้หนึ่ง (ในวิธีมาตรฐาน) เพื่อลดเป็นเมทริกซ์

X^{'} X

$\mathbf{X^\prime X}$

1 \times 1

$1\times 1$

— whuber

ขอบคุณ @whuber ฉันเชื่อว่ากระดาษของ Hoerl & Kennard ตอบคำถามของฉัน (อย่างน้อยก็บทความทางเทคนิค) - ฉันควรทำตามหลักฐานและตรวจสอบสมมติฐาน (ฉันยังไม่ได้ทำ) แต่ฉันไม่มั่นใจอย่างเต็มที่จากประโยคที่คุณอ้างถึง ประโยคแรกของอินโทรเกี่ยวข้องกับคำถามของฉันอย่างไร ประโยคแรกของบทสรุปจะแนะนำว่าถ้ามีสเปกตรัมแบบสม่ำเสมอ (เช่นเท่ากับ ) จากนั้นทฤษฎีบทจะไม่ใช้ แต่ฉันไม่แน่ใจ 100% เนื่องจากฉันไม่เห็นข้อสมมติฐานนี้ชัดเจนก่อนการพิสูจน์

X^{⊤} X

$\mathbf X^\top \mathbf X$

I

$\mathbf I$

— อะมีบาพูดว่า Reinstate Monica

ดูสิ่งที่ชนิดของคำถามจะถามโดยผู้ใช้ตัวแทนสูง (ซึ่งมักจะตอบพวกเขา) (และเช่นเดียวกันสำหรับคำถามที่เชื่อมโยงอื่น ๆ ที่ส่งมาให้ผมที่นี่stats.stackexchange.com/questions/122062/... !

— javadba

คำตอบของทั้ง 1 และ 2 ไม่ใช่ แต่จำเป็นต้องใช้ความระมัดระวังในการตีความทฤษฎีการดำรงอยู่

ความแปรปรวนของตัวประมาณสัน

Letเป็นประมาณการสันภายใต้บทลงโทษและให้เป็นพารามิเตอร์ที่เป็นจริงสำหรับรูปแบบ\ Letเป็นลักษณะเฉพาะของX จาก Hoerl & Kennard สมการ 4.2-4.5 ความเสี่ยง (ในแง่ของค่าปกติของข้อผิดพลาด) คือ $\hat{\beta^*}$ $k$ $\beta$ $Y = X \beta + \epsilon$ $\lambda_1, \dotsc, \lambda_p$ $X^T X$
$L^2$

\begin{aligned} E ({[\hat{β^{*}} - β]}^{T} [\hat{β^{*}} - β]) & = σ^{2} \sum_{j = 1}^{p} λ_{j} / {(λ_{j} + k)}^{2} + k^{2} β^{T} {(X^{T} X + k I_{p})}^{- 2} β \\ = γ_{1} (k) + γ_{2} (k) \\ = R (k) \end{aligned}

$\begin{align*} E \left( \left[ \hat{\beta^*} - \beta \right]^T \left[ \hat{\beta^*} - \beta \right] \right)& = \sigma^2 \sum_{j=1}^p \lambda_j/ \left( \lambda_j +k \right)^2 + k^2 \beta^T \left( X^T X + k \mathbf{I}_p \right)^{-2} \beta \\ & = \gamma_1 (k) + \gamma_2(k) \\ & = R(k) \end{align*}$ เท่าที่ฉันสามารถบอกได้ พวกเขาตั้งข้อสังเกตว่ามีการตีความความแปรปรวนของผลิตภัณฑ์ภายในของในขณะที่เป็นผลิตภัณฑ์ด้านในของอคติ

{(X^{T} X + k I_{p})}^{- 2} = {(X^{T} X + k I_{p})}^{- 1} {(X^{T} X + k I_{p})}^{- 1} .

$\left( X^T X + k \mathbf{I}_p \right)^{-2} = \left( X^T X + k \mathbf{I}_p \right)^{-1} \left( X^T X + k \mathbf{I}_p \right)^{-1}.$

γ_{1}

$\gamma_1$

\hat{β^{*}} - β

$\hat{\beta^*} - \beta$

γ_{2}

$\gamma_2$

หากว่าจากนั้น ให้ เป็นที่มาของความเสี่ยง w / R / T kเนื่องจาก เราสรุปได้ว่ามีเช่นนั้น0) $X^T X = \mathbf{I}_p$

R (k) = \frac{p σ^{2} + k^{2} β^{T} β}{(1 + k)^{2}} .

$R(k) = \frac{p \sigma^2 + k^2 \beta^T \beta}{(1+k)^2}.$

R^{'} (k) = 2 \frac{k (1 + k) β^{T} β - (p σ^{2} + k^{2} β^{T} β)}{(1 + k)^{3}}

$R^\prime (k) = 2\frac{k(1+k)\beta^T \beta - (p\sigma^2 + k^2 \beta^T \beta)}{(1+k)^3}$

k

$k$

lim_{k \to 0^{+}} R^{'} (k) = - 2 p σ^{2} < 0

$\lim_{k \rightarrow 0^+} R^\prime (k) = -2p \sigma^2 < 0$

k^{*} > 0

$k^*>0$

R (k^{*}) < R (0)

$R(k^*)<R(0)$

ผู้เขียนตั้งข้อสังเกตว่า orthogonality เป็นสิ่งที่ดีที่สุดที่คุณสามารถหวังในแง่ของความเสี่ยงที่และนั่นคือเมื่อจำนวนเงื่อนไขของเพิ่มขึ้นวิธีการ\ $k=0$ $X^T X$ $\lim_{k \rightarrow 0^+} R^\prime (k)$ $- \infty$

คิดเห็น

ดูเหมือนว่าจะมีความขัดแย้งในที่นี้ถ้าและเป็นค่าคงที่เราก็แค่ประมาณค่าเฉลี่ยของตัวแปรNormalและเรารู้การประมาณวานิลลาที่ไม่เอนเอียง ยอมรับได้ในกรณีนี้ นี้ได้รับการแก้ไขโดยการสังเกตว่าข้างต้นเหตุผลเพียงแสดงให้เห็นว่าการลดค่าของที่มีอยู่สำหรับการแก้ไข\ แต่สำหรับใด ๆเราสามารถสร้างความเสี่ยงได้ด้วยการทำให้มีขนาดใหญ่ดังนั้นอาร์กิวเมนต์นี้เพียงอย่างเดียวไม่ได้แสดงการยอมรับสำหรับการประเมินสัน $p=1$ $X$ $(\beta, \sigma^2)$ $k$ $\beta^T \beta$ $k$ $\beta^T \beta$

เหตุใดจึงแนะนำให้ใช้การถดถอยแบบสันในกรณีของตัวพยากรณ์ที่สัมพันธ์กันเท่านั้น?

ความเสี่ยงที่ได้รับมาจาก H & K แสดงให้เห็นว่าถ้าเราคิดว่านั้นมีขนาดเล็กและหากการออกแบบนั้นเกือบจะเป็นเอกเทศเราก็จะสามารถลดความเสี่ยงในการประมาณการได้มาก ฉันคิดว่าการถดถอยของสันเขาไม่ได้ใช้กันอย่างแพร่หลายเพราะการประมาณค่า OLS เป็นค่าเริ่มต้นที่ปลอดภัยและคุณสมบัติความไม่แน่นอนและความไม่เอนเอียงเป็นสิ่งที่น่าดึงดูด เมื่อมันล้มเหลวมันล้มเหลวโดยสุจริต - เมทริกซ์ความแปรปรวนร่วมของคุณจะระเบิด นอกจากนี้ยังอาจมีประเด็นทางปรัชญา / จุดอ้างอิงว่าหากการออกแบบของคุณเกือบจะเป็นเอกเทศและคุณมีข้อมูลเชิงสังเกตจากนั้นการตีความของเป็นการให้การเปลี่ยนแปลงในสำหรับการเปลี่ยนแปลงหน่วยในเป็นที่สงสัย - เมทริกซ์ความแปรปรวนร่วมขนาดใหญ่ อาการที่เกิดขึ้นนั้น $\beta ^T \beta$ $X^T X$ $\beta$ $E Y$ $X$

แต่หากเป้าหมายของคุณเป็นการคาดการณ์ แต่เพียงผู้เดียวความกังวลเชิงอนุมานก็ไม่ได้อยู่อีกต่อไปและคุณก็มีเหตุผลที่ดีในการใช้ตัวประมาณค่าการหดตัวบางประเภท

— Andrew M
แหล่งที่มา

ว้าวขอบคุณ! ให้ฉันตรวจสอบความเข้าใจของฉันในส่วน "ความคิดเห็น" ของคุณ: สำหรับใดก็ตามดีที่สุดนั้นไม่ใช่ศูนย์ แต่ค่าของมันแตกต่างกันสำหรับ betas ที่แตกต่างกันและไม่มีคงที่ที่สามารถเอาชนะสำหรับ betas ทั้งหมด สิ่งที่จำเป็นสำหรับการยอมรับ แก้ไข? นอกเหนือจากนั้นคุณสามารถแสดงความคิดเห็นในคำถามทั่วไปของฉัน: [หากทฤษฎีบทไม่ได้ตั้งสมมติฐานดังกล่าว] เหตุใดจึงแนะนำให้ใช้การถดถอยแบบสันเขาสำหรับนักทำนายที่มีความสัมพันธ์เท่านั้นและไม่เคยแนะนำการถดถอยแบบง่าย ๆ มันเป็นเพราะผลเชิงบวกเป็นที่รู้จักกันโดยสังเกตุว่าเล็กเกินไปที่จะรบกวนหรือไม่?

β

$\beta$

k

$k$

k

$k$

k = 0

$k=0$

— อะมีบาพูดว่า Reinstate Monica

H&K สันนิษฐานว่าอย่างต่อเนื่องอยู่ในอันดับเต็ม โดยระบุว่าคำตอบที่ # 1 คือ "ไม่" คุณอ้างว่าผลลัพธ์ของพวกเขายังคงเป็นจริงเมื่อมันไม่ได้?

X^{'} X

$X^\prime X$

— whuber

@whuber: ศูนย์กลางของความเสี่ยงมาจากการที่สันประมาณโดยที่เป็นค่าประมาณ OLS และ1} สิ่งนี้ไม่สามารถถือได้อย่างชัดเจนเมื่อขาดอันดับ แต่การประมาณค่า OLS ไม่มีอยู่ - ดังนั้นบางทีการประมาณการใด ๆ ที่มีความเสี่ยง จำกัด (ให้ค่ามากพอและคุณจะได้ , กับความเสี่ยง ) จะดีกว่า กว่าตัวประมาณที่ไม่มีอยู่? ตราบใดที่ความเสี่ยงนั้นยังคงมีอยู่ฉันไม่แน่ใจ หลักฐานที่แตกต่างกันจะต้อง

\hat{β^{*}} = Z \hat{β}

$\hat{\beta^*} = Z \hat{\beta}$

\hat{β}

$\hat{\beta}$

Z = {((X^{T} X)^{- 1} + k I_{p})}^{- 1}

$Z = \left( (X^TX)^{-1} + k I_p \right)^{-1}$

X^{T} X

$X^TX$

k

$k$

\hat{β^{*}} \approx 0

$\hat{\beta^*} \approx 0$

β^{T} β

$\beta^T \beta$

— Andrew M

@ amoeba: ใช่การคืนค่าของคุณดูเหมือนถูกต้อง ในการครอบครองตัวประมาณ OLS เราจำเป็นต้องมีขั้นตอนการปรับตัวซึ่งเป็นหน้าที่ของข้อมูล ในหัวข้ออื่นของคุณซีอานมีความคิดเห็นเกี่ยวกับการประเมินสันสันปรับเพื่อที่จะได้เป็นสถานที่ที่จะมอง RE: การประมาณสันเขาสำหรับการออกแบบฉาก - ฉันได้เพิ่มความคิดเห็นอีกเท่าที่คำแนะนำที่ฉันใช้จากหลักฐานของพวกเขา

λ

$\lambda$

— Andrew M