ทำความเข้าใจกับการถดถอยเชิงลบ

ฉันกำลังมองหาวรรณกรรมเกี่ยวกับการถดถอยเชิงลบสันเขา

ในระยะสั้นมันเป็นลักษณะทั่วไปของการถดถอยเชิงเส้นโดยใช้เชิงลบในสูตรตัวประมาณ:กรณีในเชิงบวกมีทฤษฎีที่ดี: เป็นฟังก์ชั่นการสูญเสียเป็นข้อ จำกัด เป็น Bayes ก่อน ... แต่ฉันรู้สึกหายไปกับรุ่นเชิงลบที่มีเพียงสูตรข้างต้น มันจะมีประโยชน์สำหรับสิ่งที่ฉันทำ แต่ฉันไม่สามารถตีความได้อย่างชัดเจน $\lambda$

\hat{β} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y .

$\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.$

คุณรู้ข้อความเบื้องต้นเกี่ยวกับสันเขาเชิงลบหรือไม่? จะตีความได้อย่างไร?

regression regularization ridge-regression

— เบอนัวต์ซานเชซ
แหล่งที่มา

ฉันไม่รู้เกี่ยวกับข้อความเกริ่นนำใด ๆ ที่พูดถึงมัน แต่ที่มานี้อาจเป็นความสว่างโดยเฉพาะอย่างยิ่งการสนทนาที่ด้านล่างของหน้า 18: jstor.org/stable/4616538?seq=1#page_scan_tab_contents

— Ryan Simmons

ในกรณีที่ลิงก์ตายในอนาคตการอ้างอิงแบบเต็มคือ: Björkström, A. & Sundberg, R. "ภาพรวมทั่วไปเกี่ยวกับการถดถอยแบบต่อเนื่อง" สแกนดิเนเวียนวารสารสถิติ 26: 1 (1999): pp.17-30

— Ryan Simmons

ขอบคุณมาก. นี่เป็นการตีความสันเขาที่ชัดเจนผ่านทาง CR เมื่อ . (ค่าลักษณะเฉพาะที่ใหญ่ที่สุดของเมทริกซ์ความแปรปรวนร่วม) ยังคงมองหาการตีความกับ ...

λ < - λ_{1}

$\lambda<-\lambda_1$

λ > - λ_{1}

$\lambda>-\lambda_1$

— เบอนัวต์ซานเชซ

หมายเหตุในการพัฒนาสันเขาถดถอยจาก Tikhonov normalization นี้ Tikhonov normalizationกลายเป็นสำหรับสันเขาถดถอย ต่อจากนั้นมักจะถูกแทนที่ด้วย\วิธีเดียวที่จะทำให้เชิงลบนี้สำหรับที่จะจินตนาการคือหลาย{-1} ตกลงอะไร คุณต้องการไปกับมันที่ไหน?

Γ^{T} Γ

$\Gamma^{T} \Gamma$

α^{2} I

$\alpha^2 I$

α^{2}

$\alpha^2$

λ

$\lambda$

α

$\alpha$

i = \sqrt{- 1}

$i=\sqrt{-1}$

— Carl

สันเชิงลบกล่าวถึงที่นี่: stats.stackexchange.com/questions/328630/… พร้อมลิงก์บางลิงก์

— kjetil b halvorsen

นี่คือภาพประกอบทางเรขาคณิตของสิ่งที่เกิดขึ้นกับสันเขาด้านลบ

ฉันจะพิจารณาตัวประมาณของรูปแบบที่เกิดจากการสูญเสียฟังก์ชันนี่เป็นภาพที่ค่อนข้างมาตรฐานของสิ่งที่เกิดขึ้นในกรณีที่สองมิติกับinfty) ศูนย์แลมบ์ดาสอดคล้องกับโซลูชัน OLS แลมบ์ดาอนันต์จะลดขนาดเบต้าโดยประมาณเป็นศูนย์:

{\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y

$\hat{\boldsymbol\beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top\mathbf y$

L_{λ} = ‖ y - X β ‖^{2} + λ ‖ β ‖^{2} .

$\mathcal L_\lambda = \|\mathbf y - \mathbf X\boldsymbol\beta\|^2 + \lambda \|\boldsymbol\beta\|^2.$

λ \in [0, \infty)

$\lambda\in[0,\infty)$

ตอนนี้พิจารณาสิ่งที่เกิดขึ้นเมื่อที่เป็นค่าเอกพจน์ที่ใหญ่ที่สุดของX สำหรับ lambdas เชิงลบที่มีขนาดใหญ่มากนั้นใกล้เคียงกับศูนย์ เมื่อแลมบ์ดาเข้าใกล้คำศัพท์จะได้รับค่าเอกพจน์ใกล้ศูนย์หนึ่งหมายความว่าค่าผกผันมีค่าเอกพจน์หนึ่งลบด้วยอนันต์ ค่าเอกพจน์นี้สอดคล้องกับองค์ประกอบหลักตัวแรกของดังนั้นในขีด จำกัด หนึ่งจะได้รับชี้ไปในทิศทางของ PC1 แต่ด้วยค่าสัมบูรณ์ที่เพิ่มขึ้นจนไม่มีที่สิ้นสุด $\lambda\in(-\infty, -s^2_\max)$ $s_\mathrm{max}$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\max$ $(\mathbf X^\top \mathbf X + \lambda \mathbf I)$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$

สิ่งที่ดีจริงๆคือมีใครสามารถวาดมันลงบนรูปแบบเดียวกันในแบบเดียวกัน: มีการให้ betas โดยจุดที่วงกลมสัมผัสกับรูปไข่จากภายใน :

เมื่อจะใช้ตรรกะที่คล้ายกันทำให้สามารถดำเนินการต่อไปตามเส้นทางของสันเขาในอีกด้านหนึ่งของเครื่องมือประมาณค่า OLS ได้ตอนนี้วงกลมจะสัมผัสกับจุดไข่ปลาจากด้านนอก ขีด จำกัด betas เข้าใกล้ทิศทาง PC2 (แต่มันเกิดขึ้นนอกร่างนี้): $\lambda\in(-s^2_\mathrm{min},0]$

ช่วงเป็นสิ่งที่มีช่องว่างพลังงาน : ตัวประมาณที่ไม่มีอยู่บนเส้นโค้งเดียวกัน $(-s^2_\mathrm{max}, -s^2_\mathrm{min})$

UPDATE:ในคอมเม้นต์ @MartinL อธิบายว่าสำหรับการสูญเสียไม่มีค่าขั้นต่ำ แต่มีค่าสูงสุด และสูงสุดนี้จะได้รับโดย\นี่คือเหตุผลที่โครงสร้างทางเรขาคณิตเดียวกันกับการสัมผัสวงกลม / วงรียังคงทำงาน: เรายังคงมองหาจุดศูนย์การไล่ระดับสี เมื่อการสูญเสียมีค่าต่ำสุดและมอบให้โดยเหมือนกับในปกติเรื่อง $\lambda<-s^2_\mathrm{max}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\mathrm{min}<\lambda\le 0$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $\lambda>0$

แต่เมื่อการสูญเสียไม่มีค่าสูงสุดหรือต่ำสุด; จะสอดคล้องกับจุดอาน สิ่งนี้อธิบายถึง "ช่องว่างพลังงาน" $-s^2_\mathrm{max}<\lambda<-s^2_\mathrm{min}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$

เกิดขึ้นตามธรรมชาติจากการถดถอยโดยเฉพาะอย่างยิ่งสัน จำกัด ดูขีด จำกัด ของ "หน่วยความแปรปรวน" สันเขาถดถอยประมาณการเมื่อ \สิ่งนี้เกี่ยวข้องกับสิ่งที่เป็นที่รู้จักในวรรณกรรมเคมีว่า "การถดถอยอย่างต่อเนื่อง" ดูคำตอบของฉันในหัวข้อที่เชื่อมโยง $\lambda\in(-\infty, -s^2_\max)$ $\lambda\to\infty$

สามารถรับการรักษาในทางเดียวกันว่าเป็นคือการเข้าพักฟังก์ชั่นการสูญเสียเหมือนกันและประมาณการสันให้ต่ำสุด $\lambda\in(-s^2_\mathrm{min},0]$ $\lambda>0$

— อะมีบา
แหล่งที่มา

ขอบคุณสำหรับกราฟที่น่าสนใจ เมื่อโซลูชันที่คุณได้กราฟคือจำนวนสูงสุดของฟังก์ชั่นต้นทุนไม่ใช่ระดับต่ำสุดทั่วโลก ในทำนองเดียวกันเมื่อจุดที่คุณได้กราฟควรเป็นจุดอานของฟังก์ชันต้นทุน

λ < - s_{max}^{2}

$\lambda < -s_\text{max}^2$

- s_{max}^{2} < λ < 0

$-s_\text{max}^2 < \lambda < 0$

— มาร์ติน L

พิจารณาเฉพาะคำกำลังสองในฟังก์ชั่นค่าใช้จ่าย พวกเขาสามารถเขียนเป็น ให้แล้วเมทริกซ์ในวงเล็บมีค่าลักษณะเฉพาะเชิงลบเท่านั้น อนุญาตให้ , และเมทริกซ์มีทั้งค่าบวกและลบ ค่าลักษณะเฉพาะเหล่านี้มีผลต่อจุดที่เป็นจุดอานต่ำสุดหรือสูงสุดของฟังก์ชันต้นทุน

β^{T} (X^{T} X + λ I) β .

$\beta^T (X^T X + \lambda I) \beta.$

λ < - s_{max}^{2}

$\lambda < - s_\text{max}^2$

- s_{max}^{2} < λ < 0

$- s_\text{max}^2 < \lambda < 0$

— มาร์ติน L

มันมีประโยชน์มากขอบคุณมาก ฉันอัปเดตคำตอบแล้ว

— อะมีบา

ขอบคุณ. โดยเฉพาะอย่างยิ่งสำหรับการตระหนักว่าจุดอานเท่านั้นถือเมื่อ 2 เมื่อการแก้ปัญหายังคงเป็นระดับต่ำสุดทั่วโลกตั้งแต่นั้นมาเป็นค่าบวกแน่นอน ความคิดเห็นก่อนหน้าของฉันจึงไม่ถูกต้องบางส่วน

- s_{max}^{2} < λ < - s_{min}^{2}

$-s_\text{max}^2 < \lambda < - s_\text{min}^2$

λ > - s_{min}^{2}

$\lambda > -s_\text{min}^2$

X^{T} X + λ I

$X^T X + \lambda I$

— Martin L