การคำนวณข้อผิดพลาดมาตรฐานสำหรับปัญหาการถดถอยเชิงเส้นโดยไม่คำนวณค่าผกผัน

มีวิธีที่เร็วกว่าในการคำนวณข้อผิดพลาดมาตรฐานสำหรับปัญหาการถดถอยเชิงเส้นมากกว่าการสลับกลับหรือไม่? ที่นี่ฉันคิดว่าเรามีการถดถอย: $X'X$

y = X β + ε,

$y=X\beta+\varepsilon,$

โดยที่คือ matrix และคือเวกเตอร์ $X$ $n\times k$ $y$ $n\times 1$

สำหรับการหาวิธีแก้ปัญหากำลังสองน้อยที่สุดนั้นไม่สามารถทำได้ด้วยคุณสามารถใช้การย่อยสลาย QR หรือ SVD บนเมทริกซ์โดยตรง หรืออีกวิธีหนึ่งคุณสามารถใช้วิธีการไล่ระดับสี แต่ข้อผิดพลาดมาตรฐานคืออะไร เราต้องการเพียงแค่เส้นทแยงมุมของ (และวิธีการแก้ปัญหา LS ตามธรรมชาติเพื่อคำนวณการประมาณการข้อผิดพลาดมาตรฐานของ ) มีวิธีการเฉพาะสำหรับการคำนวณข้อผิดพลาดมาตรฐานหรือไม่? $X'X$ $X$ $(X'X)^{-1}$ $\varepsilon$

linear-algebra optimization

— mpiktas
แหล่งที่มา

สมมุติว่าคุณแก้ปัญหากำลังสองน้อยที่สุดของคุณโดยใช้การสลายตัวของเอกพจน์ (SVD) ของกำหนดโดย $X$

X = U Σ V^{'},

$X = U\Sigma V',$

โดยที่และรวมกันและเป็นแนวทแยงมุม $U$ $V$ $\Sigma$

แล้วก็

X^{'} X = V Σ^{2} V^{'} .

$X'X = V \Sigma^2 V'.$

มีอยู่ถ้า ifเป็นอันดับเต็ม (หรือมีค่าเอกพจน์เชิงบวกอย่างเคร่งครัด) ซึ่งในกรณีนี้ $(X'X)^{-1}$ $X$

(X^{'} X)^{- 1} = V Σ^{- 2} V^{'} .

$(X'X)^{-1} = V \Sigma^{-2} V'.$

(ดูคำตอบที่ฉันให้กับคำถามที่เกี่ยวข้องกับ Math.SE )

หากคุณมีและแล้วให้คำนวณ $\Sigma$ $V$ $(X'X)^{-1}$ ต้องกลับหัวและ squaring เมทริกซ์ทแยงมุม ( การดำเนินงานสำหรับเมทริกซ์) ปรับคอลัมน์ (หรือแถว) ของเมทริกซ์ ( การดำเนินงาน) และเมทริกซ์เดี่ยวทวีคูณ (น่าเสียดายที่ ) วิธีนี้จะทำงานได้ดีในเชิงตัวเลข $n$ $n \times n$ $n^2$ $\mathcal{O}(n^{3})$

มีวิธีที่รวดเร็วในการรับองค์ประกอบแนวทแยงของอินเวอร์สของเมทริกซ์แบบเบาบาง (ดูงานโดยกลุ่มของ Yousef Saadและทำงานโดย Lin Lin, et al ) อย่างไรก็ตามในกรณีของคุณอาจไม่กระจัดกระจาย (แม้ว่าคือ) และแม้ว่ามันจะเป็นไปได้ก็ตามมันอาจจะมีสภาพไม่ดีพอที่วิธีการรวดเร็วเหล่านี้จะให้ผลลัพธ์ที่ไม่ถูกต้อง $X'X$ $X$

— Geoff Oxberry
แหล่งที่มา

+1, ฉันลืมเกี่ยวกับคุณสมบัติ SVD ที่ดี หากไม่มีคำตอบอื่นใดฉันจะยอมรับคำตอบนี้เนื่องจากมันใกล้กับคำตอบที่ฉันต้องการ (และแน่นอนว่ามีขนาดที่ดีกว่าที่ฉันคาดไว้ :))

— mpiktas

ฉันควรจะเพิ่มว่าหากคุณต้องการคำนวณองค์ประกอบในแนวทแยงของ

ดังนั้นกระบวนการคือ

ถ้าคุณมี SVD ของ

(X^{'} X)^{- 1}

$(X'X)^{-1}$

O (n^{2})

$\mathcal{O}(n^2)$

X

$X$ อยู่แล้ว ฉันสามารถเขียนสูตรการสรุปออกมาได้ถ้าคุณชอบ

— Geoff Oxberry

ไม่มีการอ้างอิง มันเพิ่งจะขยายสูตรสำหรับองค์ประกอบในแนวทแยงของ

(X^{'} X)^{- 1}

$(X'X)^{-1}$ ในแง่ของการสรุปองค์ประกอบที่ชาญฉลาด

— Geoff Oxberry

ฉันสามารถทำงานได้โดยไม่มีปัญหา จำนวนเงินที่แถวของ V แบ่งตามตารางของเส้นทแยงมุมของΣ

เรียบร้อย

Σ

$\Sigma$

— mpiktas

ละเว้นความคิดเห็นล่าสุดมีข้อผิดพลาดอยู่ที่นั่น ฉันได้สูตรที่ถูกต้องแล้ว

— mpiktas