การแลกเปลี่ยนความแปรปรวนแบบอคติสำหรับสัมประสิทธิ์การถดถอยคืออะไรและทำอย่างไรจึงจะได้มา

9

ในบทความนี้ ( การอนุมานแบบเบย์สำหรับส่วนประกอบความแปรปรวนโดยใช้ข้อผิดพลาดเฉพาะฮาร์วิลล์ 2517) ผู้เขียนอ้างว่า เป็น "ที่รู้จักกันดี ความสัมพันธ์ ", สำหรับการถดถอยเชิงเส้น ที่

(y - X β)^{'} H^{- 1} (y - X β) = (y - X \hat{β})^{'} H^{- 1} (y - X \hat{β}) + (β - \hat{β})^{'} (X^{'} H^{- 1} X) (β - \hat{β})

$(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$

y = X β + ϵ,

$y=X\beta+\epsilon,$

ϵ \sim N (0, H) .

$\epsilon\sim\mathcal{N}(0, H).$

สิ่งนี้เป็นที่รู้จักกันดีอย่างไร วิธีที่ง่ายที่สุดในการพิสูจน์สิ่งนี้คืออะไร?

— การพนัน Sibbs
แหล่งที่มา

1

มันอยู่ในวิกิพีเดียดู 'ได้รับ' ที่นั่น

— user603

@ user603 คุณต้องการทำให้การเชื่อมโยงชัดเจนขึ้นหรือไม่? ขอบคุณ!

— การพนัน Sibbs

@ user603 ขออภัยฉันไม่เห็นจริงๆว่าลิงก์แก้ปัญหาได้อย่างไร สำหรับฉันในกรณีของฉันสมการคือ Var (y) = bias + ... คุณอธิบายได้ไหม?

— การพนัน Sibbs

4

@SibbsGambling ทราบว่าสมการของคุณมีสองแง่แปรปรวนที่เกี่ยวข้องในการกำหนดนี้การถดถอยเชิงเส้นถ่วงน้ำหนัก คำทางซ้ายเกี่ยวข้องกับความแปรปรวนรอบตัวแบบจริง (ถ่วงน้ำหนักด้วยเมทริกซ์ความแม่นยำ ) เทอมแรกทางด้านขวาสัมพันธ์กับความแปรปรวนของโมเดลที่ติดตั้งไว้ ระยะที่สองทางด้านขวาสัมพันธ์กับกำลังสองของความเอนเอียง นั่นคือความแปรปรวน -bias tradeoff

H^{- 1}

$H^{-1}$

— EdM

6

คำสุดท้ายในสมการสามารถเขียนเป็น

(X β - X \hat{β})^{'} H^{- 1} (X β - X \hat{β}) .

$(X\beta - X\hat{\beta})'H^{-1}(X\beta - X\hat{\beta}).$

ในรูปแบบนี้สมการกำลังพูดอะไรที่น่าสนใจ สมมติว่าเป็นค่าบวกแน่นอนและสมมาตรดังนั้นมันจึงกลับกัน ดังนั้นเราสามารถกำหนดผลิตภัณฑ์ภายในให้เราเรขาคณิต จากนั้นความเท่าเทียมกันที่กล่าวมาก็คือ $H$ $<x, y>_{H^{-1}} = x'H^{-1}y$

(X β - X \hat{β}) ⊥ (y - X \hat{β}) .

$(X\beta - X\hat{\beta}) \perp (y - X\hat{\beta}).$

ฉันต้องการให้สัญชาตญาณของคุณเล็กน้อยเพราะผู้แสดงความคิดเห็นได้ทิ้งลิงค์ไปยังแหล่งที่มา

แก้ไข: สำหรับลูกหลาน

LHS:

\begin{array}{rcl} (y - X β)^{'} H^{- 1} (y - X β) & = & y^{'} H^{- 1} y & - & 2 y^{'} H^{- 1} X β & + & β^{'} X^{'} H^{- 1} X β \\ = & (A) & - & (B) & + & (C) \end{array}

$\begin{eqnarray} (y-X \beta)'H^{-1}(y-X \beta) &=& y'H^{-1}y &-& 2y'H^{-1}X \beta &+& \beta'X'H^{-1}X\beta \\ &=& (A) &-& (B) &+& (C) \end{eqnarray}$

RHS:

(y - X \hat{β})^{'} H^{- 1} (y - X \hat{β}) + (β - \hat{β})^{'} (X^{'} H^{- 1} X) (β - \hat{β})

$(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)$

\begin{array}{rcl} = & y^{'} H^{- 1} y & - 2 y^{'} H^{- 1} X \hat{β} & + {\hat{β}}^{'} X^{'} H^{- 1} X \hat{β} & + β X^{'} H^{- 1} X β & - 2 \hat{β} X^{'} H^{- 1} X β & + {\hat{β}}^{'} X^{'} H^{- 1} X \hat{β} \\ = & (A) & - (D) & + (E) & + (C) & - (F) & + (E) \end{array}

$\begin{eqnarray} &=& y'H^{-1}y &- 2y'H^{-1}X\hat{\beta} &+ \hat{\beta}'X'H^{-1}X\hat{\beta} &+ \beta X'H^{-1}X\beta &- 2\hat{\beta}X'H^{-1}X\beta &+ \hat{\beta}'X'H^{-1}X\hat{\beta} \\ &=& (A) &- (D) &+ (E) &+ (C) &- (F) &+ (E) \end{eqnarray}$

ความสัมพันธ์:

\hat{β} = (X^{'} H^{- 1} X)^{- 1} X^{'} H^{- 1} y

$\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$

คุณสามารถแสดงให้เห็นว่า (B) = (F) และ 2 (E) = (D) ทุกอย่างเสร็จเรียบร้อย.

— jlimahaverford
แหล่งที่มา

ขออภัยฉันไม่เห็นจริงๆว่าลิงก์แก้ปัญหาได้อย่างไร สำหรับฉันในกรณีของฉันสมการคือ Var (y) = bias + ... คุณอธิบายได้ไหม?

— การพนัน Sibbs

@SibbsGambling แก้ไขคำตอบของฉันรวมถึงที่มา

— jlimahaverford

@jlimahaverford คุณไม่ลืมในตอนท้ายของสูตรสำหรับใช่ไหม

y

$y$

\hat{β}

$\hat{\beta}$

— Gumeo

7

พวกเขามาถึงตัวตนนี้ด้วยเทคนิคที่เรียกว่าการทำตารางให้สมบูรณ์ ด้านซ้ายมืออยู่ในรูปกำลังสองดังนั้นเริ่มจากการคูณมันออกมา

(y - X β)^{'} H^{- 1} (y - X β) = y^{'} H^{- 1} y - 2 y^{'} H^{- 1} X β + β^{'} X^{'} H^{- 1} X β

$(y-X\beta)'H^{-1}(y-X\beta)= y'H^{-1}y - 2y'H^{-1}X\beta + \beta'X'H^{-1} X\beta$

ดำเนินการต่อแล้วเขียนในแง่ของ Y พีชคณิตนั้นยาวมาก แต่ googling เติมสี่เหลี่ยมในการถดถอยแบบเบย์และคุณจะพบคำใบ้มากมาย ตัวอย่างเช่นดูวิกิพีเดียในคชกรรมถดถอยเชิงเส้นและคำตอบ CrossValided อื่น ๆ เกี่ยวกับการกรอกตารางเหมือนที่นี่ $\hat{\beta} = (X'H^{-1}X)^{-1}X'H^{-1}y$

— bill_e
แหล่งที่มา

2

หากคุณรู้ว่าพีชคณิตเมทริกซ์ของคุณนี่ควรจะทำได้โดยการคูณทุกอย่างออกมาและตรวจสอบว่าคุณมีทั้งสองด้านเหมือนกัน นี่คือสิ่งที่ jlimahaverford แสดงให้เห็น

เพื่อให้สามารถทำเช่นนี้คุณต้องสูตรสำหรับประมาณการของเบต้า} เราสามารถหาสูตรในลักษณะที่คล้ายคลึงกับการถดถอยเชิงเส้นเมื่อเรามีข้อผิดพลาดที่ไม่เกี่ยวข้องกัน เคล็ดลับคือการสร้างมาตรฐาน $\hat{\beta}$

นี่คือข้อมูลบางส่วนเกี่ยวกับวิธีสร้างมาตรฐาน RV ที่มาจากการแจกแจงแบบหลายตัวแปรปกติ สมมติว่าคุณมี เป็นบวกที่ชัดเจนเพื่อให้คุณสามารถ factorize เป็น T ตอนนี้ตัวแปรสุ่ม มาจากการกระจายI) ตอนนี้เราสามารถใช้เคล็ดลับนี้สำหรับปัญหาของเราเพื่อค้นหาเบต้า} Let 's Factorize T เรามี Nowได้รับมาตรฐานเช่นนั้น

X \sim N (μ, Σ) .

$\mathbf{X}\sim \mathcal{N}(\mu,\Sigma).$

Σ

$\Sigma$

Σ = P P^{T}

$\Sigma = PP^T$

Y = P^{- 1} (X - μ)

$\mathbf{Y}=P^{-1}(\mathbf{X}-\mu)$

N (0, I)

$\mathcal{N}(0,I)$

\hat{β}

$\hat{\beta}$

H = P P^{T}

$H=PP^T$

\begin{aligned} y & = X β + ϵ \\ P^{- 1} y & = P^{- 1} X β + P^{- 1} ϵ \end{aligned}

$\begin{align} y&=X\beta+\epsilon\\ P^{-1}y &= P^{-1}X\beta + P^{-1}\epsilon \end{align}$

ϵ

$\epsilon$

cov (P^{- 1} ϵ) = I

$\text{cov}(P^{-1}\epsilon)=I$ ดังนั้นตอนนี้เราจึงสามารถปฏิบัติต่อสิ่งนี้เป็นรูปแบบการถดถอยเชิงเส้นแบบง่าย ๆ โดยที่: ดังนั้นเราจึงมีปัญหาการถดถอย: สูตรสำหรับคือ นี่คือกุญแจที่ต้องทำ นี่คือการจัดการพีชคณิตที่แสดงให้เห็นในการแก้ปัญหาโดย jlimahaverford

\tilde{X} = P^{- 1} X, \tilde{y} = P^{- 1} y and \tilde{ϵ} = P^{- 1} ϵ .

$\tilde{X}=P^{-1}X,\qquad \tilde{y}=P^{-1}y\quad\text{and}\quad \tilde{\epsilon}=P^{-1}\epsilon.$

\tilde{y} = \tilde{X} β + \tilde{ϵ}

$\tilde{y}=\tilde{X}\beta+\tilde{\epsilon}$

\hat{β}

$\hat{\beta}$

\begin{aligned} \hat{β} & = ({\tilde{X}}^{T} \tilde{X})^{- 1} {\tilde{X}}^{T} \tilde{y} \\ = ((P^{- 1} X)^{T} P^{- 1} X)^{- 1} (P^{- 1} X)^{T} P^{- 1} y \\ = (X^{T} (P P^{T})^{- 1} X)^{- 1} X (P P^{T})^{- 1} y \\ = (X^{T} H^{- 1} X)^{- 1} X H^{- 1} y \end{aligned}

$\begin{align} \hat{\beta} &= (\tilde{X}^T\tilde{X})^{-1}\tilde{X}^T\tilde{y}\\ &=((P^{-1}X)^TP^{-1}X)^{-1}(P^{-1}X)^TP^{-1}y\\ &=(X^T(PP^T)^{-1}X)^{-1}X(PP^T)^{-1}y\\ &=(X^TH^{-1}X)^{-1}XH^{-1}y \end{align}$

— Gumeo
แหล่งที่มา