คำอธิบายที่ใช้งานง่ายของคำในความแปรปรวนของตัวประมาณกำลังสองน้อยที่สุด

18

ถ้าอยู่ในอันดับเต็มค่าผกผันของมีอยู่และเราจะได้ค่าประมาณกำลังสองน้อยที่สุด: และ $X$ $X^TX$

β^= (X T X) - 1 X Y

$\hat\beta = (X^TX)^{-1}XY$

Var (β^) = σ 2 (X T X) - 1

$\operatorname{Var}(\hat\beta) = \sigma^2(X^TX)^{-1}$

เราจะอธิบายอย่างสังหรณ์ใจได้อย่างไรในสูตรผลต่าง เทคนิคของการได้มานั้นชัดเจนสำหรับฉัน $(X^TX)^{-1}$

regression variance least-squares

— Daniel Yefimov
แหล่งที่มา

3

คุณอาจต้องการเพิ่มโน้ตเพื่อชี้ให้เห็นว่าสูตรที่คุณระบุไว้สำหรับเมทริกซ์ความแปรปรวนร่วม - ความแปรปรวนร่วมของ - สมมติว่านั้นประมาณโดย OLS - ถูกต้องเฉพาะเมื่อ เงื่อนไขของทฤษฎีบทเกาส์ - มาร์คอฟมีความพึงพอใจและโดยเฉพาะถ้าความแปรปรวน - ความแปรปรวนร่วมของเมทริกซ์ข้อผิดพลาดถูกกำหนดโดยโดยที่คือเมทริกซ์เอกลักษณ์และคือจำนวนของ แถวของ (และ ) สูตรที่คุณระบุไม่ถูกต้องสำหรับกรณีทั่วไปที่มีข้อผิดพลาดที่ไม่เป็นทรงกลมมากขึ้น

β^ $\hat{\beta}$

σ2In $\sigma^2 I_n$

In $I_n$

n×n $n\times n$

n $n$

X $X$

Y $Y$

— Mico

13

พิจารณาการถดถอยอย่างง่าย ๆ โดยไม่มีค่าคงที่และที่ regressor เดียวมีศูนย์กลางอยู่ที่ค่าเฉลี่ยตัวอย่าง จากนั้น คือ ( ) ความแปรปรวนตัวอย่างของมันและ recirpocal ดังนั้นยิ่งค่าความแปรปรวน = ความแปรปรวนใน regressor ยิ่งสูงความแปรปรวนของตัวประมาณค่าสัมประสิทธิ์ก็จะยิ่งลดลงความแปรปรวนที่เรามีในตัวแปรอธิบายก็ยิ่งมากขึ้นเท่านั้น $X'X$ $n$ $(X'X)^{-1}$

ทำไม? เนื่องจาก regressor มีความหลากหลายมากขึ้นข้อมูลก็จะมีมากขึ้น เมื่อ regressors มีจำนวนมากสิ่งนี้จะทำให้ค่าผกผันแปรปรวนร่วมกับเมทริกซ์ความแปรปรวนร่วมของพวกมันซึ่งคำนึงถึงความแปรปรวนร่วมของ regressors ด้วย ในกรณีที่สุดขีดที่เป็นแนวทแยงมุมดังนั้นความแม่นยำสำหรับค่าสัมประสิทธิ์โดยประมาณขึ้นอยู่กับความแปรปรวน / ความแปรปรวนของ regressor ที่เกี่ยวข้องเท่านั้น (ให้ค่าความแปรปรวนของคำผิดพลาด) $X'X$

— Alecos Papadopoulos
แหล่งที่มา

คุณสามารถเชื่อมโยงข้อโต้แย้งนี้กับความจริงที่ว่าค่าผกผันของเมทริกซ์ความแปรปรวนร่วม - แปรปรวนทำให้เกิดความสัมพันธ์บางส่วนหรือไม่?

— ไฮเซนเบิร์ก

5

วิธีง่ายๆในการดูเป็นเมทริกซ์ (หลายตัวแปร) อะนาล็อกของซึ่งเป็นความแปรปรวนของสัมประสิทธิ์ความชันในการถดถอย OLS แบบง่าย เราสามารถได้สำหรับความแปรปรวนนั้นโดยการตัดการสกัดกั้นในแบบจำลองเช่นโดยการถดถอยผ่านจุดกำเนิด $\sigma^2 \left(\mathbf{X}^{T} \mathbf{X} \right)^{-1}$ $\frac{\sigma^2}{\sum_{i=1}^n \left(X_i-\bar{X}\right)^2}$ $\frac{\sigma^2}{\sum_{i=1}^n X_i^2}$

จากหนึ่งในสูตรเหล่านี้อาจเห็นได้ว่าความแปรปรวนของตัวแปรทำนายใหญ่กว่าจะนำไปสู่การประมาณค่าสัมประสิทธิ์ที่แม่นยำยิ่งขึ้น นี่คือความคิดที่มักใช้ในการออกแบบการทดลองโดยการเลือกค่าสำหรับการพยากรณ์ (ไม่ใช่ - สุ่ม) ใครจะทำให้ปัจจัยของมีขนาดใหญ่ที่สุดเท่าที่จะทำได้ปัจจัยที่เป็นตัววัดความแปรปรวน $\left(\mathbf{X}^{T} \mathbf{X} \right)$

— JohnK
แหล่งที่มา

2

การแปลงเชิงเส้นของตัวแปรสุ่มแบบเกาส์นั้นช่วยได้หรือไม่? ใช้กฎว่าถ้าแล้วA) $x \sim \mathcal{N}(\mu,\Sigma)$ $Ax + b ~ \sim \mathcal{N}(A\mu + b,A^T\Sigma A)$

สมมติว่าเป็นรุ่นพื้นฐานและ2) $Y = X\beta + \epsilon$ $\epsilon \sim \mathcal{N}(0, \sigma^2)$

∴ Y \sim N (X β, σ 2) X T Y \sim N (X T X β, X σ 2 X T) (X T X) - 1 X T Y \sim N [β, (X T X) - 1 σ 2]

$\therefore Y \sim \mathcal{N}(X\beta,\sigma^2)\\ X^TY \sim \mathcal{N}(X^TX\beta, X\sigma^2 X^T)\\ (X^TX)^{-1}X^TY \sim \mathcal{N}[\beta,(X^TX)^{-1} \sigma^2]$

ดังนั้นเป็นเพียงการปรับเมทริกซ์ที่ซับซ้อนที่แปลงกระจายของY $(X^TX)^{-1}X^T$ $Y$

หวังว่าจะเป็นประโยชน์

— kedarps
แหล่งที่มา

ไม่มีสิ่งใดในที่มาของตัวประมาณ OLS และความแปรปรวนของมันต้องเป็นไปตามข้อกำหนดของข้อผิดพลาด สิ่งที่ต้องเป็นและI_n (แน่นอนปกติจะต้องแสดง OLS ที่ประสบความสำเร็จใน Cramer-ราวผูกพันลดลง แต่นั่นไม่ใช่สิ่งที่โพสต์ของ OP เป็นเรื่องเกี่ยวกับมันคืออะไร?)

E(ε)=0 $E(\varepsilon)=0$

E(εεT)=σ2In $E(\varepsilon\varepsilon^T)=\sigma^2 I_n$

— เอ็มไอ

2

ผมจะใช้วิธีการที่แตกต่างกันต่อการพัฒนาสัญชาตญาณที่รองรับสูตร1} เมื่อพัฒนาสัญชาตญาณสำหรับตัวแบบการถดถอยพหุคูณมันจะเป็นประโยชน์ในการพิจารณาตัวแบบการถดถอยเชิงเส้นแบบไบวาเรียคือ ,มักถูกเรียกว่าการสนับสนุนที่กำหนดขึ้นเพื่อและเรียกว่าการสุ่มสุ่ม แสดงในรูปของการเบี่ยงเบนจากค่าเฉลี่ยตัวอย่างโมเดลนี้อาจถูกเขียนเป็น $\text{Var}\,\hat{\beta}=\sigma^2 (X'X)^{-1}$

y i = α + β x i + ε i, i = 1, \dots, n .

$y_i=\alpha+\beta x_i + \varepsilon_i, \quad i=1,\ldots,n.$

α+βxi $\alpha+\beta x_i$

yi $y_i$

εi $\varepsilon_i$

(x¯,y¯) $(\bar{x},\bar{y})$

(y i - y ¯) = β (x i - x ¯) + (ε i - ε ¯), i = 1, \dots, n .

$(y_i-\bar{y}) = \beta(x_i-\bar{x})+(\varepsilon_i-\bar{\varepsilon}), \quad i=1,\ldots,n.$

เพื่อช่วยในการพัฒนาสัญชาตญาณเราจะสมมติว่าสมมติฐาน Gauss-Markov ที่ง่ายที่สุดพอใจ: nonstochastic,สำหรับทั้งหมดและสำหรับทุก n เมื่อคุณทราบดีแล้วเงื่อนไขเหล่านี้รับประกันว่าที่คือความแปรปรวนของตัวอย่างxในคำพูดสูตรนี้มีการอ้างสิทธิ์สามข้อ: "ความแปรปรวนของแปรผกผันกับขนาดตัวอย่างมันเป็นสัดส่วนโดยตรงกับความแปรปรวนของ $x_i$ $\sum_{i=1}^n(x_i-\bar{x})^2>0$ $n$ $\varepsilon_i \sim \text{iid}(0,\sigma^2)$ $i=1,\ldots,n$

Var β^= 1 n σ 2 (Var x) - 1,

$\text{Var}\,\hat{\beta}=\tfrac{1}{n}\sigma^2(\text{Var}\,x)^{-1}\text{,}$

Varx $\text{Var}\,x$

x $x$

β^ $\hat{\beta}$

n $n$

ε $\varepsilon$ และมันแปรผกผันกับความแปรปรวนของ "

x $x$

ทำไมต้องเป็นสองเท่าของขนาดตัวอย่างceteris paribusสาเหตุความแปรปรวนของจะถูกตัดในช่วงครึ่งปี? ผลลัพธ์นี้เชื่อมโยงอย่างใกล้ชิดกับข้อสันนิษฐานของ iid ที่นำไปใช้กับ : เนื่องจากข้อผิดพลาดของแต่ละบุคคลถูกสันนิษฐานว่าเป็น iid การสังเกตแต่ละครั้งจึงควรได้รับการปฏิบัติเช่นเดียวกับข้อมูล และการเพิ่มจำนวนการสังเกตเป็นสองเท่าจะเพิ่มจำนวนข้อมูลเกี่ยวกับพารามิเตอร์ที่อธิบายความสัมพันธ์ (เชิงเส้นสมมติ) ระหว่างและ $\hat{\beta}$ $\varepsilon$ $x$ $y$ . การมีข้อมูลมากเป็นสองเท่าจะช่วยลดความไม่แน่นอนเกี่ยวกับพารามิเตอร์ลงครึ่งหนึ่ง ในทำนองเดียวกันมันควรจะตรงไปตรงมาเพื่อพัฒนาสัญชาตญาณของคน ๆ หนึ่งว่าทำไมการเสแสร้งยังเพิ่มความแปรปรวนของสองเท่า $\sigma^2$ $\hat{\beta}$

เปิด Let 's แล้วคำถามหลักของคุณซึ่งเป็นเรื่องเกี่ยวกับการพัฒนาสัญชาตญาณสำหรับการเรียกร้องที่แปรปรวนของเป็นสัดส่วนผกผันการแปรปรวนของxในการทำให้เป็นระเบียบความคิดนั้นให้เราพิจารณาแบบจำลองการถดถอยเชิงเส้นแบบแยกสองส่วนที่เรียกว่าแบบจำลองและแบบจำลองนับจากนี้เป็นต้นไป เราจะคิดว่าทั้งสองรุ่นตอบสนองสมมติฐานของรูปแบบที่ง่ายของทฤษฎีบท Gauss-มาร์คอฟและว่ารูปแบบร่วมค่าเดียวกันแน่นอนของ , ,และ 2 ภายใต้สมมติฐานเหล่านี้มันง่ายที่จะแสดงให้เห็นว่า $\hat{\beta}$ $x$ $(1)$ $(2)$ $\alpha$ $\beta$ $n$ $\sigma^2$ $\text{E}\,\hat{\beta}{}^{(1)}=\text{E}\,\hat{\beta}{}^{(2)}=\beta$ ; ในคำพูดตัวประมาณค่าทั้งสองไม่เอนเอียง ที่สำคัญเราจะสมมติว่าในขณะที่ ,{(2)} โดยไม่สูญเสียของทั่วไปให้เราคิดว่า{(2)} ตัวประมาณใดที่จะมีความแปรปรวนน้อยลง ใส่ต่างกันหรือใกล้กว่าโดยเฉลี่ยเป็นหรือไม่ จากการสนทนาก่อนหน้านี้เรามี $\bar{x}^{(1)}=\bar{x}^{(2)}=\bar{x}$ $\text{Var}\,x^{(1)}\ne \text{Var}\,x^{(2)}$ $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ $\hat{\beta}$ $\hat{\beta}{}^{(1)}$ $\hat{\beta}{}^{(2)}$ $\beta$ $\text{Var}\,\hat{\beta} {}^{(k)} =\tfrac{1}{n}\sigma^2/\text{Var}\,x{}^{(k)})$ สำหรับkเนื่องจากโดยการสันนิษฐานมันเป็นไปตามที่{(2)} ถ้าเช่นนั้นแล้วสัญชาตญาณเบื้องหลังผลลัพธ์นี้คืออะไร? $k=1,2$ $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ $\text{Var}\,\hat{\beta}{}^{(1)} <\text{Var}\,\hat{\beta}{}^{(2)}$

เนื่องจากโดยการสันนิษฐาน , โดยเฉลี่ยแต่ละจะอยู่ห่างจากกว่าเป็นกรณีโดยเฉลี่ยสำหรับ{(2)} ขอให้เราแสดงให้เห็นถึงความแตกต่างแน่นอนคาดว่าเฉลี่ยระหว่างและโดยd_xสมมติฐานที่หมายความว่า{(2)} รูปแบบการถดถอยเชิงเส้นแบบซึ่งแสดงเป็นค่าเบี่ยงเบนจากค่าเฉลี่ยระบุว่าสำหรับแบบจำลองและสำหรับแบบจำลอง $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ $x_i^{(1)}$ $\bar{x}$ $x_i^{(2)}$ $x_i$ $\bar{x}$ $d_x$ $\text{Var}\,x^{(1)}>\text{Var}\,x^{(2)}$ $d_x^{(1)} >d_x^{(2)}$ $d_y = \beta d_x^{(1)}$ $(1)$ $d_y = \beta d_x^{(2)}$ $(2)$ (2)หาก , ที่นี้หมายถึงว่าองค์ประกอบที่กำหนดรูปแบบ ,มีอิทธิพลมากในกว่าองค์ประกอบที่กำหนดรูปแบบ ,(2)} จำได้ว่าทั้งสองรุ่นจะถือว่าตอบสนองความสมมติฐาน Gauss-มาร์คอฟที่แปรปรวนผิดพลาดจะเหมือนกันทั้งในรูปแบบและที่\เนื่องจาก Modelให้ข้อมูลเพิ่มเติมเกี่ยวกับการมีส่วนร่วมขององค์ประกอบที่กำหนดค่าได้ของมากกว่ารุ่นจึงเป็นไปตามความแม่นยำ $\beta\ne0$ $(1)$ $\beta d_x^{(1)}$ $d_y$ $(2)$ $\beta d_x^{(2)}$ $\beta^{(1)}=\beta^{(2)}=\beta$ $(1)$ $y$ $(2)$ ซึ่งผลงานที่กำหนดสามารถประมาณเป็นมากขึ้นสำหรับรุ่นกว่าเป็นกรณีสำหรับรุ่น(2)สนทนาของความแม่นยำมากขึ้นเป็นความแปรปรวนล่างของประมาณการจุด\ $(1)$ $(2)$ $\beta$

มันเป็นเรื่องตรงไปตรงมาพอสมควรที่จะพูดถึงสัญชาตญาณที่ได้จากการศึกษารูปแบบการถดถอยอย่างง่ายไปสู่รูปแบบการถดถอยเชิงเส้นหลายแบบทั่วไป ภาวะแทรกซ้อนที่สำคัญคือแทนที่จะเปรียบเทียบความแปรปรวนแบบสเกลาร์จึงจำเป็นต้องเปรียบเทียบ "ขนาด" ของเมทริกซ์ความแปรปรวนร่วมและความแปรปรวนร่วม การมีความรู้ในการทำงานที่ดีของดีเทอร์มิแนนต์, ร่องรอยและค่าลักษณะเฉพาะของเมทริกซ์สมมาตรจริงนั้นมีประโยชน์มากในตอนนี้ :-)

— Mico
แหล่งที่มา

1

สมมติว่าเรามีการสังเกต (หรือขนาดตัวอย่าง) และพารามิเตอร์ $n$ $p$

เมทริกซ์ความแปรปรวนร่วมของพารามิเตอร์โดยประมาณฯลฯ เป็นตัวแทนของความถูกต้องของพารามิเตอร์โดยประมาณ $\operatorname{Var}(\hat{\beta})$ $\hat{\beta}_1,\hat{\beta}_2$

ถ้าในโลกที่เหมาะข้อมูลสามารถอธิบายได้อย่างสมบูรณ์แบบแล้วเสียงจะเป็น0 ตอนนี้รายการในแนวทแยงของสอดคล้องกับเป็นต้น สูตรที่ได้จากการแปรปรวนเห็นด้วยกับสัญชาตญาณว่าถ้าเสียงต่ำกว่าการประมาณจะแม่นยำยิ่งขึ้น $\sigma^2= 0$ $\operatorname{Var}(\hat{\beta})$ $\operatorname{Var}(\hat{\beta_1}),\operatorname{Var}(\hat{\beta_2})$

นอกจากนี้เมื่อจำนวนการวัดเพิ่มขึ้นความแปรปรวนของพารามิเตอร์โดยประมาณจะลดลง ดังนั้นโดยรวมค่าสัมบูรณ์ของรายการของจะสูงกว่าเนื่องจากจำนวนคอลัมน์ของคือและจำนวนแถวของคือและแต่ละรายการของเป็นผลรวมของคู่ผลิตภัณฑ์ ค่าสัมบูรณ์ของรายการของค่าผกผันจะลดลง $X^TX$ $X^T$ $n$ $X$ $n$ $X^TX$ $n$ $(X^TX)^{-1}$

ดังนั้นแม้ว่าจะมีเป็นจำนวนมากของเสียงเรายังคงประมาณการเข้าถึงที่ดี ของพารามิเตอร์ถ้าเราเพิ่มขนาดของกลุ่มตัวอย่างn $\hat{\beta_i}$ $n$

ฉันหวังว่านี่จะช่วยได้.

การอ้างอิง: ส่วน 7.3 ในสี่เหลี่ยมจัตุรัสน้อยที่สุด: Cosentino, Carlo และ Declan Bates การควบคุมความคิดเห็นในชีววิทยาของระบบ Crc Press, 2011

— Dilly Minch
แหล่งที่มา

1

สิ่งนี้สร้างขึ้นจากคำตอบของ @Alecos Papadopuolos

จำได้ว่าผลลัพธ์ของการถดถอยกำลังสองน้อยที่สุดไม่ได้ขึ้นอยู่กับหน่วยการวัดตัวแปรของคุณ สมมติว่าตัวแปร X ของคุณเป็นการวัดความยาวที่กำหนดเป็นนิ้ว จากนั้นการ rescaling X โดยการคูณด้วย 2.54 เพื่อเปลี่ยนหน่วยเป็นเซนติเมตร หากคุณดัดแปลงโมเดลใหม่การประมาณการการถดถอยใหม่จะเป็นการประมาณแบบเก่าหารด้วย 2.54

เมทริกซ์คือความแปรปรวนของ X และด้วยเหตุนี้สะท้อนให้เห็นถึงระดับของการวัดเอ็กซ์ถ้าคุณเปลี่ยนขนาดคุณจะต้องสะท้อนถึงนี้ในการประมาณการของคุณและนี้จะทำโดยการคูณโดยผกผันของ'X $X'X$ $\beta$ $X'X$

— หงษ์อ้อย
แหล่งที่มา