ทำความเข้าใจเกี่ยวกับการทดสอบ t สำหรับการถดถอยเชิงเส้น

ฉันกำลังพยายามหาวิธีการทดสอบสมมติฐานบางอย่างเกี่ยวกับการถดถอยเชิงเส้น (สมมติฐานว่างไม่มีความสัมพันธ์) ทุกคำแนะนำและหน้าในเรื่องที่ฉันพบดูเหมือนจะใช้การทดสอบ t แต่ฉันไม่เข้าใจความหมายของการทดสอบการถดถอยเชิงเส้น การทดสอบแบบทียกเว้นว่าฉันมีความเข้าใจผิดอย่างสมบูรณ์หรือแบบจำลองทางจิตถูกใช้เพื่อเปรียบเทียบประชากรสองคน แต่ regressor และ regressand ไม่ใช่ตัวอย่างของประชากรที่คล้ายกันและอาจไม่ได้เป็นหน่วยเดียวกันดังนั้นจึงไม่มีเหตุผลที่จะเปรียบเทียบมัน

ดังนั้นเมื่อใช้ t-test ในการถดถอยเชิงเส้นสิ่งที่เราทำจริง ๆ ?

คุณอาจจะกำลังคิดของทั้งสองตัวอย่าง$t$ทดสอบเพราะนั่นคือมักจะเป็นสถานที่แรก$t$กระจายขึ้นมา แต่จริงๆแล้วการทดสอบทั้งหมด$t$หมายความว่าการกระจายการอ้างอิงสำหรับสถิติการทดสอบเป็นการกระจายตัว$t$ถ้า$Z \sim \mathcal N(0,1)$และ$S^2 \sim \chi^2_d$กับ$Z$และ$S^2$เป็นอิสระดังนั้น

$$\frac{Z}{\sqrt{S^2 / d}} \sim t_d$$ โดยคำจำกัดความ ฉันเขียนสิ่งนี้เพื่อเน้นว่าการกระจายตัว$t$เป็นเพียงชื่อที่กำหนดให้กับการกระจายตัวของอัตราส่วนนี้เพราะมันมีจำนวนมากและสิ่งใด ๆ ของรูปแบบนี้จะมีการแจกแจงแบบ$t$สำหรับการทดสอบทีสองตัวอย่างอัตราส่วนนี้จะปรากฏขึ้นเพราะภายใต้โมฆะความแตกต่างในวิธีการที่เป็นศูนย์เฉลี่ยเกาส์และประมาณการความแปรปรวนอิสระ Gaussians เป็นอิสระ$\chi^2$(อิสระสามารถแสดงผ่านทฤษฎีบทของซึ ซึ่งใช้ความจริงที่ว่าการประมาณค่าความแปรปรวนมาตรฐานในตัวอย่าง Gaussian นั้นขึ้นอยู่กับค่าเฉลี่ยประชากรในขณะที่ค่าเฉลี่ยตัวอย่างสมบูรณ์และเพียงพอสำหรับปริมาณเดียวกันนั้น)

ด้วยการถดถอยเชิงเส้นโดยทั่วไปแล้วเราได้สิ่งเดียวกัน β ~ N ( β , σ 2 ( X T X ) - 1 ) ให้S 2 j = ( X T X ) - 1 j jและถือว่าตัวทำนายXเป็นแบบไม่สุ่ม ถ้าเรารู้σ 2เราต้องการมี β$\hat \beta \sim \mathcal N(\beta, \sigma^2 (X^T X)^{-1})$$S^2_j = (X^T X)^{-1}_{jj}$$X$$\sigma^2$ ภายใต้ nullH0:βJ=0ดังนั้นเราต้องการจริงมีการทดสอบ Z แต่เมื่อเราประเมินσ2เราจบลงด้วยχ2ตัวแปรสุ่มว่าภายใต้สมมติฐานปกติของเราจะออกมาเป็นอิสระจากสถิติของเรา β

$$\frac{\hat \beta_j - 0}{\sigma S_j} \sim \mathcal N(0, 1)$$ $H_0 : \beta_j = 0$$\sigma^2$$\chi^2$$\hat \beta_j$และจากนั้นเราจะได้รับกระจาย$t$

---

นี่คือรายละเอียดของการที่: สมมติ ) ปล่อยให้H = X ( X T X ) - 1 X Tเป็นเมทริกซ์หมวกที่เรามี ‖ อี‖ 2 = ‖ ( ฉัน- H ) Y ‖ 2 = Y T ( ฉัน- H ) Y Hคือ idempotent ดังนั้นเราจึงได้ผลลัพธ์ที่ดีจริงๆ $y \sim \mathcal N(X\beta, \sigma^2 I)$$H = X(X^TX)^{-1}X^T$

$$\|e\|^2 = \|(I-H)y\|^2 = y^T(I-H)y.$$ $H$ พร้อมพารามิเตอร์ที่ไม่ใช่ศูนย์กลาง δ = β T X T ( I - H ) X β = β T ( X T X - X T X ) β = 0ดังนั้นจริง ๆ แล้วนี่คือศูนย์กลาง χ 2 ที่มี n - $$y^T(I-H)y / \sigma^2 \sim \mathcal \chi_{n-p}^2(\delta)$$ $\delta = \beta^TX^T(I-H)X\beta = \beta^T(X^TX - X^T X)\beta = 0$$\chi^2$$n-p$องศาอิสระ (นี่เป็นกรณีพิเศษของทฤษฎีบทของ Cochran ) ฉันกำลังใช้เพื่อแสดงจำนวนคอลัมน์ของXดังนั้นถ้าคอลัมน์หนึ่งของXให้การสกัดกั้นจากนั้นเราก็จะมีp - 1ทำนายการสกัดกั้นไม่ ผู้เขียนบางคนใช้pเป็นจำนวนผู้ทำนายที่ไม่ถูกดักจับดังนั้นบางครั้งคุณอาจเห็นบางสิ่งเช่นn - p - 1ในระดับความเป็นอิสระที่นั่น แต่มันก็เหมือนกันทั้งหมด$p$$X$$X$$p-1$$p$$n-p-1$

ผลจากการนี้ก็คือว่าดังนั้นσ$E(e^Te / \sigma^2) = n-p$งานได้ดีในฐานะผู้ประมาณ$\hat \sigma^2 := \frac{1}{n-p} e^T e$ 2$\sigma^2$

ซึ่งหมายความว่า βเจ คืออัตราส่วนของ Gaussian มาตรฐานต่อไคสแควร์หารด้วยองศาอิสระ ในการทำให้เสร็จเราต้องแสดงความเป็นอิสระและเราสามารถใช้ผลลัพธ์ต่อไปนี้:

$$\frac{\hat \beta_j}{\hat \sigma S_j}= \frac{\hat \beta_j}{S_j\sqrt{e^Te / (n-p)}} = \frac{\hat \beta_j}{\sigma S_j\sqrt{\frac{e^Te}{\sigma^2(n-p)}}}$$

ส่งผลให้เกิด:สำหรับและเมทริกซ์และBในR L × kและR เมตร× kตามลำดับZและB Zมีความเป็นอิสระและถ้าหากΣ B T$Z \sim \mathcal N_k(\mu, \Sigma)$$A$$B$$\mathbb R^{l\times k}$$\mathbb R^{m\times k}$$AZ$$BZ$ (นี่คือการออกกำลังกาย 58 (b) ในบทที่ 1 ของสถิติทางคณิตศาสตร์ของJun Shao)$A\Sigma B^T = 0$

เรามีβ = ( X T X ) - 1 X T YและE = ( ฉัน- H ) Yที่Y ~ N ( X β , σ 2ฉัน ) วิธีนี้ ( X T X ) - 1 X T ⋅ σ 2ผม⋅ ( ฉัน- H ) T = σ 2$\hat \beta = (X^TX)^{-1}X^T y$$e = (I-H)y$$y \sim \mathcal N(X\beta, \sigma^2 I)$ ดังนั้นบีตา ⊥อีและดังนั้นจึงบีตา ⊥อีทีอี

$$(X^TX)^{-1}X^T \cdot \sigma^2 I \cdot (I-H)^T = \sigma^2 \left((X^TX)^{-1}X^T - (X^TX)^{-1}X^TX(X^TX)^{-1}X^T\right) = 0$$ $\hat \beta \perp e$$\hat \beta \perp e^T e$

ผลที่สุดก็คือตอนนี้เรารู้ βเจ ตามที่ต้องการ (ภายใต้สมมติฐานข้างต้น)

$$\frac{\hat \beta_j}{\hat \sigma S_j} \sim t_{n-p}$$

---

$C = {A \choose B}$$(l+m)\times k$$A$$B$

$$CZ = {AZ \choose BZ} \sim \mathcal N \left({A\mu \choose B\mu}, C\Sigma C^T \right)$$ $$C\Sigma C^T = {A \choose B} \Sigma \left(\begin{array}{cc} A^T & B^T \end{array}\right) = \left(\begin{array}{cc}A\Sigma A^T & A\Sigma B^T \\ B\Sigma A^T & B\Sigma B^T\end{array}\right).$$ $CZ$$A\Sigma B^T = 0$$AZ$$BZ$$CZ$

$\square$

@ คำตอบของ Chaconne เยี่ยมมาก แต่นี่เป็นเวอร์ชันที่ไม่ใช่ทางคณิตศาสตร์ที่สั้นกว่ามาก!

เนื่องจากเป้าหมายคือการคำนวณค่า P คุณต้องกำหนดสมมติฐานว่างก่อน เกือบตลอดเวลานั่นคือความชันเป็นแนวนอนดังนั้นค่าตัวเลขสำหรับความชัน (เบต้า) คือ 0.0

ความชันพอดีจากข้อมูลของคุณไม่ใช่ 0.0 ความแตกต่างนั้นเกิดจากการสุ่มเลือกหรือเนื่องจากสมมติฐานว่างเปล่าผิดหรือเปล่า? คุณไม่สามารถตอบได้อย่างแน่นอน แต่ค่า P เป็นวิธีหนึ่งในการรับคำตอบแบบเรียงลำดับ

โปรแกรมการถดถอยรายงานข้อผิดพลาดมาตรฐานของความชัน คำนวณอัตราส่วน t เป็นความชันหารด้วยข้อผิดพลาดมาตรฐาน ที่จริงแล้วมันคือ (ความชันลบความชันสมมุติฐานว่างโมฆะ) หารด้วยข้อผิดพลาดมาตรฐาน แต่ความชันของสมมติฐานว่าง ๆ นั้นเกือบจะเป็นศูนย์เสมอ

ตอนนี้คุณมีอัตราส่วน จำนวน degree of freedom (df) เท่ากับจำนวนจุดข้อมูลลบด้วยจำนวนของพารามิเตอร์ที่พอดีโดยการถดถอย (สองสำหรับการถดถอยเชิงเส้น)

ด้วยค่าเหล่านั้น (t และ df) คุณสามารถกำหนดค่า P ด้วยเครื่องคิดเลขออนไลน์หรือตาราง

มันเป็นตัวอย่างหนึ่งทดสอบ t- เปรียบเทียบค่าที่คำนวณได้สังเกต (ความลาดชัน) กับค่าสมมุติฐาน (สมมติฐานว่าง)