พิสูจน์ว่าสัมประสิทธิ์ในแบบจำลอง OLS เป็นไปตามการแจกแจงแบบ t ด้วย (nk) องศาอิสระ


29

พื้นหลัง

สมมติว่าเรามีโมเดลกำลังสองน้อยที่สุดซึ่งเรามีค่าสัมประสิทธิ์ในแบบจำลองการถดถอยของเรา k

y=Xβ+ϵ

โดยที่เป็นเวกเตอร์ของสัมประสิทธิ์ ,คือเมทริกซ์การออกแบบที่กำหนดโดยβ(k×1)X

X=(1x11x12x1(k1)1x211xn1xn(k1))
และข้อผิดพลาดคือ IID ปกติ
ϵN(0,σ2I).

เราลดผลรวมของข้อผิดพลาดให้เหลือน้อยที่สุดโดยตั้งค่าการประมาณของเราสำหรับเป็น β

β^=(XTX)1XTy.

ตัวประมาณค่าที่เป็นกลางของคือ โดยที่\ mathbf {\ หมวก {y}} \ equiv \ mathbf {X} \ mathbf {\ hat {\ beta}} ( อ้างอิง )σ2

s2=yy^2np
y^Xβ^

ความแปรปรวนของβ^มอบให้โดย

Cov(β^)=σ2C
โดยที่C(XTX)1 ( อ้างอิง )

คำถาม

ฉันจะพิสูจน์ได้อย่างไรสำหรับβ^i ,

β^iβisβ^itnk
โดยที่tnkคือ เสื้อกับการกระจาย(nk)องศาอิสระและข้อผิดพลาดมาตรฐานของβ^iประมาณโดยsβ^i=sciiii}}

ความพยายามของฉัน

ฉันรู้ว่าสำหรับตัวแปรสุ่มตัวอย่างจากคุณสามารถแสดงให้เห็นว่า โดยเขียน LHS ใหม่เป็น และรู้ตัวว่า numertor คือการแจกแจงแบบปกติมาตรฐานและส่วนคือรากที่สองของการแจกแจงแบบไคสแควร์ที่มี df = (n-1) และหารด้วย (n- 1) ( อ้างอิง ) และดังนั้นจึงเป็นไปตามการแจกแจงแบบ t ด้วย df = (n-1) ( อ้างอิง )nxN(μ,σ2)

x¯μs/ntn1
(x¯μσ/n)s2/σ2

ฉันไม่สามารถขยายหลักฐานนี้ให้กับคำถามของฉันได้ ...

ความคิดใด ๆ ฉันตระหนักถึงคำถามนี้แต่พวกเขาไม่ได้พิสูจน์อย่างชัดเจนพวกเขาเพียงแค่ให้กฎง่ายๆว่า "ผู้ทำนายแต่ละคนต้องเสียค่าใช้จ่ายในระดับหนึ่ง"


เนื่องจากเป็นการรวมกันเชิงเส้นของตัวแปร Normal ร่วมกันจึงมีการแจกแจงแบบปกติ ดังนั้นสิ่งที่คุณต้องทำคือ (1)ว่า ; (2) แสดงว่าเป็นตัวประมาณของ ; และ (3) แสดงให้เห็นถึงองศาของเสรีภาพในเป็นNKหลังได้รับการพิสูจน์แล้วในเว็บไซต์นี้ในสถานที่ต่างๆเช่นstats.stackexchange.com/a/16931 ฉันสงสัยว่าคุณรู้วิธีการ (1) และ (2) แล้ว β^iE(β^i)=βisβ^i2Var(β^i)sβ^ink
whuber

คำตอบ:


32

ตั้งแต่ เรารู้ว่า และดังนั้นเราจึงรู้ว่าในแต่ละองค์ประกอบของ , ที่เป็นองค์ประกอบเส้นทแยงมุมของ1} ดังนั้นเรารู้ว่า

β^=(XTX)1XTY=(XTX)1XT(Xβ+ε)=β+(XTX)1XTε
β^βN(0,σ2(XTX)1)
kβ^
β^kβkN(0,σ2Skk)
Skkkth(XTX)1
zk=β^kβkσ2SkkN(0,1).

จดคำแถลงของทฤษฎีบทสำหรับการแจกแจงของรูปแบบสมการกำลังสอง Idempotent ในเวกเตอร์ปกติมาตรฐาน (ทฤษฎีบท B.8 ในกรีน):

ถ้าและเป็นสมมาตรและ idempotent แล้วมีการกระจายที่เป็นยศxN(0,I)AxTAxχν2νA

ปล่อยแสดงถึงการถดถอยเวกเตอร์ที่เหลือและให้ ซึ่งเป็นเมทริกซ์ผู้ผลิตที่เหลือ (เช่น ) . มันง่ายที่จะตรวจสอบว่าเป็นสมมาตรและ idempotentε^

M=InX(XTX)1XT,
My=ε^M

Let เป็นประมาณการสำหรับ 2

s2=ε^Tε^np
σ2

จากนั้นเราต้องทำพีชคณิตเชิงเส้น สังเกตคุณสมบัติพีชคณิตเชิงเส้นทั้งสามนี้:

  • อันดับของเมทริกซ์ idempotent คือการติดตาม
  • Tr(A1+A2)=Tr(A1)+Tr(A2)
  • Tr(A1A2)=Tr(A2A1)ถ้าคือและคือ ( คุณสมบัตินี้มีความสำคัญต่อการทำงานด้านล่าง )A1n1×n2A2n2×n1

ดังนั้น

rank(M)=Tr(M)=Tr(InX(XTX)1XT)=Tr(In)Tr(X(XTX)1XT))=Tr(In)Tr((XTX)1XTX))=Tr(In)Tr(Ip)=np

จากนั้น

V=(np)s2σ2=ε^Tε^σ2=(εσ)TM(εσ).

การใช้ทฤษฏีสำหรับการจัดจำหน่ายของ idempotent กำลังสองฟอร์มในมาตรฐานปกติเวกเตอร์ (ระบุไว้ข้างต้น) เรารู้ว่า{}Vχnp2

เนื่องจากคุณสันนิษฐานว่ามีการกระจายตามปกติแล้วเป็นอิสระจากและตั้งแต่เป็นหน้าที่ของแล้วนอกจากนี้ยังมีความเป็นอิสระของ\ดังนั้นและจึงเป็นอิสระจากกันεβ^ε^s2ε^s2β^zkV

จากนั้น คืออัตราส่วนของการแจกแจงแบบปกติมาตรฐานที่มีรากที่สองของการแจกแจงแบบไคสแควร์ ที่มีองศาอิสระเท่ากัน (เช่น ) ซึ่งเป็นลักษณะของการแจกแจงแบบดังนั้นสถิติมีกับการกระจายองศาอิสระ

tk=zkV/(np)
npttktnp

จากนั้นจะสามารถจัดการพีชคณิตในรูปแบบที่คุ้นเคยมากขึ้น

tk=β^kβkσ2Skk(np)s2σ2/(np)=β^kβkSkks2=β^kβks2Skk=β^kβkse(β^k)

คำถามข้างเคียง: สำหรับTheorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vectorเราไม่จำเป็นต้องให้สมมาตรด้วยหรือไม่ แต่น่าเสียดายที่ผมไม่ได้มีกรีนดังนั้นผมจึงไม่สามารถดูหลักฐานแม้ว่าผมเห็นว่าวิกิพีเดียมีรูปแบบเช่นเดียวกับคุณ อย่างไรก็ตามตัวอย่างตัวนับน่าจะเป็นเมทริกซ์ idempotentซึ่งนำไปสู่ซึ่งไม่ใช่ Chi-Squared เนื่องจากอาจใช้ค่าลบได้ ..AA=(1100)x12+x1x2
Garrett

1
@ Garrett คำขอโทษของฉันควรเป็นได้ทั้งแบบสมมาตรและ idempotent หลักฐานแสดงไว้ในทฤษฎีบท 3 ในเอกสารนี้: www2.econ.iastate.edu/classes/econ671/hallam/documents/…โชคดีที่มีความสมมาตรและ idempotent AM
Blue Marker

1
Aเป็นเพียงการแสดงเมทริกซ์ของรูปแบบสมการกำลังสอง ทุกรูปแบบสมการกำลังสองมีการแสดงสมมาตรดังนั้นความต้องการของสมมาตรของจึงเป็นนัยในคำแถลงของทฤษฎีบท (ผู้คนไม่ได้ใช้เมทริกซ์แบบไม่สมมาตรเพื่อเป็นตัวแทนของรูปแบบสมการกำลังสอง) ดังนั้นรูปแบบสมการกำลังสองนั้นแทนด้วยเมทริกซ์ซึ่งไม่ใช่ idempotent A(x1,x2)x12+x1x2A=(11/21/20)
whuber

1
ทำไมแปลว่าไม่ขึ้นกับ ? ไม่ค่อยติดตาม ϵN(0,σ2)β^ϵ^
Glassjawed

1
@Glassjawed เนื่องจากและมีการกระจายหลายตัวแปรตามปกติแล้ว uncorrelatedness แสดงถึงความเป็นอิสระ ใช้นิพจน์และจาก ข้างต้นเราสามารถแสดงให้เห็นว่าn} β^ε^β^=β+(XX)1Xεε^=MεCov(β^,ε^)=0p×n
rzch
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.