การกระจายตัวแบบหลายตัวแปรปกติของสัมประสิทธิ์การถดถอย

ในขณะที่อ่านหนังสือเกี่ยวกับการถดถอยฉันพบย่อหน้าต่อไปนี้:

การประมาณกำลังสองน้อยที่สุดของเวกเตอร์ของสัมประสิทธิ์การถดถอยเชิงเส้น ( ) คือ $\beta$

$\hat{β} = (X^{t} X)^{- 1} X^{t} y$ $\hat{\beta} = (X^{t}X)^{-1}{X^t}y$
ซึ่งเมื่อมองว่าเป็นฟังก์ชันของข้อมูล (พิจารณาจากตัวทำนายเป็นค่าคงที่) จะเป็นการรวมกันเชิงเส้นของข้อมูล เมื่อใช้ทฤษฎีบทขีด จำกัด กลางจะสามารถแสดงให้เห็นว่าการแจกแจงจะเป็นแบบหลายตัวแปรโดยประมาณหากขนาดตัวอย่างมีขนาดใหญ่ $y$ $X$ $\beta$

ฉันขาดอะไรบางอย่างไปจากข้อความ แต่ฉันไม่เข้าใจว่าค่าเดียวจะมีการแจกแจงได้อย่างไร ค่าหลายค่าถูกสร้างขึ้นเพื่อรับการกระจายที่อ้างถึงในข้อความอย่างไร $\beta$ $\beta$

multiple-regression

— upabove
แหล่งที่มา

β

$\beta$ เป็นเวกเตอร์ของสัมประสิทธิ์การถดถอย - นั่นทำให้เกิดความสับสนหรือเปล่า?

— มาโคร

เมื่อใช้วิธีกำลังสองน้อยที่สุดคุณจะถือว่าได้รับการแก้ไขแล้วแต่ไม่ทราบ อย่างไรก็ตามเนื่องจากเป็นฟังก์ชั่นของข้อมูล (สุ่ม) จึงมีการแจกแจง Asymptotically การกระจายเป็นการแจกแจงแบบปกติ ไม่เชิงเส้นกำกับสัมประสิทธิ์จะกระจายตัว

β

$\beta$

\hat{β}

$\hat{\beta}$

— เทย์เลอร์

มันอาจช่วยให้สังเกตว่าถือเป็นเมทริกซ์คงที่ในการตั้งค่าการถดถอยและคือการตระหนักถึงตัวแปรสุ่ม (เวกเตอร์มูลค่า) เกี่ยวกับบิต CLT ที่แม้ว่าไม่ถูกทีเดียวมันจะอาศัยทั้งในมีโครงสร้างบางอย่างซึ่งบางครั้งไม่ได้เกิดขึ้นจริงแม้จะมีชุดข้อมูลขนาดใหญ่หรือที่อื่นในนั้นเองเป็นหลายตัวแปรปกติ ( แต่ก็มีไม่จำเป็นต้อง เรียกใช้ CLT)

H = (X^{t} X)^{- 1} X^{t}

$H = (X^tX)^{-1}X^t$

y

$y$

H

$H$

y

$y$

— whuber

@Taylor แต่คุณจะรู้ได้อย่างไรว่าการกระจายของ B ถ้าสิ่งเดียวที่ฉันรู้คือว่า "ขนาดตัวอย่างมีขนาดใหญ่"?

— upabove

@Taylor ส่วนประกอบแต่ละส่วนของ beta vactor จะมีการแจกแจงต่อเมื่อข้อผิดพลาดที่เกิดขึ้นในรูปแบบการถดถอยคือ Gaussian ที่มีค่าเฉลี่ย 0 และความแปรปรวนคงที่ ในกรณีที่ไม่ปกติคุณไม่จำเป็นต้องรู้จักการกระจายตัวของมันภายใต้สมมติฐานว่าง แต่มันก็อาจจะเป็นอาการปกติ อย่างไรก็ตามเนื่องจาก whuber ระบุว่าทฤษฎีบทขีด จำกัด กลางอาจไม่ถือเนื่องจากเป็นค่าเฉลี่ยถ่วงน้ำหนักและเราจำเป็นต้องรู้ว่าน้ำหนักไม่เปลี่ยนแปลงกับขนาดตัวอย่างในวิธีที่ช่วยให้คำศัพท์สองสามคำสามารถควบคุมผลรวมได้

— Michael R. Chernick

ไม่ใช่มีการกระจาย แต่ตามที่ระบุโดย Taylor การกระจายของเกิดขึ้นจากข้อเท็จจริงที่ว่าคุณได้รับแตกต่างกันสำหรับตัวอย่างที่แตกต่างกัน --- คุณสามารถประมาณการกระจายตัวนี้ได้โดยอิงจากเดี่ยวที่ได้รับจากตัวอย่างเดียวของคุณโดยมีเงื่อนไขว่า ข้อมูลที่เกี่ยวข้องกับการแจกจ่ายข้อมูลพื้นฐาน $\beta$ $\hat\beta$ $\hat\beta$ $\hat\beta$ $\hat\beta$

— user3451767
แหล่งที่มา