เมื่อใดจึงจะใช้การกระจายของนักเรียนหรือปกติในการถดถอยเชิงเส้น

10

ฉันกำลังดูปัญหาและในการทดสอบสัมประสิทธิ์บางครั้งฉันเห็นคนที่ใช้การแจกแจงของนักเรียนและบางครั้งฉันเห็นการแจกแจงแบบปกติ กฎคืออะไร?

regression distributions hypothesis-testing

— สิงห์
แหล่งที่มา

3

นี่ไม่ใช่คำตอบ แต่โปรดทราบว่า

-distribution ใกล้กับการแจกแจงแบบปกติเนื่องจากพารามิเตอร์ degrees-freedom-

มีขนาดใหญ่ขึ้น ที่ผ่านมา

, ไม่มีความแตกต่างที่เห็นได้โดยเฉพาะอย่างยิ่งในส่วนการทดสอบสมมติฐานกรอบ พฤติกรรมที่ จำกัด คือ "จากด้านบน" ในแง่ที่ว่าถ้า

และ

จากนั้น

มีขนาดใหญ่กว่า

.

t

$t$

ν

$\nu$

ν \geq 30

$\nu \geq 30$

T \sim t_{ν}

$T \sim t_{\nu}$

Z \sim N (0, 1)

$Z \sim \mathcal{N}(0,1)$

| T |

$|T|$

| Z |

$|Z|$

— สำคัญ

15

การแจกแจงแบบปกติคือการกระจายตัวอย่างขนาดใหญ่ในปัญหาทางสถิติที่มีความหมายหลายอย่างซึ่งเกี่ยวข้องกับทฤษฎีบทขีด จำกัด กลางบางรุ่น: คุณมีข้อมูลที่เป็นอิสระ (โดยประมาณ) ที่ถูกเพิ่มเข้ามาเพื่อให้ได้คำตอบ หากการประมาณค่าพารามิเตอร์เป็นแบบปกติเชิงเส้นกำกับฟังก์ชันของพวกเขาก็จะเป็นแบบปกติแบบเส้นกำกับด้วย (ในกรณีปกติ)

ในทางกลับกันการแจกแจงของนักเรียนนั้นเกิดขึ้นภายใต้เงื่อนไขที่ จำกัด มากขึ้นของข้อผิดพลาดการถดถอยปกติของ iid หากคุณสามารถซื้อสมมติฐานนี้คุณสามารถซื้อบิวชันที่ใช้สำหรับทดสอบสมมติฐานในการถดถอยเชิงเส้น การใช้การกระจายนี้ให้ช่วงความมั่นใจที่กว้างกว่าการใช้การแจกแจงแบบปกติ ความหมายที่แท้จริงของว่าที่อยู่ในกลุ่มตัวอย่างขนาดเล็กที่คุณจำเป็นต้องประเมินตัวชี้วัดของคุณของความไม่แน่นอนที่ถดถอยข้อผิดพลาดยกกำลังสองเฉลี่ยหรือค่าเบี่ยงเบนมาตรฐานของเศษ, σ(ในกลุ่มตัวอย่างขนาดใหญ่คุณมีข้อมูลมากพอ ๆ กับที่คุณรู้ดังนั้น -distribution จะลดลงตามการแจกแจงแบบปกติ) $t$ $t$ $\sigma$ $t$

มีบางโอกาสในการถดถอยเชิงเส้นแม้จะมีตัวอย่าง จำกัด ซึ่งการกระจายนักศึกษาไม่สามารถพิสูจน์ได้ พวกเขาเกี่ยวข้องกับการละเมิดเงื่อนไขการสั่งซื้อลำดับที่สองจากข้อผิดพลาดในการถดถอย กล่าวคือพวกเขาเป็น (1) ความแปรปรวนคงที่และ (2) เป็นอิสระ หากสมมติฐานเหล่านี้ถูกละเมิดและคุณแก้ไขข้อผิดพลาดมาตรฐานของคุณโดยใช้Eicker / White estimatorสำหรับ heteroskedastic แต่มีความเป็นอิสระเหลืออยู่ หรือตัวประมาณค่าNewey-Westสำหรับข้อผิดพลาดที่สัมพันธ์กันแบบอนุกรมหรือข้อผิดพลาดมาตรฐานแบบกลุ่มสำหรับข้อมูลที่สัมพันธ์กับคลัสเตอร์ไม่มีวิธีที่คุณสามารถดึงเหตุผลที่สมเหตุสมผลสำหรับการแจกแจงของนักเรียน อย่างไรก็ตามโดยการใช้อาร์กิวเมนต์ที่เหมาะสมเชิงเส้นกำกับ (รุ่นอาร์เรย์ traingular และเช่นนั้น) รุ่นที่เหมาะสมคุณสามารถปรับการประมาณปกติ (แม้ว่าคุณควรทราบว่าช่วงความเชื่อมั่นของคุณนั้นแคบเกินไป)

— StasK
แหล่งที่มา

1

(+1) ฉันชอบความหมายในการเปิดย่อหน้าที่สามการถดถอยเชิงเส้นนั้นทำกับตัวอย่างอนันต์ (ไม่ใช่ - "จำกัด ")!

— whuber

@whuber: :) ในหนังสือของฉันถ้ามันเป็นเรื่องปกติมันจะต้องอาศัย CLT หรือสิ่งที่ไม่มีอาการ มิฉะนั้นก็จะทำให้ความรู้สึกมากเท่านี้

— StasK

6

ฉันชอบการเป็นตัวแทนของการกระจายตัวของนักเรียนเป็นส่วนผสมของการแจกแจงแบบปกติและการแจกแจงแกมม่า:

S เสื้อ ยู d อี n เสื้อ (x | μ, σ^{2}, ν) = \int_{0}^{\infty} ยังไม่มีข้อความ โอ R ม. a ล. (x | μ, \frac{σ^{2}}{ρ}) G a ม. ม. a (ρ | \frac{ν}{2}, \frac{ν}{2}) d ρ

$Student(x|\mu,\sigma^2,\nu)=\int_{0}^{\infty}Normal\left(x|\mu,\frac{\sigma^2}{\rho}\right)Gamma\left(\rho|\frac{\nu}{2},\frac{\nu}{2}\right)d\rho$

โปรดทราบว่าค่าเฉลี่ยของการแจกแจงแกมม่าคือและความแปรปรวนของการแจกแจงนี้คือ $E[\rho|\nu]=1$ νดังนั้นเราสามารถดูการแจกแจงแบบ t เป็นการสรุปสมมติฐานความแปรปรวนแบบคงที่กับสมมติฐานความแปรปรวน "ที่คล้ายกัน" โดยพื้นฐานแล้วควบคุมว่าเราอนุญาตให้มีความแปรปรวนได้อย่างไร นอกจากนี้คุณยังเห็นว่านี่เป็นการถดถอยแบบ "สุ่มถ่วงน้ำหนัก" เพื่อให้เราสามารถใช้อินทิกรัลด้านบนเป็นการแสดง "ตัวแปรที่ซ่อนอยู่" ดังนี้: $V[\rho|\nu]=\frac{2}{\nu}$ $\nu$

Y_{ผม} = μ_{ผม} + \frac{{อี}_{ผม}}{\sqrt{ρ_{ผม}}}

$y_i=\mu_i+\frac{e_i}{\sqrt{\rho_i}}$

โดยที่และ $e_i\sim N(0,\sigma^2)$ ตัวแปรทั้งหมดเป็นอิสระ อันที่จริงนี่เป็นเพียงนิยามของการแจกแจงแบบ t ขณะที่ $\rho_i\sim Gamma\left(\frac{\nu}{2},\frac{\nu}{2}\right)$ $Gamma\left(\frac{\nu}{2},\frac{\nu}{2}\right)\sim \frac{1}{\nu}\chi^2_\nu$

$y_i-\mu_i$ $\sigma^2$ $\rho_i$ $\sigma^2$ $\rho_i$ $\rho_i$ $\mu_i=x_i^T\beta$ $\rho_i$ $\rho_i$

\hat{β} = (\underset{ผม}{Σ} ρ_{ผม} x_{ผม} x_{ผม}^{T})^{- 1} (\underset{ผม}{Σ} ρ_{ผม} x_{ผม} Y_{ผม})

$\hat{\beta}=(\sum_i\rho_ix_ix_i^T)^{-1}(\sum_i\rho_ix_iy_i)$

$\rho_i$ $\rho_i$

โปรดทราบว่าไม่มี "กฎ" สำหรับการตัดสินใจสิ่งเหล่านี้แม้ว่าการตอบสนองของฉันและผู้อื่นต่อคำถามนี้อาจเป็นประโยชน์สำหรับการค้นหาการทดสอบบางอย่างที่คุณสามารถทำได้ตามเส้นทางการแปรปรวนอัน จำกัด (นักเรียน t คือความแปรปรวนอนันต์สำหรับองศาอิสระน้อยกว่าหรือเท่ากับ ถึงสอง)

— probabilityislogic
แหล่งที่มา

+1: สิ่งนี้ดูถูกต้อง แต่ฉันไม่คิดว่าคุณควรพูดว่ามีส่วนผสมของการกระจายตัวแบบปกติกับการกระจายแกมม่า แต่เป็นการกระจายตัวแบบแกมมา - ปกติและกระตุ้นการสร้างนี้โดยบอกว่าการกระจายแกมมาแบบปกติคือ คอนจูเกตก่อนการแจกแจงแบบปกติ (parametrized โดยค่าเฉลี่ยและความแม่นยำ)

— Neil G

ใช่ประเด็นเกี่ยวกับส่วนผสม - แม้ว่าฉันไม่สามารถคิดวิธีที่ไม่ซุ่มซ่ามในการแก้ไขได้ในขณะนี้ โปรดทราบว่ารูปแบบนี้ไม่ซ้ำกันเพื่อเชื่อมต่อคอนจูเกต - ตัวอย่างเช่นหากเราแทนที่ gamma pdf ด้วย pdf exponential แบบกลับด้านเราจะได้การแจกแจงแบบ Laplace สิ่งนี้นำไปสู่ "การเบี่ยงเบนสัมบูรณ์อย่างน้อยที่สุด" แทนที่จะเป็นกำลังสองน้อยที่สุดเป็นรูปแบบหนึ่งของการทำให้การแจกแจงปกติมีความแข็งแกร่ง การแจกแจงอื่น ๆ จะนำไปสู่ "การทำให้สมบูรณ์" อื่น ๆ - บางทีอาจจะไม่เชิงวิเคราะห์เท่าที่นักเรียนทำ

— ความน่าจะเป็นทางการที่

\frac{X}{\sqrt{(U / ν)}}

${\frac {X}{\sqrt {(U/\nu )}}}$