การกระจายตัวของค่าสัมประสิทธิ์การถดถอย

สมมติว่าเรามีโมเดลเชิงเส้น $y_i = \beta_0 + \beta_1 x_i + \epsilon_i$ ที่ตรงตามสมมติฐานการถดถอยมาตรฐาน (Gauss-Markov) ทั้งหมด เราสนใจ $\theta = 1/\beta_1$ .

คำถามที่ 1:ข้อสมมติฐานอะไรที่จำเป็นสำหรับการแจกแจง $\hat{\theta}$ ที่จะกำหนดไว้อย่างดี? $\beta_1 \neq 0$ จะมีความสำคัญ --- คนอื่น ๆ ?

คำถามที่ 2:เพิ่มการสันนิษฐานว่าข้อผิดพลาดเป็นไปตามการแจกแจงแบบปกติ เรารู้ว่าถ้า $\hat{\beta}_1$ คือ MLE และ $g(\cdot)$ เป็นฟังก์ชั่นโมโนโทน $g\left(\hat{\beta}_1\right)$ เป็น MLE สำหรับ $g(\beta_1)$ . เป็นสิ่งที่จำเป็นต้องมีเพียงอย่างเดียวในพื้นที่ใกล้เคียงของ $\beta_1$ ? ในคำอื่น ๆ คือ $\hat{\theta} = 1/\hat{\beta}$ MLE ทฤษฎีการทำแผนที่แบบต่อเนื่องอย่างน้อยบอกเราว่าพารามิเตอร์นี้สอดคล้องกัน

คำถามที่ 3: มีทั้งวิธี Delta และ bootstrap ทั้งสองวิธีที่เหมาะสมสำหรับการค้นหาการกระจายของ $\hat{\theta}$ ?

คำถามที่ 4:คำตอบเหล่านี้เปลี่ยนแปลงสำหรับพารามิเตอร์อย่างไร $\gamma = \beta_0 / \beta_1$ ?

นอกเหนือ:เราอาจพิจารณาจัดเรียงปัญหาที่จะให้ใหม่

\begin{aligned} x_{i} & = \frac{β_{0}}{β_{1}} + \frac{1}{β_{1}} y_{i} + \frac{1}{β_{1}} ϵ_{i} \\ = γ + θ y_{i} + \frac{1}{β_{1}} ϵ_{i} \end{aligned}

$\begin{align*} x_i &= \frac{\beta_0}{\beta_1} + \frac{1}{\beta_1} y_i + \frac{1}{\beta_1} \epsilon_i \\ &= \gamma + \theta y_i + \frac{1}{\beta_1} \epsilon_i \end{align*}$ เพื่อประมาณค่าพารามิเตอร์โดยตรง สิ่งนี้ดูเหมือนจะไม่ได้ผลสำหรับฉันเนื่องจากสมมติฐานของ Gauss-Markov ไม่สมเหตุสมผลอีกต่อไป เราไม่สามารถพูดคุยเกี่ยวกับ

E [ϵ ∣ y]

$\text{E}[\epsilon \mid y]$ , ตัวอย่างเช่น. การตีความนี้ถูกต้องหรือไม่

— ชาร์ลี
แหล่งที่มา

ทำสมมติฐาน "มาตรฐาน" รวมถึงความปกติของ

ϵ_{i}

$\epsilon_i$ หรือไม่?

— whuber

จุดดี; ฉันเพิ่มข้อสันนิษฐานนั้นให้กับส่วนที่เกี่ยวกับ MLE ไม่ควรจำเป็นสำหรับคนอื่น ๆ

— Charlie

การกระจายตัวตัวอย่างของ

β_{1}

$\beta_1$ เป็นเรื่องปกติ

θ

$\theta$ เป็นส่วนกลับของค่าปกติ นี่คือbimodal ที่มีค่าเฉลี่ยแตกต่างกัน (ไม่ จำกัด ) ไม่ว่าค่าเฉลี่ยของอะไร

β_{1}

$\beta_1$ อาจจะเป็นและแบนไม่สิ้นสุดที่ 0 วิธีเดลต้าจะน่ากลัวการประมาณค่า MLE แบบ asymptotic โดยทั่วไปจะไม่ดีและแม้แต่บูตสแตรปอาจต้องสงสัย

— whuber

@whuber คุณสามารถขยายได้หรือไม่ ปรีชาญาณของฉันไม่เห็นว่าการตอบแทนตามปกติควรเป็นอย่างไร ฉันเดาว่าคงเป็นที่ว่ามวลทั้งหมดจะอยู่ที่ส่วนกลับของค่าเฉลี่ยปกติ (ตรงนี้

1 / {\hat{β}}_{1}

$1/\hat{\beta}_1$ ) ฉันกังวลเกี่ยวกับความเป็นไปได้ของค่าเฉลี่ยอนันต์เนื่องจากมวลที่อยู่ใกล้ 0 ผลลัพธ์ของ bootstrap และ asymptotic ต้องมีอยู่ในช่วงเวลาที่ถูกประเมินดังนั้นท้ายที่สุดสิ่งที่คำถามนี้ขึ้น

— Charlie

PDF ของค่าปกติซึ่งกันและกันคือ

\exp (- (1 / x - μ)^{2} / (2 σ^{2})) / (\sqrt{2 π} x^{2} σ) d x

$\exp(-(1/x-\mu)^2/(2\sigma^2))/(\sqrt{2\pi}x^2\sigma)dx$ . ที่ 0 อนุพันธ์ทั้งหมดเท่ากับ 0; การหาจุดวิกฤติของลอการิทึมระบุโหมดบวกและลบ (คำนวณได้ง่ายในแง่ของ

σ

$\sigma$ และ

μ / σ

$\mu/\sigma$ ); อินทิกรัลของ

| x |

$|x|$ diverges เหมือนอินทิกรัลของ

| x | / x^{2} = 1 / | x |

$|x|/x^2=1/|x|$ . ปัญหาของช่วงเวลาแรกที่ไม่มีที่สิ้นสุดจะแนบไปกับส่วนกลับของตัวแปรสุ่มใด ๆ ที่มีความหนาแน่นของความน่าจะเป็นบวกที่ 0 ซึ่งรวมถึงบรรทัดฐานทั้งหมด

— whuber

ไตรมาสที่ 1 ถ้า $\hat\beta_1$ คือ MLE ของ $\beta_1$ จากนั้น $\hat\theta$ คือ MLE ของ $\theta$ และ $\beta_1 \neq 0$ เป็นเงื่อนไขที่เพียงพอสำหรับตัวประมาณนี้ที่จะถูกกำหนดอย่างดี

ไตรมาสที่ 2 $\hat\theta = 1/\hat\beta$ คือ MLE ของ $\theta$ โดยคุณสมบัติ invariance ของ MLE นอกจากนี้คุณไม่จำเป็นต้องมีการพูดซ้ำซากของ $g$ หากคุณไม่จำเป็นต้องได้รับอินเวอร์ส มีความต้องการเท่านั้น $g$ จะถูกกำหนดอย่างดีในแต่ละจุด คุณสามารถตรวจสอบได้ในทฤษฎีบท 7.2.1 หน้า 350ของ "ความน่าจะเป็นและการอนุมานเชิงสถิติ" โดย Nitis Mukhopadhyay

ไตรมาสที่ 3 ใช่คุณสามารถใช้ทั้งสองวิธีฉันจะตรวจสอบความน่าจะเป็นของโปรไฟล์ด้วย $\theta$ .

ไตรมาสที่ 4 ที่นี่คุณสามารถแก้ไขพารามิเตอร์ของโมเดลในแง่ของพารามิเตอร์ที่น่าสนใจ $(\theta,\gamma)$ . ตัวอย่างเช่น MLE ของ $\gamma$ คือ $\hat\gamma=\hat\beta_0/\hat\beta_1$ และคุณสามารถคำนวณความน่าจะเป็นของโปรไฟล์ของพารามิเตอร์นี้หรือการกระจาย bootstrap ได้ตามปกติ

วิธีการที่คุณกล่าวถึงในตอนท้ายนั้นไม่ถูกต้องคุณกำลังพิจารณา "แบบจำลองการสอบเทียบ" ซึ่งคุณสามารถตรวจสอบได้ในเอกสารประกอบ สิ่งเดียวที่คุณต้องการคือการแก้ไขพารามิเตอร์ในแง่ของพารามิเตอร์ที่น่าสนใจ

ฉันหวังว่านี่จะช่วยได้.

ขอแสดงความนับถือ.

— XMX
แหล่งที่มา

ขอบคุณสำหรับคำตอบ ฉันไม่มีหนังสือที่คุณอ้างถึง แต่บ่อยครั้งที่คุณสมบัติเหล่านี้ต้องการการมีอยู่ของช่วงเวลาที่ประมาณไว้ ฉันไม่แน่ใจว่าการกลับเป็นปกติมีช่วงเวลาที่จำเป็น ฉันควรทำให้ประเด็นนี้ชัดเจนยิ่งขึ้นในคำถามของฉัน

— Charlie