อคติของตัวประมาณความน่าจะเป็นสูงสุดสำหรับการถดถอยโลจิสติก

ฉันต้องการที่จะเข้าใจข้อเท็จจริงบางประการเกี่ยวกับตัวประมาณความน่าจะเป็นสูงสุด (MLEs) สำหรับการถดถอยโลจิสติก

โดยทั่วไป MLE สำหรับการถดถอยโลจิสติกนั้นมีอคติหรือไม่? ฉันจะพูดว่า "ใช่" ตัวอย่างเช่นฉันรู้ว่ามิติของตัวอย่างนั้นเกี่ยวข้องกับอคติของ MLEs

คุณรู้ตัวอย่างเบื้องต้นของปรากฏการณ์นี้หรือไม่?
ถ้า MLE นั้นเอนเอียงเป็นจริงหรือไม่ที่เมทริกซ์ความแปรปรวนร่วมของ MLEs เป็นค่าผกผันของ Hessian ของฟังก์ชันความน่าจะเป็นสูงสุด?

แก้ไข : ฉันได้พบสูตรนี้ค่อนข้างบ่อยและไม่มีหลักฐานใด ๆ ; ดูเหมือนจะเป็นทางเลือกที่ค่อนข้างอิสระสำหรับฉัน

พิจารณาแบบจำลองการถดถอยแบบโลจิสติกไบนารี่อย่างง่ายโดยใช้ตัวแปรขึ้นอยู่กับไบนารีและมีค่าคงที่และไบนารีถดถอยเท่านั้น โดยที่คือโลจิสติก cdf,1} $T$

Pr (Y_{i} = 1 ∣ T_{i} = 1) = Λ (α + β T_{i})

$\Pr(Y_i=1\mid T_i=1) = \Lambda (\alpha + \beta T_i)$

Λ

$\Lambda$

Λ (u) = {[1 + \exp {- u}]}^{- 1}

$\Lambda(u) = \left[1+\exp\{-u\}\right]^{-1}$

ในรูปแบบ logit เรามี

\ln (\frac{Pr (Y_{i} = 1 ∣ T_{i} = 1)}{1 - Pr (Y_{i} = 1 ∣ T_{i} = 1)}) = α + β T_{i}

$\ln \left(\frac{\Pr(Y_i=1\mid T_i=1)}{1-\Pr(Y_i=1\mid T_i=1)}\right) = \alpha + \beta T_i$

คุณมีตัวอย่างที่มีขนาดnแสดงว่าจำนวนของการสังเกตที่และเหล่านั้นที่และ nพิจารณาความน่าจะเป็นตามเงื่อนไขโดยประมาณดังต่อไปนี้: $n$ $n_1$ $T_i=1$ $n_0$ $T_i=0$ $n_1+n_0=n$

\hat{Pr} (Y = 1 ∣ T = 1) \equiv {\hat{P}}_{1 | 1} = \frac{1}{n_{1}} \sum_{T_{i} = 1} y_{i}

$\hat \Pr(Y=1\mid T=1)\equiv \hat P_{1|1} = \frac 1{n_1}\sum_{T_i=1}y_i$

\hat{Pr} (Y = 1 ∣ T = 0) \equiv {\hat{P}}_{1 | 0} = \frac{1}{n_{0}} \sum_{T_{i} = 0} y_{i}

$\hat \Pr(Y=1\mid T=0)\equiv \hat P_{1|0} = \frac 1{n_0}\sum_{T_i=0}y_i$

จากนั้นแบบจำลองขั้นพื้นฐานนี้จะให้โซลูชันแบบปิดสำหรับตัวประมาณค่า ML:

\hat{α} = \ln (\frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}}), \hat{β} = \ln (\frac{{\hat{P}}_{1 | 1}}{1 - {\hat{P}}_{1 | 1}}) - \ln (\frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}})

$\hat \alpha = \ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right),\qquad \hat \beta = \ln\left(\frac{\hat P_{1|1}}{1-\hat P_{1|1}}\right)-\ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)$

BIAS

แม้ว่าและเป็นตัวประมาณค่าที่เป็นกลางของความน่าจะเป็น แต่ MLEs นั้นมีอคติเนื่องจากฟังก์ชันลอการิทึมแบบไม่เป็นเชิงเส้นได้รับมาในรูปแบบที่ซับซ้อนมากขึ้น ด้วยระดับที่ไม่ใช่เชิงเส้นที่สูงขึ้น $\hat P_{1|1}$ $\hat P_{1|0}$

แต่ความไม่เอนเอียงหายไปเนื่องจากการประมาณความน่าจะเป็นมีความสอดคล้องกัน การใส่ตัวดำเนินการโดยตรงภายในค่าที่คาดไว้และลอการิทึมเรามี $\lim$

lim_{n \to \infty} E [\hat{α}] = E [\ln (lim_{n \to \infty} \frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}})] = E [\ln (\frac{P_{1 | 0}}{1 - P_{1 | 0}})] = α

$\lim_{n\rightarrow \infty}E[\hat \alpha] = E\left[\ln\left(\lim_{n\rightarrow \infty}\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)\right] = E\left[\ln\left(\frac{P_{1|0}}{1-P_{1|0}}\right)\right] =\alpha$

และเช่นเดียวกันสำหรับ\ $\beta$

VARIANCE-COVARIANCE MATRIX OF MLE
ในกรณีง่าย ๆ ข้างต้นที่ให้นิพจน์แบบปิดสำหรับตัวประมาณค่าอย่างน้อยหนึ่งหลักการสามารถดำเนินการต่อไปและได้รับการกระจายตัวอย่างแน่นอนแบบ จำกัด แน่นอนจากนั้นคำนวณเมทริกซ์ความแปรปรวนความแปรปรวนร่วมแปรปรวนตัวอย่างที่แน่นอน . แต่โดยทั่วไป MLE ไม่มีวิธีแก้ปัญหาแบบปิด จากนั้นเราใช้การประมาณค่าที่สอดคล้องกันของเมทริกซ์ความแปรปรวน - ความแปรปรวนร่วมซึ่งเป็นจริง (ลบ) ของค่าผกผันของ Hessian ของฟังก์ชันบันทึกความน่าจะเป็นของตัวอย่างซึ่งประเมินที่ MLE และไม่มี "ทางเลือกโดยพลการ" ที่นี่เลย แต่มันเป็นผลมาจากทฤษฎี asymptotic และคุณสมบัติเชิงของเอมิลี่ (ความมั่นคงและเป็นปกติ asymptotic) ที่บอกเราว่าสำหรับ , $\theta_0 = (\alpha, \beta)$

\sqrt{n} (\hat{θ} - θ_{0}) \to_{d} N (0, - (E [H])^{- 1})

${\sqrt n}(\hat \theta-\theta_0)\rightarrow_d N\left(0, -(E[H])^{-1}\right)$

โดยที่คือ Hessian ประมาณและสำหรับ (ตัวอย่าง) จำนวนมากสิ่งนี้ทำให้เรา $H$

Var (\hat{θ}) \approx - \frac{1}{n} (E [H])^{- 1} \approx - \frac{1}{n} {(\frac{1}{n} \hat{H})}^{- 1} = - {\hat{H}}^{- 1}

$\operatorname{Var}(\hat \theta) \approx -\frac 1n(E[H])^{-1}\approx -\frac 1n\left(\frac 1n\hat H\right)^{-1}=-\hat H^{-1}$

— Alecos Papadopoulos
แหล่งที่มา