การคำนวณช่วงความมั่นใจสำหรับการถดถอยโลจิสติก

ฉันใช้การถดถอยโลจิสติกแบบทวินามเพื่อระบุว่าการสัมผัสhas_xหรือhas_yส่งผลกระทบต่อโอกาสที่ผู้ใช้จะคลิกบนบางสิ่ง โมเดลของฉันมีดังต่อไปนี้:

fit = glm(formula = has_clicked ~ has_x + has_y, 
          data=df, 
          family = binomial())

นี่คือผลลัพธ์จากรุ่นของฉัน:

Call:
glm(formula = has_clicked ~ has_x + has_y, 
    family = binomial(), data = active_domains)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-0.9869  -0.9719  -0.9500   1.3979   1.4233  

Coefficients:
                      Estimate Std. Error z value Pr(>|z|)    
(Intercept)          -0.504737   0.008847 -57.050  < 2e-16 ***
has_xTRUE -0.056986   0.010201  -5.586 2.32e-08 ***
has_yTRUE  0.038579   0.010202   3.781 0.000156 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for binomial family taken to be 1)

    Null deviance: 217119  on 164182  degrees of freedom
Residual deviance: 217074  on 164180  degrees of freedom
AIC: 217080

Number of Fisher Scoring iterations: 4

เนื่องจากสัมประสิทธิ์แต่ละอย่างมีความสำคัญการใช้แบบจำลองนี้ฉันสามารถบอกได้ว่ามูลค่าของชุดค่าผสมใด ๆ เหล่านี้ใช้วิธีการต่อไปนี้:

predict(fit, data.frame(has_x = T, has_y=T), type = "response")

ฉันไม่เข้าใจว่าฉันสามารถรายงานเกี่ยวกับ Std ได้อย่างไร ข้อผิดพลาดของการทำนาย

1. ฉันต้องใช้หรือไม่ หรือฉันต้องการแปลง S Eโดยใช้วิธีการที่อธิบายไว้ที่นี่ ?$1.96*SE$$SE$

2. หากฉันต้องการเข้าใจข้อผิดพลาดมาตรฐานสำหรับตัวแปรทั้งสองฉันจะพิจารณาได้อย่างไร

ต่างจากคำถามนี้ฉันสนใจที่จะเข้าใจว่าข้อผิดพลาดส่วนบนและล่างเป็นเปอร์เซ็นต์ ยกตัวอย่างเช่นการแสดงการคาดการณ์ของฉันมีค่า 37% สำหรับTrue,Trueผมสามารถคำนวณได้ว่านี่คือสำหรับ95 % C ฉัน ? (เลือก 0.3% เพื่ออธิบายจุดของฉัน)$+/- 0.3%$$95\% CI$

คำถามของคุณอาจมาจากข้อเท็จจริงที่ว่าคุณกำลังเผชิญกับอัตราต่อรองและความน่าจะเป็นที่น่าสับสนในตอนแรก ตั้งแต่รูปแบบโลจิสติกคือการเปลี่ยนแปลงที่ไม่ใช่เชิงเส้นของคำนวณช่วงความเชื่อมั่นไม่เป็นที่ตรงไปตรงมา$\beta^Tx$

พื้นหลัง

จำได้ว่าสำหรับรูปแบบการถดถอยโลจิสติก

• ความน่าจะเป็นของ : p = e α + β 1 x 1 + β 2 x $(Y = 1)$$p = \frac{e^{\alpha + \beta_1x_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_2 x_2}}$

• $(Y = 1)$$\left( \frac{p}{1-p}\right) = e^{\alpha + \beta_1x_1 + \beta_2 x_2}$

• $(Y = 1)$$\log \left( \frac{p}{1-p}\right) = \alpha + \beta_1x_1 + \beta_2 x_2$

$x_1$$x_1 + 1$

$$\text{Odds}(Y = 1) = e^{\alpha + \beta_1(x_1 + 1) + \beta_2x_2} = e^{\alpha + \beta_1 x_1 + \beta_1 + \beta_2x_2 }$$

• ดังนั้นอัตราต่อรอง (OR)จึงเป็นเช่นนั้น

$$\frac{\text{Odds}(x_1 + 1)}{\text{Odds}(x_1)} = \frac{e^{\alpha + \beta_1(x_1 + 1) + \beta_2x_2} }{e^{\alpha + \beta_1 x_1 + \beta_2x_2}} = e^{\beta_1}$$

• $\beta_1$

• $\frac{ \frac{e^{\alpha + \beta_1x_1 + \beta_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_1 + \beta_2 x_2}}}{ \frac{e^{\alpha + \beta_1x_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_2 x_2}}}$

การตีความค่าสัมประสิทธิ์

$\beta_j$

• $x_j$$\beta_j$
• $x_j$$e^{\beta_j}$
• $x_j$$k$$k + \Delta$$e^{\beta_j \Delta}$
• $x_j$

$\beta_j$

$1.96∗SE$

$\beta_j$

$$\beta_j \pm z^* SE(\beta_j)$$

$$e^{\beta_j \pm z^* SE(\beta_j)}$$

ซึ่งเป็นช่วงความมั่นใจในอัตราต่อรอง โปรดทราบว่าช่วงเวลาเหล่านี้ใช้สำหรับพารามิเตอร์เดียวเท่านั้น

หากฉันต้องการเข้าใจข้อผิดพลาดมาตรฐานสำหรับตัวแปรทั้งสองฉันจะพิจารณาได้อย่างไร

หากคุณมีหลายพารามิเตอร์คุณสามารถใช้ขั้นตอน Bonferroni มิฉะนั้นสำหรับพารามิเตอร์ทั้งหมดคุณสามารถใช้ช่วงความเชื่อมั่นสำหรับการประมาณความน่าจะเป็น

ขั้นตอน Bonferroni สำหรับพารามิเตอร์หลายตัว

$g$$1 - \alpha$

$$\beta_g \pm z_{(1 - \frac{\alpha}{2g})}SE(\beta_g)$$

ช่วงความเชื่อมั่นสำหรับการประมาณความน่าจะเป็น

แบบจำลองลอจิสติกแสดงผลลัพธ์การประมาณความน่าจะเป็นของการสังเกตการณ์หนึ่งและเรามุ่งมั่นที่จะสร้างช่วงเวลาความถี่รอบความน่าจะเป็นจริง $p$$Pr(p_{L} \leq p \leq p_{U}) = .95$

วิธีการหนึ่งที่เรียกว่าการแปลงจุดปลายทำสิ่งต่อไปนี้:

• $x^T\beta$
• $F(x^T\beta)$

$Pr(x^T\beta) = F(x^T\beta)$$x^T\beta$

$$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$$

$\beta^Tx \pm z^* SE(\beta^Tx)$

$$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$$

$x^T\beta$

$$Var(x^T\beta) = x^T \Sigma x$$

$(0,1)$

มีวิธีการอื่น ๆ อีกมากมายเช่นกันโดยใช้วิธีการเดลต้า bootstrapping ฯลฯ ซึ่งแต่ละคนมีสมมติฐานข้อดีและข้อ จำกัด ของตัวเอง

---

แหล่งที่มาและข้อมูล

หนังสือเล่มโปรดของฉันในหัวข้อนี้คือ"Applied Linear Statistics Models"โดย Kutner, Neter, Li, บทที่ 14

มิฉะนั้นนี่คือแหล่งข้อมูลออนไลน์บางส่วน:

• https://mheaton.byu.edu/Courses/Stat330/InClassAnalyses/8%20-%20Tennis/LectureNotes/LogisticRegression.pdf
• วางแผนช่วงความมั่นใจสำหรับความน่าจะเป็นที่คาดการณ์ไว้จากการถดถอยโลจิสติก
• /programming/47414842/confidence-interval-of-probability-prediction-from-logistic-regression-statsmode
• http://www.indiana.edu/~jslsoc/stata/ci_computations/xulong-prvalue-23aug2005.pdf
• http://courses.education.illinois.edu/EdPsy589/lectures/5logreg_beamer-online.pdf

ในการรับช่วงความมั่นใจ 95% ของการทำนายคุณสามารถคำนวณในระดับ logit แล้วแปลงกลับเป็นระดับความน่าจะเป็น 0-1 นี่คือตัวอย่างการใช้ชุดข้อมูลไททานิค

library(titanic)
data("titanic_train")

titanic_train$Pclass = factor(titanic_train$Pclass, levels = c(1,2,3), labels = c('First','Second','Third'))

fit = glm(Survived ~ Sex + Pclass, data=titanic_train, family = binomial())

inverse_logit = function(x){
  exp(x)/(1+exp(x))
}

predicted = predict(fit, data.frame(Sex='male', Pclass='First'), type='link', se.fit=TRUE)

se_high = inverse_logit(predicted$fit + (predicted$se.fit*1.96))
se_low = inverse_logit(predicted$fit - (predicted$se.fit*1.96))
expected = inverse_logit(predicted$fit)

ค่าเฉลี่ยและต่ำ / สูง 95% CI

> expected
        1 
0.4146556 
> se_high
        1 
0.4960988 
> se_low
        1 
0.3376243 

และผลลัพธ์จากการใช้type='response'งานเพียงอย่างเดียวซึ่งให้ค่าเฉลี่ยเท่านั้น

predict(fit, data.frame(Sex='male', Pclass='First'), type='response')
        1 
0.4146556