12

ฉันกำลังศึกษาวิธีสร้างช่วงความมั่นใจ 95% สำหรับอัตราส่วนอัตราต่อรองจากค่าสัมประสิทธิ์ที่ได้จากการถดถอยโลจิสติก ดังนั้นเมื่อพิจารณาถึงรูปแบบการถดถอยโลจิสติก

\log (\frac{p}{1 - p}) = α + β x

$\log\left(\frac{p}{1 - p}\right) = \alpha + \beta x \newcommand{\var}{\rm Var} \newcommand{\se}{\rm SE}$

เช่นนั้น $x = 0$ สำหรับกลุ่มควบคุมและ $x = 1$ สำหรับกลุ่มเคส

ฉันได้อ่านแล้วว่าวิธีที่ง่ายที่สุดคือการสร้าง 95% CI สำหรับ $\beta$ จากนั้นเราก็ใช้ฟังก์ชั่นเลขชี้กำลังนั่นคือ

\hat{β} \pm 1.96 \times S E (\hat{β}) \to \exp {\hat{β} \pm 1.96 \times S E (\hat{β})}

$\hat{\beta} \pm 1.96\times \se(\hat{\beta}) \rightarrow \exp\{\hat{\beta} \pm 1.96\times \se(\hat{\beta})\}$

คำถามของฉันคือ:

อะไรคือเหตุผลทางทฤษฎีที่แสดงให้เห็นถึงขั้นตอนนี้? ฉันรู้ว่า $\mbox{odds ratio} = \exp\{\beta\}$ และตัวประมาณความน่าจะเป็นสูงสุดไม่เปลี่ยนแปลง อย่างไรก็ตามฉันไม่รู้จักการเชื่อมต่อระหว่างองค์ประกอบเหล่านี้
วิธีการเดลต้าควรสร้างช่วงความมั่นใจ 95% เช่นเดียวกับขั้นตอนก่อนหน้านี้หรือไม่ ใช้วิธีการเดลต้า

$\exp {\hat{β}} \dot{\sim} N (β, \exp {β}^{2} V a r (\hat{β}))$ $\exp\{\hat{\beta}\} \dot{\sim} N(\beta,\ \exp\{\beta\}^2 \var(\hat{\beta}))$
จากนั้น

$\exp {\hat{β}} \pm 1.96 \times \sqrt{\exp {β}^{2} V a r (\hat{β})}$ $\exp\{\hat{\beta}\} \pm 1.96\times \sqrt{\exp\{\beta\}^2 \var(\hat{\beta})}$
ถ้าไม่ใช่วิธีไหนดีที่สุด?

— Márcio Augusto Diniz
แหล่งที่มา

1

ฉันชอบ bootstrap สำหรับ CI เช่นกันถ้าฉันมีค่าพารามิเตอร์หรือข้อมูลการฝึกอบรมที่มีขนาดเพียงพอ

— EngrStudent

2

มีวิธีที่ดีกว่าในการทำเช่นนี้ดูstats.stackexchange.com/questions/5304/…สำหรับรายละเอียด

— mdewey

7

เหตุผลสำหรับขั้นตอนนี้คือมาตรฐานเชิงเส้นกำกับของ MLE สำหรับและเป็นผลมาจากข้อโต้แย้งที่เกี่ยวข้องกับทฤษฎีขีด จำกัด กลาง $\beta$
วิธีเดลต้ามาจากการขยายตัวแบบเชิงเส้น (เช่นลำดับแรกเทย์เลอร์) ของฟังก์ชันรอบ MLE ต่อจากนั้นเราก็ขอความสนใจไปที่มาตรฐานเชิงเส้นกำกับและความเป็นกลางของ MLE

Asymptotically ทั้งคู่ให้คำตอบเดียวกัน แต่ในทางปฏิบัติคุณจะชอบคนที่ดูปกติมากกว่า ในตัวอย่างนี้ฉันจะชอบคนแรกเพราะหลังมีแนวโน้มที่จะมีความสมมาตรน้อย

— อาเมียร์
แหล่งที่มา

3

การเปรียบเทียบวิธีช่วงความเชื่อมั่นในตัวอย่างจาก ISL

หนังสือ"รู้เบื้องต้นเกี่ยวกับการเรียนรู้เชิงสถิติ"โดย Tibshirani, James, Hastie ให้ตัวอย่างในหน้า 267 ของช่วงความเชื่อมั่นสำหรับการถดถอยพหุนามโลจิสติกระดับ 4 กับข้อมูลค่าจ้าง การอ้างอิงหนังสือ:

เราสร้างแบบจำลองเหตุการณ์ไบนารีโดยใช้การถดถอยโลจิสติกกับพหุนามดีกรี 4 ความน่าจะเป็นด้านหลังติดตั้งของค่าจ้างเกิน $ 250,000 จะแสดงเป็นสีฟ้าพร้อมกับช่วงความเชื่อมั่น 95% โดยประมาณ $wage>250$

ด้านล่างเป็นบทสรุปอย่างรวดเร็วของสองวิธีในการสร้างช่วงเวลาเช่นเดียวกับความคิดเห็นเกี่ยวกับวิธีการใช้งานตั้งแต่เริ่มต้น

ช่วงการแปลง Wald / Endpoint

คำนวณขอบเขตบนและช่วงล่างของช่วงความเชื่อมั่นสำหรับการผสมเชิงเส้น (โดยใช้ Wald CI) $x^T\beta$
ใช้การแปลงแบบโมโนโทนิกกับจุดสิ้นสุดเพื่อรับความน่าจะเป็น $F(x^T\beta)$

เนื่องจากเป็นการเปลี่ยนแปลงแบบโมโนโทนิคของ $Pr(x^T\beta) = F(x^T\beta)$ $x^T\beta$

[P r (x^{T} β)_{L} \leq P r (x^{T} β) \leq P r (x^{T} β)_{U}] = [F (x^{T} β)_{L} \leq F (x^{T} β) \leq F (x^{T} β)_{U}]

$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$

นี่แปลว่าการคำนวณจากนั้นใช้การแปลง logit เป็นผลลัพธ์เพื่อให้ได้ขอบเขตที่ต่ำและสูง: $\beta^Tx \pm z^* SE(\beta^Tx)$

[\frac{e^{x^{T} β - z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β - z^{*} S E (x^{T} β)}}, \frac{e^{x^{T} β + z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β + z^{*} S E (x^{T} β)}},]

$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$

การคำนวณข้อผิดพลาดมาตรฐาน

ทฤษฎีความน่าจะเป็นสูงสุดบอกเราว่าความแปรปรวนโดยประมาณของสามารถคำนวณได้โดยใช้เมทริกซ์ความแปรปรวนร่วมของสัมประสิทธิ์การถดถอยโดยใช้ $x^T\beta$ $\Sigma$

V a r (x^{T} β) = x^{T} Σ x

$Var(x^T\beta) = x^T \Sigma x$

กำหนดเมทริกซ์การออกแบบและเมทริกซ์เป็น $X$ $V$

X = [\begin{matrix} 1 & x_{1, 1} & \dots & x_{1, p} \\ 1 & x_{2, 1} & \dots & x_{2, p} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n, 1} & \dots & x_{n, p} \end{matrix}] V = [\begin{matrix} {\hat{π}}_{1} (1 - {\hat{π}}_{1}) & 0 & \dots & 0 \\ 0 & {\hat{π}}_{2} (1 - {\hat{π}}_{2}) & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & {\hat{π}}_{n} (1 - {\hat{π}}_{n}) \end{matrix}]

$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix} \ \ \ \ \textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$

ที่เป็นค่าของ TH ตัวแปรสำหรับสังเกต TH และ หมายถึงความน่าจะเป็นที่คาดการณ์สำหรับการสังเกตฉัน $x_{i,j}$ $j$ $i$ $\hat{\pi}_{i}$ $i$

เมทริกซ์ความแปรปรวนร่วมนั้นสามารถพบได้เป็น: และข้อผิดพลาดมาตรฐานเป็น $\Sigma = \textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$ $SE(x^T\beta) = \sqrt{Var(x^T\beta)}$

ช่วงความเชื่อมั่น 95% สำหรับความน่าจะเป็นที่คาดการณ์นั้นจะสามารถจัดทำ

ช่วงความเชื่อมั่นของวิธีเดลต้า

วิธีการคือการคำนวณความแปรปรวนของการประมาณเชิงเส้นของฟังก์ชันและใช้สิ่งนี้เพื่อสร้างช่วงความเชื่อมั่นตัวอย่างขนาดใหญ่ $F$

Var [F (x^{T} \hat{β})] \approx \nabla F^{T} Σ \nabla F

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx \nabla F^T \ \Sigma \ \nabla F$

โดยที่คือ gradient และเมทริกซ์ความแปรปรวนร่วมประมาณ โปรดทราบว่าในมิติเดียว: $\nabla$ $\Sigma$

\frac{\partial F (x β)}{\partial β} = \frac{\partial F (x β)}{\partial x β} \frac{\partial x β}{\partial β} = x f (x β)

$\frac{\partial F(x\beta)}{\partial \beta} = \frac{\partial F(x\beta)}{\partial x\beta} \frac{\partial x\beta}{\partial \beta} = x f(x\beta)$

ที่ไหนเป็นอนุพันธ์ของFเรื่องนี้สรุปในกรณีหลายตัวแปร $f$ $F$

Var [F (x^{T} \hat{β})] \approx f^{T} x^{T} Σ x f

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx f^T \ \mathbf{x^T} \ \Sigma \ \mathbf{x} \ f$

ในกรณีของเรา F คือฟังก์ชันลอจิสติก (ซึ่งเราจะแทน ) ซึ่งอนุพันธ์คือ $\pi(x^T\beta)$

π^{'} (x^{T} β) = π (x^{T} β) (1 - π (x^{T} β))

$\pi'(x^T\beta) = \pi (x^T\beta) (1 - \pi (x^T\beta) )$

ตอนนี้เราสามารถสร้างช่วงความมั่นใจโดยใช้ความแปรปรวนที่คำนวณข้างต้น

C . I . = [P r (x \hat{β}) - z^{*} \sqrt{Var [π (x \hat{β})]} \leq P r (x \hat{β}) + z^{*} \sqrt{Var [π (x \hat{β})]}]

$C.I. = [Pr(x\hat \beta) - z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} \leq Pr(x\hat \beta) + z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} ]$

ในรูปแบบเวกเตอร์สำหรับกรณีหลายตัวแปร

C . I . = [π (x^{T} \hat{β}) \pm z^{*} \sqrt{{(π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β})))}^{T} x^{T} Var [\hat{β}] x π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β}))]}

$C.I. = \mathbf{[\pi(x^T\hat \beta) \pm z^* \sqrt{ \left(\pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) \right)^T x^T \ \ \text{Var}[ \hat \beta] \ \ x \ \ \pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) ]}}$

โปรดสังเกตว่าแทนจุดข้อมูลเดียวในนั่นคือแถวเดียวของเมทริกซ์การออกแบบ $\mathbf{x}$ $\mathbb{R}^{p+1}$ $X$

บทสรุปที่สิ้นสุดลงแล้ว

ดูที่แผนการ QQ ปกติสำหรับทั้งความน่าจะเป็นและอัตราต่อรองบันทึกเชิงลบแสดงว่าไม่มีการกระจายตามปกติ สิ่งนี้สามารถอธิบายความแตกต่างได้หรือไม่?

ที่มา:

— Xavier Bourret Sicotte
แหล่งที่มา

1

เพื่อจุดประสงค์ส่วนใหญ่วิธีที่ง่ายที่สุดน่าจะดีที่สุดดังที่กล่าวไว้ในบริบทของการแปลงบันทึกในหน้านี้ คิดเกี่ยวกับตัวแปรตามที่วิเคราะห์ในสเกล logit ด้วยการทดสอบทางสถิติที่ดำเนินการและช่วงความมั่นใจ (CI) ที่กำหนดในสเกล logit นั้น การแปลงกลับไปสู่อัตราต่อรองเป็นเพียงการใส่ผลลัพธ์เหล่านั้นในระดับที่ผู้อ่านอาจเข้าใจได้ง่ายขึ้น ยกตัวอย่างเช่นในการวิเคราะห์การรอดชีวิตของคอคส์ซึ่งค่าสัมประสิทธิ์การถดถอย (และ 95% CI) ได้รับการยกตัวอย่างเพื่อให้ได้อัตราส่วนความเป็นอันตรายและ CI ของพวกเขา

— EDM
แหล่งที่มา

วิธีต่างๆในการสร้างช่วงความมั่นใจสำหรับอัตราต่อรองจากการถดถอยโลจิสติก

การเปรียบเทียบวิธีช่วงความเชื่อมั่นในตัวอย่างจาก ISL

ช่วงการแปลง Wald / Endpoint

การคำนวณข้อผิดพลาดมาตรฐาน

ช่วงความเชื่อมั่นของวิธีเดลต้า

บทสรุปที่สิ้นสุดลงแล้ว