มันเหมาะสมหรือไม่ที่จะใช้ Logistic regression กับผลลัพธ์ไบนารีและตัวทำนาย

18

ฉันมีตัวแปรผลลัพธ์ไบนารี {0,1} และตัวแปรตัวทำนาย {0,1} ความคิดของฉันคือว่ามันไม่สมเหตุสมผลที่จะทำเรื่องโลจิสติกส์ยกเว้นว่าฉันรวมตัวแปรอื่น ๆ และคำนวณอัตราต่อรอง

ด้วยตัวทำนายไบนารีหนึ่งจะไม่คำนวณอัตราส่วนความน่าจะเป็นที่พอเพียงเทียบกับอัตราต่อรองหรือไม่

— keval
แหล่งที่มา

26

ในกรณีนี้คุณสามารถยุบข้อมูลของคุณเป็น โดยที่คือจำนวนอินสแตนซ์สำหรับและกับ . สมมติว่ามีสังเกตโดยรวม

\begin{array}{ccc} X ∖ Y & 0 & 1 \\ 0 & S_{00} & S_{01} \\ 1 & S_{10} & S_{11} \end{array}

$\begin{array}{c|cc} X \backslash Y & 0 & 1 \\ \hline 0 & S_{00} & S_{01} \\ 1 & S_{10} & S_{11} \end{array}$

S_{i j}

$S_{ij}$

x = i

$x = i$

y = j

$y =j$

i, j \in {0, 1}

$i,j \in \{0,1\}$

n

$n$

ถ้าเราให้พอดีกับรูปแบบ (ที่เป็นฟังก์ชั่นการเชื่อมโยงของเรา) เราจะพบว่าคือ logit ของสัดส่วนของความสำเร็จเมื่อและเป็น logit ของสัดส่วนของความสำเร็จเมื่อนั้น $p_i = g^{-1}(x_i^T \beta) = g^{-1}(\beta_0 + \beta_1 1_{x_i = 1})$ $g$ $\hat \beta_0$ $x_i = 0$ $\hat \beta_0 + \hat \beta_1$ 1 ๆ $x_i = 1$ และ

{\hat{β}}_{0} = ก. (\frac{S_{01}}{S_{00} + S_{01}})

$\hat \beta_0 = g\left(\frac{S_{01}}{S_{00} + S_{01}}\right)$

{\hat{β}}_{0} + {\hat{β}}_{1} = ก. (\frac{S_{11}}{S_{10} + S_{11}}) .

$\hat \beta_0 + \hat \beta_1 = g\left(\frac{S_{11}}{S_{10} + S_{11}}\right).$

ตรวจสอบสิ่งนี้Rกัน

n <- 54
set.seed(123)
x <- rbinom(n, 1, .4)
y <- rbinom(n, 1, .6)

tbl <- table(x=x,y=y)

mod <- glm(y ~ x, family=binomial())

# all the same at 0.5757576
binomial()$linkinv( mod$coef[1])
mean(y[x == 0])
tbl[1,2] / sum(tbl[1,])

# all the same at 0.5714286
binomial()$linkinv( mod$coef[1] + mod$coef[2])
mean(y[x == 1])
tbl[2,2] / sum(tbl[2,])

ดังนั้นสัมประสิทธิ์การถดถอยแบบโลจิสติกส์คือการแปลงสัดส่วนที่มาจากตาราง

ผลที่สุดคือเราสามารถวิเคราะห์ชุดข้อมูลนี้ได้ด้วยการถดถอยโลจิสติกถ้าเรามีข้อมูลที่มาจากชุดของตัวแปรสุ่มของเบอร์นูลลี แต่ปรากฎว่าไม่แตกต่างจากการวิเคราะห์ตารางฉุกเฉินโดยตรงที่เกิดขึ้น

ฉันต้องการแสดงความคิดเห็นว่าทำไมสิ่งนี้ถึงได้ผลในมุมมองทางทฤษฎี เมื่อเราเหมาะสมกับการถดถอยโลจิสติกเรากำลังใช้โมเดลที่ )จากนั้นเราตัดสินใจที่จะสร้างแบบจำลองค่าเฉลี่ยเป็นการเปลี่ยนแปลงของเส้นทำนายในหรือในสัญลักษณ์ )ในกรณีของเราเรามีค่าเฉพาะสองค่าของและดังนั้นจึงมีค่าเฉพาะสองค่าของ $Y_i | x_i \stackrel{\perp}{\sim} \text{Bern}(p_i)$ $x_i$ $p_i = g^{-1}\left( \beta_0 + \beta_1 x_i\right)$ $x_i$ พูดและ 1เนื่องจากข้อสันนิษฐานอิสระของเราเรามี สังเกตว่าเราใช้ความจริงที่ว่า $p_i$ $p_0$ $p_1$ และ

\underset{ผม : x_{ผม} = 0}{Σ} Y_{ผม} = S_{01} ~ ถัง (n_{0}, {พี}_{0})

$\sum \limits_{i : x_i = 0} Y_i = S_{01} \sim \text{Bin} \left(n_0, p_0\right)$

\underset{ผม : x_{ผม} = 1}{Σ} Y_{ผม} = S_{11} ~ ถัง (n_{1}, {พี}_{1}) .

$\sum \limits_{i : x_i = 1} Y_i = S_{11} \sim \text{Bin} \left(n_1, p_1\right).$

และในทางกลับ

และ

เป็น nonrandom: ถ้ากรณีนี้ไม่ได้แล้วเหล่านี้จะไม่จำเป็นต้องเป็นทวินาม

x_{i}

$x_i$

n_{0}

$n_0$

n_{1}

$n_1$

ซึ่งหมายความว่า

S_{01} / n_{0} = \frac{S_{01}}{S_{00} + S_{01}} \to_{พี} {พี}_{0} และ S_{11} / n_{1} = \frac{S_{11}}{S_{10} + S_{11}} \to_{พี} {พี}_{1} .

$S_{01} / n_0 = \frac{S_{01}}{S_{00} + S_{01}} \to_p p_0 \hspace{2mm} \text{ and } \hspace{2mm} S_{11} / n_1 = \frac{S_{11}}{S_{10} + S_{11}} \to_p p_1.$

$Y_i | x_i = j \sim \text{Bern}(p_j)$ $S_{j1} \sim \text{Bin}(n_j, p_j)$

— JLD
แหล่งที่มา

1

เมื่อคุณมีตัวทำนายมากกว่าหนึ่งตัวและตัวทำนายทั้งหมดเป็นตัวแปรไบนารีคุณสามารถใส่แบบจำลองโดยใช้ลอจิกถดถอย [1] (โปรดทราบว่ามันคือ "ลอจิก" ไม่ใช่ "โลจิสติก") มันมีประโยชน์เมื่อคุณเชื่อว่าเอฟเฟกต์การโต้ตอบระหว่างผู้ทำนายของคุณโดดเด่น มีการนำไปใช้ใน R ( LogicRegแพ็คเกจ)

[1] Ruczinski, I. , Kooperberg, C. , & LeBlanc, M. (2003) การถดถอยเชิงตรรกะ สมุดรายวันของสถิติการคำนวณและกราฟิก, 12 (3), 475-511

— horaceT
แหล่งที่มา

1

คำถามนี้เกี่ยวกับผู้ลงทะเบียนหนึ่งรายเท่านั้นดังนั้นคำตอบของคุณจะเป็นความคิดเห็นที่ดีขึ้น

— Richard Hardy