การแบ่งความแปรปรวนและการเปลี่ยนแปลงตามยาวที่สัมพันธ์กับข้อมูลไบนารี

ฉันกำลังวิเคราะห์ข้อมูลเกี่ยวกับนักเรียน 300,000 คนใน 175 โรงเรียนที่มีรูปแบบเอฟเฟกต์แบบผสมเชิงเส้นเชิงโลจิสติก (การสกัดแบบสุ่ม) นักเรียนแต่ละคนเกิดขึ้นเพียงครั้งเดียวและข้อมูลมีระยะเวลา 6 ปี

ฉันจะแบ่งความแตกต่างระหว่างระดับโรงเรียนและระดับนักเรียนได้อย่างไรในทำนองเดียวกันกับ VPC / ICC สำหรับผลลัพธ์อย่างต่อเนื่อง ฉันได้เห็นนี้บทความซึ่งนำเสนอ 4 วิธีการที่ A และ B ปรากฏที่น่าสนใจกับผม แต่ผมอยากจะรู้ว่าสิ่งที่ข้อดี / ข้อเสียอาจจะมีการใช้ทั้งสองเหล่านี้และแน่นอนว่ามีวิธีอื่น ๆ ที่จะทำ มัน.
ฉันจะเปรียบเทียบความแปรปรวนของระดับที่เหลือของโรงเรียนในแต่ละปีได้อย่างไร (หรือช่วงเวลาอื่น) เพื่อให้ห่างไกลฉันได้กระทำนี้โดยการหารข้อมูลโดยปีและทำงานกับรูปแบบในแต่ละปีของข้อมูล แต่ฉันคิดว่านี่เป็นข้อบกพร่องเนื่องจาก i) ไม่มีเหตุผลที่ชัดเจนว่าทำไมฉันควรจะแยกจากปี ; และ ii) เนื่องจากการประเมินผลคงที่แตกต่างกันไปในแต่ละปีการเปรียบเทียบผลกระทบแบบสุ่มทุกปีอาจไม่สมเหตุสมผล (นี่เป็นเพียงสัญชาตญาณของฉันมันจะดีมากถ้ามีใครสามารถอธิบายเรื่องนี้ได้อย่างเป็นทางการถ้ามันถูกต้อง)

หมายเหตุ: ฉันเขียนคำถามนี้อีกครั้งหลังจากการสนทนาใน metaกับ whuber และ Macro

mixed-model binary-data

— โจคิง
แหล่งที่มา

ฉันคิดว่านี่เป็นการปรับปรุงที่สำคัญ คำถามนี้ชัดเจนมาก ตอนนี้ฉันไม่มีเวลาที่จะตอบสนองอย่างเป็นระเบียบ แต่ฉันจะโพสต์คำตอบในภายหลัง

— มาโคร

โมเดลเอฟเฟ็กต์ผสมแบบโลจิสติกส์ดูเหมือนหัวข้อขั้นสูงสำหรับโรงเรียนมัธยม พวกเขาเป็นส่วนหนึ่งของหลักสูตรมัธยมของคุณหรือคุณกำลังศึกษาด้วยตนเอง?

— mark999

@ mark999 ฉันกำลังเรียนอิสระ ที่จริงผมกำลังพยายามที่จะพิสูจน์ผิดพี่ชายของฉันที่กล่าวว่า"ไม่มีทางที่คุณอาจจะเข้าใจในเรื่องนี้" เขากำลังศึกษาระดับปริญญาด้านสถิติดังนั้นฉันจึงสามารถเข้าถึงหนังสือของเขาทั้งหมดเป็นต้น (เมื่อเขาเป็นคนดี)

— Joe King

ขอให้แสดงการตอบสนองและการทำนายเวกเตอร์ (ตามลำดับ) ของนักเรียนอยู่ในโรงเรียนเจ $y_{ij}, {\boldsymbol x}_{ij}$ $i$ $j$

(1)สำหรับข้อมูลไบนารีฉันคิดว่าวิธีมาตรฐานในการแยกความแปรปรวนแบบเดียวกับที่ทำเพื่อข้อมูลต่อเนื่องคือสิ่งที่ผู้เขียนเรียกวิธี D (ฉันจะแสดงความคิดเห็นในวิธีอื่นด้านล่าง) ในลิงก์ของคุณ - จินตนาการข้อมูลไบนารีเป็น ที่เกิดขึ้นจากตัวแปรต่อเนื่องที่อยู่ภายใต้โมเดลเชิงเส้นและย่อยสลายความแปรปรวนของสเกลแฝงนั้น เหตุผลก็คือโมเดลโลจิสติกส์ (และ GLM อื่น ๆ ) เกิดขึ้นตามธรรมชาติด้วยวิธีนี้ -

หากต้องการดูสิ่งนี้ให้นิยาม ว่ามันถูกควบคุมโดยโมเดลเชิงเส้นผสม: $y^{\star}_{ij}$

y_{i j}^{⋆} = α + x_{i j} β + η_{j} + ε_{i j}

$y^{\star}_{ij} = \alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_j + \varepsilon_{ij}$

$\alpha,\beta$ $\eta_j \sim N(0,\sigma^2)$ $\varepsilon_{ij}$

y_{i j} = {\begin{cases} 1 & if y_{i j}^{⋆} \geq 0 \\ 0 & if y_{i j}^{⋆} < 0 \end{cases}

$y_{ij} = \begin{cases} 1 & \text{if} \ \ \ y^{\star}_{ij}≥0\\ \\ 0 &\text{if} \ \ \ y^{\star}_{ij}<0 \end{cases}$

$p_{ij} = P(y_{ij} = 1|{\boldsymbol x}_{ij},\eta_j)$

p_{i j} = 1 - P (y_{i j}^{⋆} < 0 | x_{i j}, η_{j}) = \frac{\exp {- (α + x_{i j} β + η_{j})}}{1 + \exp {- (α + x_{i j} β + η_{j})}}

$p_{ij} = 1-P(y^{\star}_{ij}<0|{\boldsymbol x}_{ij},\eta_j) = \frac{ \exp \{-(\alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_j) \} }{1+ \exp \{-(\alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_j) \}}$

ทีนี้ก็ทำการแปลงโลจิทของทั้งสองคุณ

\log (\frac{p_{i j}}{1 - p_{i j}}) = α + x_{i j} β + η_{j}

$\log \left( \frac{ p_{ij} }{1 - p_{ij}} \right) = \alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_j$

ซึ่งเป็นรูปแบบเอฟเฟกต์ผสมแบบโลจิสติก ดังนั้นรูปแบบโลจิสติกจะเทียบเท่ากับตัวแปรตัวแปรแฝงที่ระบุข้างต้น หมายเหตุสำคัญหนึ่ง:

$\varepsilon_{ij}$ $s$

\frac{\exp {- (α + x_{i j} β + η_{j}) / s}}{1 + \exp {- (α + x_{i j} β + η_{j}) / s}}

$\frac{ \exp \{-(\alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_j)/s \} }{1+ \exp \{-(\alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_j)/s \}}$

$\ \ \ \ \ \ \$
$\ \ \ \ \ \$ $s=1$ ${\rm var}(\varepsilon_{ij}) = \pi^2/3$

ทีนี้ถ้าคุณใช้โมเดลนี้แล้วก็ปริมาณ

\frac{{\hat{σ}}_{η}^{2}}{{\hat{σ}}_{η}^{2} + π^{2} / 3}

$\frac{ \hat{\sigma}^{2}_{\eta} }{\hat{\sigma}^{2}_{\eta} + \pi^2/3 }$

ประมาณการความสัมพันธ์ intraclass ของตัวแปรแฝงพื้นฐาน หมายเหตุสำคัญอื่น:

$\varepsilon_{ij}$ $\frac{{\hat{σ}}_{η}^{2}}{{\hat{σ}}_{η}^{2} + 1}$ $\frac{ \hat{\sigma}^{2}_{\eta} }{\hat{\sigma}^{2}_{\eta} + 1 }$

เกี่ยวกับวิธีการอื่น ๆ ที่กล่าวถึงในเอกสารที่คุณเชื่อมโยง:

${\boldsymbol x}_{ij}$
(B)วิธีการจำลองเป็นที่ดึงดูดความสนใจจากนักสถิติเนื่องจากมันจะทำให้คุณประเมินการย่อยสลายความแปรปรวนในระดับเดิมของข้อมูล แต่ขึ้นอยู่กับผู้ชมอาจ (i) มีความซับซ้อนในการอธิบายเรื่องนี้ใน "วิธีการ" ของคุณ ส่วนและ (ii) อาจปิดผู้ตรวจสอบที่กำลังมองหาบางสิ่งที่ "มาตรฐานมากขึ้น"
(C) การแกล้งข้อมูลอย่างต่อเนื่องอาจไม่ใช่ความคิดที่ดีแม้ว่ามันจะไม่ได้ผลมากถ้าความน่าจะเป็นส่วนใหญ่ไม่ใกล้เคียงกับ 0 หรือ 1 แต่การทำเช่นนี้จะทำให้ธงแดงเป็นผู้วิจารณ์ ดังนั้นฉันจะอยู่ห่าง ๆ

ในที่สุดตอนนี้

(2)หากเอฟเฟกต์คงที่แตกต่างกันมากในช่วงหลายปีที่ผ่านมาคุณคิดถูกว่าเป็นการยากที่จะเปรียบเทียบความแปรปรวนของเอฟเฟกต์แบบสุ่มในช่วงหลายปีที่ผ่านมาเนื่องจากอาจแตกต่างกันในระดับที่ต่างกัน ของปัญหาการปรับขนาดที่กล่าวถึงข้างต้น)

$I_k = 1$ $k$

α + x_{i j} β + η_{1 j} I_{1} + η_{2 j} I_{2} + η_{3 j} I_{3} + η_{4 j} I_{4} + η_{5 j} I_{5} + η_{6 j} I_{6}

$\alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_{1j} I_1 + \eta_{2j} I_2 + \eta_{3j} I_3 + \eta_{4j} I_4 + \eta_{5j} I_5+ \eta_{6j} I_6$

สิ่งนี้จะให้ ICC ที่แตกต่างกันในแต่ละปี แต่มีผลกระทบคงที่เหมือนกัน อาจเป็นการล่อลวงให้ใช้เพียงความชันแบบสุ่มในเวลาเดียว

α + x_{i j} β + η_{1} + η_{2} t

$\alpha + {\boldsymbol x}_{ij} {\boldsymbol \beta} + \eta_{1} + \eta_{2} t$

แต่ผมไม่แนะนำนี้เนื่องจากว่ามีเพียงจะช่วยให้ความสัมพันธ์ของคุณจะเพิ่มขึ้นเมื่อเวลาผ่านไปไม่ได้ลดลง

— มาโคร
แหล่งที่มา

โปรดให้ความเห็นของคุณเพื่อพูดถึงประเด็นในบทความที่เชื่อมโยงเกี่ยวกับเทคนิคการแบ่งพาร์ทิชันที่บอกว่า"วิธีนี้อาจจะสมเหตุสมผลที่การตอบสนอง (0, 1) คือพูดว่ามาจากการตัดทอนต่อเนื่องเป็นต้น ผ่าน / ไม่ตอบสนองขึ้นอยู่กับขนาดเครื่องหมายอย่างต่อเนื่อง แต่ก็ดูเหมือนจะมีเหตุผลน้อยลงเมื่อการตอบสนองเป็นอย่างแท้จริงที่ไม่ต่อเนื่องเช่นการตายหรือการออกเสียงลงคะแนน" ในกรณีของฉันฉันกำลังจัดการกับอุบัติการณ์ของการข่มขู่ซึ่งตกอยู่ในประเภทหลังผมคิดว่า ...

— โจคิง

@ JoeKing ฉันจะบอกว่าแบบจำลองการถดถอยโลจิสติก / โปรบิต (และที่คล้ายกัน) สันนิษฐานว่าข้อมูลถูกสร้างขึ้นจากความต่อเนื่องพื้นฐานเนื่องจากโมเดลสามารถแสดงให้เห็นว่าเทียบเท่า ดังนั้นหากมีใครใช้โมเดลเหล่านี้อยู่ด้วยพวกเขาจะต้องพบว่าข้อสันนิษฐานนั้นสามารถป้องกันได้ :)

— มาโคร

@JoeKing, ถ้าคุณพิจารณาคำตอบนี้ชัดเจนโปรดพิจารณายอมรับ :)

— มาโคร

ฉันจะแน่นอน ในขณะนี้ฉันมีความไม่แน่นอนเล็กน้อยเกี่ยวกับบางจุดและฉันต้องการกลับมาหาคุณหลังจากที่ฉันมีเวลาน้อย (สองสามวัน) ในการอ่านรอบ ๆ และดูข้อมูลเพิ่มเติม ถ้าคุณไม่รังเกียจ

— Joe King

@JoeKing แน่นอน - สมาชิกใหม่บางคนไม่ทราบดังนั้นฉันคิดว่าฉันจะชี้ให้เห็นว่า - มันไม่ได้หมายถึงการกดดันคุณเลย

— Macro