เหตุใดตัวแบบผสมแบบผสมจึงแก้ปัญหาการพึ่งพาได้?

สมมติว่าเราสนใจว่าคะแนนสอบของนักเรียนจะได้รับผลกระทบจากจำนวนชั่วโมงที่นักเรียนเหล่านั้นเรียนอย่างไร เพื่อสำรวจความสัมพันธ์นี้เราสามารถเรียกใช้การถดถอยเชิงเส้นต่อไปนี้:

{exam.grades}_{i} = a + β_{1} \times {hours.studied}_{i} + e_{i}

$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + e_i$

แต่ถ้าเราสุ่มตัวอย่างนักเรียนจากโรงเรียนต่าง ๆ เราอาจคาดหวังว่านักเรียนในโรงเรียนเดียวกันจะคล้ายกันมากกว่านักเรียนจากโรงเรียนต่าง ๆ เพื่อจัดการกับปัญหาการพึ่งพานี้คำแนะนำในหนังสือเรียน / บนเว็บไซต์จำนวนมากคือการใช้เอฟเฟกต์แบบผสมและเข้าโรงเรียนเป็นเอฟเฟกต์แบบสุ่ม ดังนั้นโมเดลจะกลายเป็น: แต่ทำไมมันถึงแก้ปัญหาการพึ่งพาที่มีอยู่ในการถดถอยเชิงเส้น?

{exam.grades}_{i} = a + β_{1} \times {hours.studied}_{i} + {school}_{j} + e_{i}

$\text{exam.grades}_i = a + \beta_1 \times \text{hours.studied}_i + \text{school}_j + e_i$

โปรดตอบกลับราวกับว่าคุณกำลังคุยกับเด็กอายุ 12 ปี

— ลูเซียโน
แหล่งที่มา

ไม่ว่าจะเป็น "แก้ปัญหา" ปัญหาการพึ่งพาเป็นบริบทเฉพาะ แต่คุณอาจเห็นได้ว่าขณะนี้แบบจำลองเพิ่มเติมมีคำที่อย่างน้อยก็บางส่วนสามารถอธิบายถึงผลกระทบที่เกี่ยวข้องกับโรงเรียนใดโรงเรียนหนึ่งได้

— image_doctor

การรวมคำที่สุ่มในแบบจำลองเป็นวิธีที่จะชักนำให้เกิดโครงสร้างความแปรปรวนร่วมบางอย่างระหว่างเกรด ปัจจัยสุ่มสำหรับโรงเรียนทำให้เกิดความแปรปรวนร่วมที่ไม่เป็นศูนย์ระหว่างนักเรียนที่แตกต่างจากโรงเรียนเดียวกันในขณะที่เป็นเมื่อโรงเรียนแตกต่างกัน $0$

ลองเขียนโมเดลของคุณเป็น โดยที่ทำดัชนีโรงเรียนและทำดัชนีนักเรียน (ในแต่ละโรงเรียน) เงื่อนไขการเป็นตัวแปรอิสระสุ่มวาดใน )เป็นตัวแปรสุ่มอิสระวาดใน

Y_{s, i} = α + {hours}_{s, i} β + {school}_{s} + e_{s, i}

$Y_{s,i} = \alpha + \text{hours}_{s,i} \beta + \text{school}_s + e_{s, i}$

s

$s$

i

$i$

{school}_{s}

$\text{school}_s$

N (0, τ)

$\mathcal N(0, \tau)$

e_{s, i}

$e_{s, i}$

N (0, σ^{2})

$\mathcal N(0, \sigma^2)$ )

เวกเตอร์นี้คาดว่าจะมีค่า

{[α + {hours}_{s, i} β]}_{s, i}

$\left[ \alpha + \text{hours}_{s,i} \beta \right]_{s,i}$ ซึ่งจะถูกกำหนดโดยจำนวนชั่วโมงการทำงาน

ความแปรปรวนร่วมระหว่างและคือเมื่อ $Y_{s,i}$ $Y_{s',i'}$ $0$ $s \ne s'$ ซึ่งหมายความว่าการออกจากเกรดจากค่าที่คาดหวังนั้นเป็นอิสระเมื่อนักเรียนไม่ได้อยู่ในโรงเรียนเดียวกัน

ความแปรปรวนระหว่างและคือเมื่อ , และความแปรปรวนของคือ $Y_{s,i}$ $Y_{s,i'}$ $\tau$ $i \ne i'$ $Y_{s,i}$ $\tau + \sigma^2$ : คะแนนของนักเรียนจากโรงเรียนเดียวกันจะมีความสัมพันธ์กับค่าเดินทางที่คาดหวังไว้ .

ตัวอย่างและข้อมูลจำลอง

นี่คือการจำลอง R สั้น ๆ สำหรับนักเรียนห้าสิบคนจากห้าโรงเรียน (ที่นี่ฉันรับ ); ชื่อของตัวแปรคือการจัดทำเอกสารด้วยตนเอง: $\sigma^2 = \tau = 1$

set.seed(1)
school        <- rep(1:5, each=10)
school_effect <- rnorm(5)

school_effect_by_ind <- rep(school_effect, each=10)
individual_effect    <- rnorm(50)

เราพล็อตการออกเดินทางจากชั้นประถมศึกษาปีที่คาดหวังสำหรับนักเรียนแต่ละคนนั่นคือข้อกำหนดของพร้อมกับ (เส้นประ) ค่าเฉลี่ยการออกเดินทางสำหรับแต่ละโรงเรียน: $\text{school}_s + e_{s, i}$

plot(individual_effect + school_effect_by_ind, col=school, pch=19, 
     xlab="student", ylab="grades departure from expected value")
segments(seq(1,length=5,by=10), school_effect, seq(10,length=5,by=10), col=1:5, lty=3)

แบบผสม

ตอนนี้เรามาคอมเม้นท์เรื่องนี้กันดีกว่า ระดับของแต่ละเส้นประ (ตรงกับ ) จะถูกวาดที่สุ่มในกฎหมายปกติ ศัพท์เฉพาะของนักเรียนจะถูกสุ่มให้เป็นกฎปกติซึ่งจะตรงกับระยะทางของคะแนนจากเส้นประ ค่าที่ได้คือนักเรียนแต่ละคนออกเดินทางจาก $\text{school}_s$ $\alpha + \text{hours} \beta$ ซึ่งเป็นเกรดที่กำหนดโดยเวลาที่ใช้ในการทำงาน เป็นผลให้นักเรียนในโรงเรียนเดียวกันมีความคล้ายคลึงกันมากกว่านักเรียนจากโรงเรียนที่แตกต่างกันตามที่คุณระบุไว้ในคำถามของคุณ

เมทริกซ์ความแปรปรวนสำหรับตัวอย่างนี้

$\text{school}_s$ $e_{s,i}$

[\begin{matrix} A & 0 & 0 & 0 & 0 \\ 0 & A & 0 & 0 & 0 \\ 0 & 0 & A & 0 & 0 \\ 0 & 0 & 0 & A & 0 \\ 0 & 0 & 0 & 0 & A \end{matrix}]

$\left[\begin{matrix} A & 0 & 0 & 0 & 0 \\ 0 & A & 0 & 0 & 0 \\ 0 & 0 & A & 0 & 0 \\ 0 & 0 & 0 & A & 0 \\ 0 & 0 & 0 & 0 & A \end{matrix}\right]$

10 \times 10

$10\times 10$

A

$A$

A = [\begin{matrix} 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 \\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 \end{matrix}] .

$A = \left[\begin{matrix} 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 & 1\\ 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 1 & 2 \end{matrix}\right].$

— Elvis
แหล่งที่มา

Elvis: thats probably a great answer for people more versed in statistics than I. However I can extract little meaning from it. Could you edit your response in a way that a 12 year old might be able to understand?

— luciano

A... 12 years old?! Wow! I will add some simulations, if this can help.

— Elvis

Done. Hope this helps. If not, please be more specific about what you don’t get. Note that a 12 yo would not understand the question either... you can’t ask for an answer simpler than the question.

— Elvis