การอนุมานไม่ถูกต้องเมื่อการสังเกตไม่เป็นอิสระ

ฉันเรียนรู้ในสถิติเบื้องต้นว่าด้วยโมเดลเชิงเส้นทั่วไปเพื่อให้การอนุมานมีเหตุผลการสังเกตต้องเป็นอิสระ เมื่อการรวมกลุ่มเกิดขึ้นความเป็นอิสระอาจไม่ได้นำไปสู่การอนุมานที่ไม่ถูกต้องอีกต่อไปหากไม่นับรวม วิธีหนึ่งในการทำบัญชีสำหรับการทำคลัสเตอร์ดังกล่าวคือการใช้ตัวแบบผสม ฉันต้องการค้นหาชุดข้อมูลตัวอย่างจำลองหรือไม่ซึ่งแสดงให้เห็นอย่างชัดเจน ฉันพยายามใช้หนึ่งในชุดข้อมูลตัวอย่างบนไซต์ UCLA สำหรับการวิเคราะห์ข้อมูลคลัสเตอร์

> require(foreign)
> require(lme4)
> dt <- read.dta("http://www.ats.ucla.edu/stat/stata/seminars/svy_stata_intro/srs.dta")

> m1 <- lm(api00~growth+emer+yr_rnd, data=dt)
> summary(m1)

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) 740.3981    11.5522  64.092   <2e-16 ***
growth       -0.1027     0.2112  -0.486   0.6271    
emer         -5.4449     0.5395 -10.092   <2e-16 ***
yr_rnd      -51.0757    19.9136  -2.565   0.0108 * 


> m2 <- lmer(api00~growth+emer+yr_rnd+(1|dnum), data=dt)
> summary(m2)

Fixed effects:
             Estimate Std. Error t value
(Intercept) 748.21841   12.00168   62.34
growth       -0.09791    0.20285   -0.48
emer         -5.64135    0.56470   -9.99
yr_rnd      -39.62702   18.53256   -2.14

ผลลัพธ์เหล่านี้คล้ายกันมากพอที่ฉันจะไม่คิดว่าผลลัพธ์จากlm()สิ่งนั้นจะไม่ถูกต้อง ฉันได้ดูตัวอย่างอื่น ๆ (เช่น5.2 จากศูนย์มหาวิทยาลัยบริสตอลสำหรับการสร้างแบบจำลองหลายระดับ ) และพบว่าข้อผิดพลาดมาตรฐานก็ไม่แตกต่างกันมาก (ฉันไม่สนใจผลการสุ่มด้วยตนเองจากโมเดลผสม แต่ก็คุ้มค่าที่จะสังเกตว่า ICC จากเอาต์พุตโมเดลผสมคือ 0.42)

ดังนั้นคำถามของฉันคือ 1) ภายใต้เงื่อนไขว่าข้อผิดพลาดมาตรฐานจะแตกต่างกันอย่างชัดเจนเมื่อเกิดการรวมกลุ่มและ 2) บางคนสามารถให้ตัวอย่างของชุดข้อมูลดังกล่าว (จำลองหรือไม่)

ก่อนอื่นคุณคิดถูกชุดข้อมูลนี้อาจไม่ดีที่สุดที่จะเข้าใจรูปแบบผสม แต่ก่อนอื่นมาดูกันก่อนว่าทำไม

require(foreign)
dt <- read.dta("http://www.ats.ucla.edu/stat/stata/seminars/svy_stata_intro/srs.dta")

length(dt$dnum)          # 310
length(unique(dt$dnum))  # 187 
sum(table(dt$dnum)==1)   # 132

คุณเห็นว่าคุณมีการสังเกต 310 ครั้งและ 187 กลุ่มซึ่ง 132 รายการมีเพียงการสังเกตเพียงครั้งเดียว นี่ไม่ได้หมายความว่าเราไม่ควรใช้การสร้างแบบจำลองหลายระดับ แต่เพียงว่าเราจะไม่ได้ผลลัพธ์ที่แตกต่างกันมากตามที่คุณระบุ

แรงจูงใจในการสร้างแบบจำลองหลายระดับ

แรงจูงใจในการใช้การสร้างแบบจำลองหลายระดับเริ่มต้นจากการออกแบบเองและไม่เพียง แต่มาจากผลของการวิเคราะห์ที่ดำเนินการ แน่นอนว่าตัวอย่างที่พบบ่อยที่สุดคือการสังเกตหลาย ๆ ครั้งจากบุคคล แต่เพื่อทำให้สิ่งที่เกินความจริงเพื่อให้เข้าใจสถานการณ์ได้ง่ายขึ้นลองนึกถึงการขอให้บุคคลจากประเทศต่างๆทั่วโลกรู้ถึงรายได้ของพวกเขา ดังนั้นตัวอย่างที่ดีที่สุดคือตัวอย่างที่มีความหลากหลายมากเช่นการรวมกลุ่มที่เป็นเนื้อเดียวกันในผลลัพธ์การตรวจสอบของหลักสูตรจะไม่สร้างความแตกต่างมากนัก

ตัวอย่าง

ดังนั้นขอจำลองข้อมูลบางอย่างเพื่อทำให้สิ่งต่าง ๆ ชัดเจนขึ้นการจำลองใช้งานได้ดีขึ้นเช่นเดียวกับข้อมูลในชีวิตจริงที่ไม่ชัดเจน ลองนึกภาพคุณใช้เวลาประเทศและคุณถามบุคคลจากแต่ละประเทศเกี่ยวกับรายได้ของพวกเขาและสิ่งอื่นที่มีผลในเชิงบวกในรายได้ค่าสัมประสิทธิ์0.5100 $10$$100$yx$0.5$

set.seed(1)
I <- 100
J <- 10
n <- I*J
i <- rep(1:I, each=J)
j <- rep(1:J,I)
x <- rnorm(n,mean=0, sd=1)
beta0  <- 1000
beta1  <- 0.5
sigma2 <- 1
tau2   <- 200
u <- rep(rnorm(I,mean=0,sd=sqrt(tau2)),each=J)
y <- beta0 + beta1*x + u + rnorm(n,mean=0, sd=sqrt(sigma2))

ดังนั้นให้คุณใช้โมเดลเชิงเส้น

> summary(lm(y~x))

Coefficients:
            Estimate Std. Error  t value Pr(>|t|)    
(Intercept) 999.8255     0.4609 2169.230   <2e-16 ***
x             0.5728     0.4456    1.286    0.199    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 14.57 on 998 degrees of freedom
Multiple R-squared:  0.001653,  Adjusted R-squared:  0.0006528 
F-statistic: 1.653 on 1 and 998 DF,  p-value: 0.1989

และคุณสรุปได้ว่าไม่มีผลในทางสถิติx yดูว่าข้อผิดพลาดมาตรฐานใหญ่แค่ไหน แต่ใช้โมเดลการสกัดกั้นแบบสุ่ม

> summary(lmer(y~x + (1|i)))

Random effects:
 Groups   Name        Variance Std.Dev.
 i        (Intercept) 213.062  14.597  
 Residual               1.066   1.032  
Number of obs: 1000, groups:  i, 100

Fixed effects:
            Estimate Std. Error t value
(Intercept) 999.8247     1.4600   684.8
x             0.4997     0.0327    15.3

คุณจะเห็นว่าข้อผิดพลาดมาตรฐานของการประมาณมีการเปลี่ยนแปลง เมื่อดูที่ส่วนของเอฟเฟกต์แบบสุ่มเราจะเห็นว่าความแปรปรวนได้รับการย่อยสลายอย่างไรส่วนใหญ่แล้วความแปรปรวนของรายได้ระหว่างประเทศและภายในประเทศที่คนมีรายได้ที่คล้ายคลึงกันมากขึ้น ในคำง่ายๆสิ่งที่เกิดขึ้นที่นี่ไม่ใช่การบัญชีสำหรับการจัดกลุ่มผลของการx"หลงทาง" (ถ้าเราสามารถใช้คำศัพท์นี้ได้) แต่เป็นการสลายความแปรปรวนที่คุณพบว่าสิ่งที่คุณควรได้รับจริง