วิธีจัดการกับคะแนนย่อยในการวิเคราะห์เมตาได้ดีที่สุด

9

ฉันกำลังทำการวิเคราะห์เมตาดาต้าของขนาดผลกระทบdใน R โดยใช้แพ็คเกจ metafor dแสดงถึงความแตกต่างของคะแนนความจำระหว่างผู้ป่วยและสุขภาพ อย่างไรก็ตามการศึกษาบางชิ้นรายงานเฉพาะคะแนนย่อยของการวัดความสนใจd (เช่นคะแนนหน่วยความจำที่แตกต่างกันหรือคะแนนจากการทดสอบหน่วยความจำสามบล็อกแยกกัน) โปรดดูชุดข้อมูลจำลองต่อไปนี้พร้อมdแสดงขนาดผลกระทบของการศึกษารวมถึงส่วนเบี่ยงเบนมาตรฐาน SD:

d <- round(rnorm(5,5,1),2)
sd <- round(rnorm(5,1,0.1),2)
study <- c(1,2,3,3,3)
subscore <- c(1,1,1,2,3)
my_data <- as.data.frame(cbind(study, subscore, d, sd))

library(metafor)
m1 <- rma(d,sd, data=my_data)
summary(m1)

ฉันต้องการถามความคิดเห็นของคุณสำหรับวิธีที่ดีที่สุดในการจัดการคะแนนย่อยเหล่านี้ - เช่น:

เลือกคะแนนย่อยหนึ่งคะแนนจากการศึกษาแต่ละครั้งที่รายงานคะแนนมากกว่าหนึ่งคะแนน
รวมคะแนนย่อยทั้งหมด (ซึ่งจะเป็นการละเมิดสมมติฐานความเป็นอิสระของโมเดล rfx เนื่องจากคะแนนย่อยของการศึกษาหนึ่งมาจากตัวอย่างเดียวกัน)
สำหรับการศึกษาแต่ละครั้งที่รายงานคะแนนย่อย: คำนวณคะแนนเฉลี่ยและค่าเบี่ยงเบนมาตรฐานโดยรวมและรวมถึง "ขนาดเอฟเฟ็กต์การรวม" ในการวิเคราะห์ meta ของ rfx
รวมคะแนนย่อยทั้งหมดและเพิ่มตัวแปรดัมมี่ที่ระบุว่าได้รับคะแนนใดจากการศึกษา

r meta-analysis effect-size meta-regression

— jokel
แหล่งที่มา

7

ข้อมูลประเภทนี้เรียกว่าขนาดเอฟเฟกต์ที่ต้องพึ่งพา สามารถใช้วิธีการหลายวิธีในการจัดการการพึ่งพา ฉันขอแนะนำให้ใช้การวิเคราะห์เมตาสามระดับ (Cheung, 2014; Konstantopoulos, 2011; Van den Noortgate et al. 2013) มันสลายการเปลี่ยนแปลงในระดับ 2 และระดับ 3 ที่แตกต่างกัน ในตัวอย่างของคุณความต่างระดับ 2 และระดับ 3 หมายถึงความแตกต่างเนื่องจากระดับย่อยและการศึกษา แพคเกจ metaSEM ( http://courses.nus.edu.sg/course/psycwlm/Internet/metaSEM/ ) ที่ใช้งานใน R มีฟังก์ชันในการวิเคราะห์เมตาสามระดับ ตัวอย่างเช่น,

## Your data
d <- round(rnorm(5,5,1),2)
sd <- round(rnorm(5,1,0.1),2)
study <- c(1,2,3,3,3)
subscore <- c(1,1,1,2,3)
my_data <- as.data.frame(cbind(study, subscore, d, sd))

## Load the library with the data set  
library(metaSEM)
summary( meta3(y=d, v=sd^2, cluster=study, data=my_data) )

ผลลัพธ์คือ:

Running Meta analysis with ML 

Call:
meta3(y = d, v = sd^2, cluster = study, data = my_data)

95% confidence intervals: z statistic approximation
Coefficients:
            Estimate  Std.Error     lbound     ubound z value  Pr(>|z|)    
Intercept 4.9878e+00 4.2839e-01 4.1482e+00 5.8275e+00  11.643 < 2.2e-16 ***
Tau2_2    1.0000e-10         NA         NA         NA      NA        NA    
Tau2_3    1.0000e-10         NA         NA         NA      NA        NA    
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Q statistic on homogeneity of effect sizes: 0.1856967
Degrees of freedom of the Q statistic: 4
P value of the Q statistic: 0.9959473
Heterogeneity indices (based on the estimated Tau2):
                              Estimate
I2_2 (Typical v: Q statistic)        0
I2_3 (Typical v: Q statistic)        0

Number of studies (or clusters): 3
Number of observed statistics: 5
Number of estimated parameters: 3
Degrees of freedom: 2
-2 log likelihood: 8.989807 
OpenMx status1: 1 ("0" and "1": considered fine; other values indicate problems)

ในตัวอย่างนี้การประเมินความหลากหลายของระดับ 2 และระดับ 3 ใกล้เคียงกับ 0 ระดับ 2 และระดับ 3 ร่วมอาจรวมเข้ากับแบบจำลองความหลากหลาย ตัวอย่างเพิ่มเติมเกี่ยวกับการวิเคราะห์เมตาสามระดับสามารถดูได้ที่http://courses.nus.edu.sg/course/psycwlm/Internet/metaSEM/3level.html

อ้างอิง

Cheung, MW-L (2014) การสร้างแบบจำลองขนาดผลขึ้นอยู่กับสามระดับอภิวิเคราะห์: วิธีการสร้างแบบจำลองสมการโครงสร้าง วิธีการทางจิตวิทยา , 19 (2), 211-29 ดอย: 10.1037 / a0032968

Konstantopoulos, S. (2011) ผลกระทบคงที่และการประมาณส่วนประกอบความแปรปรวนในการวิเคราะห์อภิมานสามระดับ วิธีการสังเคราะห์งานวิจัย , 2 (1), 61–76 ดอย: 10.1002 / jrsm.35

Van den Noortgate, W. , López-López, JA, Marín-Martínez, F. , & Sánchez-Meca, J. (2013) การวิเคราะห์เมตาสามระดับของขนาดเอฟเฟกต์ที่ต้องพึ่งพา วิธีการวิจัยพฤติกรรม , 45 (2), 576–594 ดอย: 10.3758 / s13428-012-0261-6

— Mike Cheung
แหล่งที่มา

4

ฉันยอมรับว่ามันเป็นสถานการณ์ที่ยุ่งยาก นี่เป็นเพียงความคิดเล็กน้อย

ไม่ว่าจะเป็นขนาดเอฟเฟกต์ d โดยเฉลี่ย: หากคุณไม่สนใจ subscales ตัวเลือกแรกของฉันคือการใช้ขนาดเอฟเฟกต์เฉลี่ยสำหรับ subscales ในการศึกษาที่กำหนด

นั่นถือว่าสมมติว่าระดับย่อยทั้งหมดมีความเกี่ยวข้องกับคำถามการวิจัยของคุณอย่างเท่าเทียมกัน หากเครื่องชั่งบางเครื่องมีความเกี่ยวข้องมากกว่าฉันอาจใช้ระดับย่อยเหล่านั้นก็ได้

หากคุณสนใจในความแตกต่างระหว่างระดับย่อยดังนั้นควรใส่ขนาดเอฟเฟกต์สำหรับแต่ละระดับย่อยที่เข้ารหัสไว้สำหรับประเภท

ข้อผิดพลาดมาตรฐานของขนาดเอฟเฟกต์สมมุติว่าคุณกำลังใช้สูตรในการคำนวณข้อผิดพลาดมาตรฐานของ d โดยพิจารณาจากค่าของ d และขนาดกลุ่มตัวอย่าง เราปรับสูตรนี้ให้ได้

s e (d) = \sqrt{(\frac{n_{1} + n_{2}}{n_{1} n_{2}} + \frac{d^{2}}{2 (n_{1} + n_{2} - 2)}) (\frac{n_{1} + n_{2}}{n_{1} + n_{2} - 2})},

$se(d) = \sqrt{\left( \frac{n_1 + n_2}{n_1 n_2} + \frac{d^2}{2(n_1+n_2-2)}\right) \left(\frac{n_1 + n_2}{n_1+n_2-2} \right)},$

ที่และมีขนาดตัวอย่างของทั้งสองกลุ่มถูกเปรียบเทียบและเป็นของโคเฮนง $n_1$ $n_2$ $d$ $d$

ฉันคิดว่าคุณสามารถใช้สูตรเช่นนี้เพื่อคำนวณข้อผิดพลาดมาตรฐานกับค่าเฉลี่ย d สำหรับระดับย่อย

— Jeromy Anglim
แหล่งที่มา

ขอบคุณสำหรับคำตอบ! เมื่อฉันเฉลี่ยขนาดเอฟเฟกต์ของคะแนนย่อย - ในกรณีนี้คุณได้ค่าเบี่ยงเบนมาตรฐานของขนาดเอฟเฟกต์เฉลี่ยอย่างไร ค่าเฉลี่ยของส่วนเบี่ยงเบนมาตรฐานทั้งหมดคืออะไร?

— jokel