เหตุใดการค้นหาเอฟเฟกต์เล็ก ๆ ในการศึกษาขนาดใหญ่บ่งบอกถึงความลำเอียงในการตีพิมพ์

เอกสารวิธีการหลายอย่าง (เช่น Egger et al 1997a, 1997b) อภิปรายอคติสิ่งพิมพ์ที่เปิดเผยโดย meta-analyzes โดยใช้ช่องทางเช่นด้านล่าง

บทความ 1997b กล่าวต่อไปว่า "หากมีอคติในการตีพิมพ์เป็นที่คาดหวังว่าจากการศึกษาที่ตีพิมพ์ผลงานที่ใหญ่ที่สุดจะรายงานผลที่เล็กที่สุด" แต่ทำไมล่ะ สำหรับฉันดูเหมือนว่าทั้งหมดนี้จะพิสูจน์ได้ว่าสิ่งที่เรารู้แล้ว: เอฟเฟกต์เล็ก ๆ สามารถตรวจจับได้ด้วยตัวอย่างขนาดใหญ่เท่านั้น ในขณะที่ไม่ได้พูดอะไรเกี่ยวกับการศึกษาที่ยังไม่ถูกตีพิมพ์

นอกจากนี้ผลงานที่อ้างถึงอ้างว่าความไม่สมมาตรที่ประเมินด้วยสายตาในช่องทางพล็อต "บ่งชี้ว่ามีการตีพิมพ์แบบคัดสรรไม่ใช่การทดลองขนาดเล็กที่มีประโยชน์น้อยกว่ามาก" แต่อีกครั้งผมไม่เข้าใจวิธีการใด ๆคุณสมบัติของการศึกษาที่ได้รับการตีพิมพ์อาจจะสามารถบอกอะไรเรา (ช่วยให้เราสามารถให้ข้อสรุป) เกี่ยวกับผลงานที่ได้รับการตีพิมพ์!

การอ้างอิง
Egger, M. , Smith, GD, & Phillips, AN (1997) meta-analysis: หลักการและวิธีการ BMJ, 315 (7121), 1533-1537

Egger, M. , Smith, GD, Schneider, M. , & Minder, C. (1997) อคติใน meta-analysis ตรวจพบโดยง่ายการทดสอบกราฟิก BMJ , 315 (7109), 629-634

คำตอบที่นี่ดีสำหรับทุกคน ฉันแค่อยากจะแสดงให้เห็นว่าเอฟเฟกต์นี้อาจมีลักษณะเป็นคำพล็อตช่องทางอย่างไรในกรณีที่รุนแรง ด้านล่างฉันจำลองเอฟเฟกต์เล็กน้อยเป็นและดึงตัวอย่างระหว่างการสังเกตขนาด 2 และ 2000$N(.01, .1)$

จุดสีเทาในพล็อตจะไม่ถูกเผยแพร่ภายใต้ระบอบการปกครองเข้มงวด เส้นสีเทาคือการถดถอยของขนาดผลกระทบต่อขนาดตัวอย่างรวมถึงการศึกษา "ค่า p ไม่ดี" ในขณะที่เส้นสีแดงไม่รวมสิ่งเหล่านี้ เส้นสีดำแสดงผลที่แท้จริง$p < .05$

อย่างที่คุณเห็นภายใต้อคติการตีพิมพ์มีแนวโน้มที่แข็งแกร่งสำหรับการศึกษาขนาดเล็กเพื่อประเมินขนาดของเอฟเฟกต์สูงเกินไป

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

^{สร้างเมื่อ 2019-02-20 โดยแพ็คเกจ reprex (v0.2.1)}

อันดับแรกเราต้องคิดว่า "อคติการตีพิมพ์" คืออะไรและมันจะมีผลต่อสิ่งที่ทำให้เป็นจริงในวรรณกรรมอย่างไร

แบบจำลองที่ค่อนข้างง่ายสำหรับอคติการตีพิมพ์คือเรารวบรวมข้อมูลบางส่วนและถ้าเราจะเผยแพร่ มิฉะนั้นเราทำไม่ได้ ดังนั้นสิ่งนี้มีผลต่อสิ่งที่เราเห็นในวรรณกรรมอย่างไร สำหรับหนึ่งมันรับประกันว่า (สมมติว่ามีการใช้สถิติ Wald) ตอนนี้สิ่งหนึ่งที่ถูกสร้างขึ้นมาก็คือถ้ามีขนาดเล็กจริง ๆ แล้วนั้นค่อนข้างใหญ่และใหญ่ถูกต้องสำหรับการตีพิมพ์$p < 0.05$$|\hat \theta |/ SE(\hat \theta) >1.96$$n$$SE(\hat \theta)$$|\hat \theta|$

ตอนนี้สมมติว่าในความเป็นจริงแล้วนั้นค่อนข้างเล็ก สมมติว่าเราเรียกใช้การทดลอง 200 ครั้ง 100 ครั้งด้วยขนาดตัวอย่างที่เล็กมากและ 100 กับขนาดตัวอย่างที่ใหญ่มาก โปรดทราบว่าจากการทดลองขนาดตัวอย่างขนาดเล็กมาก 100 รายการสิ่งเดียวเท่านั้นที่จะได้รับการเผยแพร่โดยแบบจำลองอคติสิ่งพิมพ์ของเราคือผู้ที่มีค่าขนาดใหญ่ของเพียงเนื่องจากข้อผิดพลาดแบบสุ่ม อย่างไรก็ตามในการทดสอบ 100 ครั้งด้วยขนาดตัวอย่างขนาดใหญ่ค่าของจะถูกเผยแพร่ ดังนั้นหากการทดลองขนาดใหญ่ระบบแสดงผลมีขนาดเล็กกว่าขนาดเล็กทดลองนี้แสดงให้เห็นว่าบางที$\theta$$|\hat \theta|$ $\hat \theta$$|\theta|$ จริง ๆ แล้วมีขนาดเล็กกว่าสิ่งที่เรามักจะเห็นจากการทดลองขนาดเล็กที่ทำให้มันกลายเป็นสิ่งพิมพ์จริงๆ

หมายเหตุด้านเทคนิค: มันเป็นความจริงที่ว่ามีและ / หรือขนาดเล็กจะนำไปสู่<0.05 อย่างไรก็ตามเนื่องจากขนาดของเอฟเฟกต์มักจะคิดว่าสัมพันธ์กับการเบี่ยงเบนมาตรฐานของคำผิดพลาดเงื่อนไขสองข้อนี้จึงเทียบเท่า$|\hat \theta|$ $SE(\hat \theta)$$p < 0.05$

อ่านข้อความนี้ในวิธีที่ต่างออกไป:

หากไม่มีอคติการตีพิมพ์ขนาดผลควรเป็นอิสระจากขนาดการศึกษา

นั่นคือถ้าคุณกำลังศึกษาปรากฏการณ์หนึ่งขนาดของเอฟเฟกต์เป็นคุณสมบัติของปรากฏการณ์ไม่ใช่ตัวอย่าง / การศึกษา

การประมาณขนาดของเอฟเฟกต์สามารถ (และจะ) แตกต่างกันไปตามการศึกษา แต่ถ้ามีขนาดเอฟเฟกต์ลดลงอย่างเป็นระบบเมื่อเพิ่มขนาดการศึกษานั่นแสดงว่ามีอคติ ประเด็นทั้งหมดก็คือความสัมพันธ์นี้ชี้ให้เห็นว่ามีการศึกษาขนาดเล็กเพิ่มเติมที่แสดงขนาดของเอฟเฟกต์ต่ำที่ยังไม่ได้ตีพิมพ์และหากพวกเขาได้รับการตีพิมพ์และอาจรวมอยู่ในการวิเคราะห์เมตา กว่าสิ่งที่คาดจากชุดย่อยของการศึกษาที่เผยแพร่

ความแปรปรวนของการประมาณขนาดผลกระทบในการศึกษาจะขึ้นอยู่กับขนาดตัวอย่าง แต่คุณควรเห็นจำนวนที่ต่ำกว่าและต่ำกว่าการประมาณการที่ขนาดตัวอย่างต่ำถ้าไม่มีอคติ