คำถามติดแท็ก publication-bias

ฉันอ่านบทความวิชาการเชิงวิวัฒนาการ / นิเวศวิทยาเป็นจำนวนมากบางครั้งโดยมีจุดประสงค์เฉพาะในการดูว่ามีการใช้สถิติ 'ในโลกแห่งความจริง' นอกตำราเรียนอย่างไร ปกติฉันจะนำสถิติลงในเอกสารเป็นพระกิตติคุณและใช้เอกสารเพื่อช่วยในการเรียนรู้ทางสถิติของฉัน ท้ายที่สุดถ้าบทความใช้เวลาหลายปีในการเขียนและผ่านการตรวจสอบจากเพื่อนอย่างเข้มงวดแล้วสถิติจะเป็นไปอย่างมั่นคงหรือไม่ แต่ในช่วงไม่กี่วันที่ผ่านมาฉันได้ถามสมมติฐานของฉันและสงสัยว่าการวิเคราะห์ทางสถิติที่ตีพิมพ์ในเอกสารวิชาการเป็นสิ่งที่สงสัย? โดยเฉพาะอย่างยิ่งอาจเป็นที่คาดหวังว่าผู้ที่อยู่ในสาขาต่าง ๆ เช่นนิเวศวิทยาและวิวัฒนาการใช้เวลาในการเรียนรู้สถิติน้อยลงและใช้เวลาเรียนสาขาของตนมากขึ้น ผู้คนพบสถิติที่น่าสงสัยในเอกสารวิชาการบ่อยแค่ไหน?

44 publication-bias  academia 

เอกสารวิธีการหลายอย่าง (เช่น Egger et al 1997a, 1997b) อภิปรายอคติสิ่งพิมพ์ที่เปิดเผยโดย meta-analyzes โดยใช้ช่องทางเช่นด้านล่าง บทความ 1997b กล่าวต่อไปว่า "หากมีอคติในการตีพิมพ์เป็นที่คาดหวังว่าจากการศึกษาที่ตีพิมพ์ผลงานที่ใหญ่ที่สุดจะรายงานผลที่เล็กที่สุด" แต่ทำไมล่ะ สำหรับฉันดูเหมือนว่าทั้งหมดนี้จะพิสูจน์ได้ว่าสิ่งที่เรารู้แล้ว: เอฟเฟกต์เล็ก ๆ สามารถตรวจจับได้ด้วยตัวอย่างขนาดใหญ่เท่านั้น ในขณะที่ไม่ได้พูดอะไรเกี่ยวกับการศึกษาที่ยังไม่ถูกตีพิมพ์ นอกจากนี้ผลงานที่อ้างถึงอ้างว่าความไม่สมมาตรที่ประเมินด้วยสายตาในช่องทางพล็อต "บ่งชี้ว่ามีการตีพิมพ์แบบคัดสรรไม่ใช่การทดลองขนาดเล็กที่มีประโยชน์น้อยกว่ามาก" แต่อีกครั้งผมไม่เข้าใจวิธีการใด ๆคุณสมบัติของการศึกษาที่ได้รับการตีพิมพ์อาจจะสามารถบอกอะไรเรา (ช่วยให้เราสามารถให้ข้อสรุป) เกี่ยวกับผลงานที่ได้รับการตีพิมพ์! การอ้างอิง Egger, M. , Smith, GD, & Phillips, AN (1997) meta-analysis: หลักการและวิธีการ BMJ, 315 (7121), 1533-1537 Egger, M. , Smith, GD, Schneider, M. , …

32 meta-analysis  publication-bias 

ฉันได้พยายามสรุปว่า False Discovery Rate (FDR) ควรแจ้งข้อสรุปของนักวิจัยแต่ละคนอย่างไร ตัวอย่างเช่นถ้าการศึกษาของคุณจะ underpowered คุณควรลดผลลัพธ์ของคุณแม้ว่าพวกเขาจะมีนัยสำคัญที่ ? หมายเหตุ: ฉันกำลังพูดถึง FDR ในบริบทของการตรวจสอบผลลัพธ์ของการศึกษาหลาย ๆ ครั้งในภาพรวมไม่ใช่วิธีการแก้ไขการทดสอบหลายรายการα=.05α=.05\alpha = .05 การสร้างสมมุติฐาน (อาจเผื่อแผ่) ที่ของการทดสอบสมมติฐานเป็นจริงจริง FDR เป็นหน้าที่ของทั้งอัตราการผิดพลาดประเภทที่ 1 และประเภท II ดังต่อไปนี้:∼.5∼.5\sim.5 FDR=αα+1−β.FDR=αα+1−β.\text{FDR} = \frac{\alpha}{\alpha+1-\beta}. มีเหตุผลที่ว่าหากการศึกษามีความไม่เพียงพอเราไม่ควรเชื่อถือผลลัพธ์แม้ว่าจะมีความสำคัญเท่าที่เราจะได้รับการศึกษาอย่างเพียงพอ ดังนั้นตามที่นักสถิติบางคนอาจกล่าวว่ามีสถานการณ์ที่ "ในระยะยาว" เราอาจเผยแพร่ผลลัพธ์ที่สำคัญหลายอย่างที่เป็นเท็จหากเราปฏิบัติตามแนวทางดั้งเดิม หากร่างกายของการวิจัยมีเอกลักษณ์เฉพาะด้วยการศึกษาที่ไม่ได้รับการยอมรับอย่างต่อเนื่อง (เช่นยีนของผู้สมัครวรรณกรรมเกี่ยวกับสภาพแวดล้อมของทศวรรษก่อนหน้า ) แม้กระทั่งการค้นพบที่มีนัยสำคัญที่ทำซ้ำ××\times การใช้แพคเกจการ R extrafont, ggplot2และxkcdผมคิดว่านี่อาจจะมีแนวความคิดที่เป็นประโยชน์ในฐานะที่เป็นปัญหาของมุมมอง: รับข้อมูลนี้สิ่งที่นักวิจัยแต่ละคนควรจะทำอย่างไรต่อไป ? ถ้าฉันเดาได้ว่าขนาดของเอฟเฟกต์ที่ฉันกำลังศึกษาควรจะเป็นขนาดใด (และด้วยการประมาณ1−β1−β1 - \betaตามขนาดตัวอย่างของฉัน) ฉันควรปรับระดับของฉันαα\alphaจนกว่า FDR …

30 statistical-significance  p-value  publication-bias  false-discovery-rate 

ขณะนี้ฉันกำลังทำงานกับการวิเคราะห์เมตาดาต้าซึ่งฉันจำเป็นต้องวิเคราะห์ขนาดของเอฟเฟกต์หลายขนาดซ้อนกันภายในกลุ่มตัวอย่าง ฉันเป็นส่วนหนึ่งของวิธีการวิเคราะห์อภิมานสามระดับของ Cheung (2014) เพื่อการวิเคราะห์อภิมานขนาดต่างกันเมื่อเทียบกับกลยุทธ์อื่น ๆ ที่เป็นไปได้ (เช่นการไม่สนใจการพึ่งพาขนาดเฉลี่ยของผลกระทบภายในการศึกษาเลือกขนาดผลหนึ่งขนาดหรือ เปลี่ยนหน่วยของการวิเคราะห์) ขนาดของเอฟเฟ็กต์ขึ้นอยู่กับฉันมีความสัมพันธ์เกี่ยวข้องกับตัวแปรที่ค่อนข้างโดดเด่น (แต่เกี่ยวข้องกับ topically) ดังนั้นค่าเฉลี่ยของพวกมันจึงไม่สมเหตุสมผลทางความคิดและถึงแม้ว่ามันจะเป็นเช่นนั้น อย่างไรก็ตามในเวลาเดียวกันฉันก็สนใจที่จะใช้วิธีของ Stanley & Doucouliagos (2014) ในการจัดการกับอคติการตีพิมพ์ในหลักสูตรการประมาณผลกระทบจากการวิเคราะห์ สรุปอย่างใดอย่างหนึ่งอย่างใดอย่างหนึ่งเหมาะกับรูปแบบการถดถอยเมตาทำนายขนาดผลการศึกษาโดยความแปรปรวนตามลำดับของพวกเขา (การทดสอบผลกระทบที่มีความแม่นยำหรือ PET) หรือข้อผิดพลาดมาตรฐานตามลำดับของพวกเขา ขึ้นอยู่กับความสำคัญของการสกัดกั้นในแบบจำลอง PET หนึ่งอาจใช้การสกัดกั้นจากแบบจำลอง PET (ถ้าการสกัดกั้น PET p > .05) หรือแบบจำลอง PEESE (ถ้าการสกัดกั้น PET p <.05) เป็นสิ่งพิมพ์โดยประมาณ - ขนาดเอฟเฟ็กต์เฉลี่ยที่ปราศจากอคติ อย่างไรก็ตามปัญหาของฉันเกิดจากข้อความที่ตัดตอนมาจาก Stanley & Doucouliagos (2014): ในการจำลองของเรารวมความหลากหลายที่ไม่ได้อธิบายไว้รวมอยู่เสมอ; ดังนั้นโดยทั่วไปแล้วควรใช้ REE [ตัวประมาณผลกระทบแบบสุ่ม] …

10 multilevel-analysis  meta-analysis  meta-regression  publication-bias 

ก่อนส่ง meta-analysis ของฉันฉันต้องการทำพล็อตช่องทางเพื่อทดสอบความหลากหลายและอคติการตีพิมพ์ ฉันมีขนาดเอฟเฟกต์พูลและขนาดเอฟเฟกต์จากการศึกษาแต่ละครั้งที่รับค่าจาก -1 ถึง +1 ฉันมีขนาดตัวอย่าง n1, n2 สำหรับผู้ป่วยและการควบคุมจากการศึกษาแต่ละครั้ง เนื่องจากฉันไม่สามารถคำนวณข้อผิดพลาดมาตรฐาน (SE) ได้ฉันจึงไม่สามารถทำการถดถอยของ Egger ได้ ฉันไม่สามารถใช้ SE หรือความแม่นยำ = 1 / SE บนแกนตั้ง คำถาม ฉันยังสามารถสร้างช่องทางที่มีขนาดเอฟเฟกต์บนซอนแนวนอนและขนาดตัวอย่างทั้งหมด n (n = n1 + n2) บนแกนตั้งได้หรือไม่ พล็อตช่องทางดังกล่าวควรตีความอย่างไร เอกสารที่เผยแพร่บางฉบับแสดงพล็อตช่องทางดังกล่าวพร้อมขนาดตัวอย่างทั้งหมดบนแกนตั้ง (Pubmed PMIDs: 10990474, 10456970) และวิกิพีเดียช่องทาง wiki เห็นด้วยกับสิ่งนี้ แต่ที่สำคัญที่สุดคือกระดาษของ Mathhias Egger ใน BMJ 1999 (PubMed PMID: …

10 meta-analysis  sample-size  standard-error  funnel-plot  publication-bias 

ปิด คำถามนี้เป็นคำถามความคิดเห็นตาม ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้สามารถตอบข้อเท็จจริงและการอ้างอิงได้โดยแก้ไขโพสต์นี้ ปิดให้บริการใน2 ปีที่ผ่านมา แม้จะมีความสำคัญ แต่ smacking ของ "gotcha" ความพยายาม -istic โดยบุคคลที่จะเปิดเผยการปฏิบัติของวารสารล่ามากขึ้นและภัยคุกคาม looms พื้นฐานในร่มเงาของการวิจัยด้านวิทยาศาสตร์สังคม ( แม้ว่าจะมีปัญหาอย่างแน่นอนหลายตัวที่นักวิจัยต้องอยู่ ) เพื่อให้ได้ตรงไปยังจุดที่เป็นไปตามมุมมองหนึ่งที่เราอาจจะไม่สามารถที่จะไว้วางใจค่าสัมประสิทธิ์สหสัมพันธ์ที่ได้มาจากกลุ่มตัวอย่างที่มีขนาดเล็กกว่า 250 หนึ่งจะยากที่จะหาการทดสอบมากขึ้นอาศัยการอนุมานทิศทางและความแข็งแกร่งของการเชื่อมโยงระหว่างกับการวัดในสังคมศาสตร์กว่าค่าสัมประสิทธิ์สหสัมพันธ์ที่เชื่อถือได้ อย่างไรก็ตามจะไม่ถูกกดทับอย่างหนักเพื่อค้นหารายงานที่มีการตรวจสอบโดยเพื่อนโดยอ้างว่ามีความสัมพันธ์ที่ดีระหว่างสองโครงสร้างตามค่าสัมประสิทธิ์สหสัมพันธ์ซึ่งคำนวณจากข้อมูลที่มีน้อยกว่า 250 ราย จากวิกฤตการจำลองแบบในปัจจุบันที่เผชิญกับสังคมศาสตร์ (ดูลิงค์ที่สองด้านบน) เราจะดูรายงานนี้อย่างไรเกี่ยวกับการรักษาเสถียรภาพของค่าสัมประสิทธิ์สหสัมพันธ์ในตัวอย่างขนาดใหญ่เท่านั้น (อย่างน้อยตามมาตรฐานสาขาสังคมศาสตร์) มันเป็นอีกรอยร้าวในกำแพงของการวิจัยทางสังคมศาสตร์ที่ผ่านการตรวจสอบโดยเพื่อนหรือมันเป็นเรื่องเล็กน้อยที่ได้รับการนำเสนอมากเกินไปหรือไม่? เนื่องจากไม่มีคำตอบที่ถูกต้องสำหรับคำถามนี้ฉันหวังว่าจะสร้างเธรดที่ทรัพยากรเกี่ยวกับคำถามนี้สามารถใช้ร่วมกันพิจารณาอย่างรอบคอบและถกเถียงกัน (แน่นอนและสุภาพด้วยความเคารพ)

9 correlation  methodology  publication-bias 

ฉันกำลังทำการวิเคราะห์เมตาหลายระดับซึ่งรวมบทความบางส่วนที่มีผลลัพธ์หลายรายการ ดังนั้นฉันใช้rma.mv()ฟังก์ชั่น รหัสตัวอย่าง: test.main = rma.mv(yi,vi,random = ~1|ID, data = data) ฉันมีสองคำถาม: ฉันอ่านข้อความค้นหาก่อนหน้านี้ว่าเมื่อใช้rma.mv()งานranktest()ไม่ใช่การทดสอบความน่าเชื่อถือของช่องทางที่ไม่สมมาตร อย่างไรก็ตามหากมีการเพิ่มความแปรปรวนตัวอย่างในโมเดลดั้งเดิมในฐานะผู้ดูแลโมเดลนี้จะคล้ายกับการทดสอบของ Egger: test.egger = rma.mv(yi,vi, mod = vi, random = ~1|ID, data = data) รหัสนี้เป็นการตีความที่ถูกต้องของคำแนะนำนั้นหรือไม่? นอกจากนี้แผนการแปลงยังใช้ประโยชน์ไม่ได้กับเครื่องมือ (มากหรือน้อย) ในrma.mv()แบบจำลองหรือไม่? ทั้งleave1out()มิได้trimfill()ทำงานร่วมกับrma.mv()เพื่อประเมินความไวของผลรุ่น ขณะนี้มีเครื่องมือการวิเคราะห์ความไวอื่น ๆ สำหรับrma.mv()รุ่นที่ไม่เกี่ยวข้องกับความเข้าใจใน R หรือไม่?

9 meta-analysis  sensitivity-analysis  publication-bias  funnel-plot