ขาดระหว่าง PET-PEESE และวิธีการหลายระดับในการวิเคราะห์อภิมาน: มีความสุขหรือไม่?


10

ขณะนี้ฉันกำลังทำงานกับการวิเคราะห์เมตาดาต้าซึ่งฉันจำเป็นต้องวิเคราะห์ขนาดของเอฟเฟกต์หลายขนาดซ้อนกันภายในกลุ่มตัวอย่าง ฉันเป็นส่วนหนึ่งของวิธีการวิเคราะห์อภิมานสามระดับของ Cheung (2014) เพื่อการวิเคราะห์อภิมานขนาดต่างกันเมื่อเทียบกับกลยุทธ์อื่น ๆ ที่เป็นไปได้ (เช่นการไม่สนใจการพึ่งพาขนาดเฉลี่ยของผลกระทบภายในการศึกษาเลือกขนาดผลหนึ่งขนาดหรือ เปลี่ยนหน่วยของการวิเคราะห์) ขนาดของเอฟเฟ็กต์ขึ้นอยู่กับฉันมีความสัมพันธ์เกี่ยวข้องกับตัวแปรที่ค่อนข้างโดดเด่น (แต่เกี่ยวข้องกับ topically) ดังนั้นค่าเฉลี่ยของพวกมันจึงไม่สมเหตุสมผลทางความคิดและถึงแม้ว่ามันจะเป็นเช่นนั้น

อย่างไรก็ตามในเวลาเดียวกันฉันก็สนใจที่จะใช้วิธีของ Stanley & Doucouliagos (2014) ในการจัดการกับอคติการตีพิมพ์ในหลักสูตรการประมาณผลกระทบจากการวิเคราะห์ สรุปอย่างใดอย่างหนึ่งอย่างใดอย่างหนึ่งเหมาะกับรูปแบบการถดถอยเมตาทำนายขนาดผลการศึกษาโดยความแปรปรวนตามลำดับของพวกเขา (การทดสอบผลกระทบที่มีความแม่นยำหรือ PET) หรือข้อผิดพลาดมาตรฐานตามลำดับของพวกเขา ขึ้นอยู่กับความสำคัญของการสกัดกั้นในแบบจำลอง PET หนึ่งอาจใช้การสกัดกั้นจากแบบจำลอง PET (ถ้าการสกัดกั้น PET p > .05) หรือแบบจำลอง PEESE (ถ้าการสกัดกั้น PET p <.05) เป็นสิ่งพิมพ์โดยประมาณ - ขนาดเอฟเฟ็กต์เฉลี่ยที่ปราศจากอคติ

อย่างไรก็ตามปัญหาของฉันเกิดจากข้อความที่ตัดตอนมาจาก Stanley & Doucouliagos (2014):

ในการจำลองของเรารวมความหลากหลายที่ไม่ได้อธิบายไว้รวมอยู่เสมอ; ดังนั้นโดยทั่วไปแล้วควรใช้ REE [ตัวประมาณผลกระทบแบบสุ่ม] มากกว่าค่าใช้จ่าย [ค่าประมาณแบบผลกระทบคงที่] อย่างไรก็ตามการปฏิบัติทั่วไปนั้นผิดเมื่อมีการเลือกสิ่งพิมพ์ ด้วยการเลือกสำหรับนัยสำคัญทางสถิติ REE จะมีอคติมากกว่าค่าธรรมเนียม (ตารางที่ 3) เสมอ สิ่งที่ไม่สามารถคาดการณ์ได้นี้เกิดจากข้อเท็จจริงที่ว่า REE นั้นเป็นค่าเฉลี่ยถ่วงน้ำหนักของค่าเฉลี่ยแบบง่ายซึ่งมีอคติการตีพิมพ์ที่ใหญ่ที่สุดและค่าธรรมเนียม

ข้อนี้ทำให้ฉันเชื่อว่าฉันไม่ควรใช้ PET-PEESE ในแบบจำลอง meta-analytic ที่มีเอฟเฟ็กต์ / เอฟเฟกต์แบบสุ่ม แต่เอฟเฟ็กต์ meta-analytic แบบหลายระดับจะต้องใช้ตัวประมาณแบบสุ่ม

ฉันถูกฉีกขาดเป็นสิ่งที่ต้องทำ ฉันต้องการที่จะสร้างแบบจำลองขนาดผลกระทบทั้งหมดของฉัน แต่ใช้ประโยชน์จากวิธีการเฉพาะนี้ในการแก้ไขอคติสิ่งพิมพ์ มีวิธีใดบ้างที่ฉันจะรวมกลยุทธ์การวิเคราะห์เมตา 3 ระดับกับ PET-PEESE อย่างถูกกฎหมาย

อ้างอิง

Cheung, MWL (2014) การสร้างแบบจำลองขนาดผลกระทบขึ้นอยู่กับการวิเคราะห์เมตาสามระดับ: วิธีการสร้างแบบจำลองสมการโครงสร้าง วิธีการทางจิตวิทยา , 19 , 211-229

Stanley, TD, & Doucouliagos, H. (2014) การประมาณค่า Meta-regression เพื่อลดอคติการเลือกสิ่งพิมพ์ วิธีการสังเคราะห์งานวิจัย , 5 , 60-78

คำตอบ:


4

ฉันทำงานเกี่ยวกับการวิเคราะห์เมตาดาต้าตามแนวทางของ Cheung เป็นหลัก (แต่ไม่ใช่ระดับ 3) และเมื่อเร็ว ๆ นี้ได้พบกับวิธี PET-PEESE สำหรับแก้ไขอคติสิ่งพิมพ์ ฉันรู้สึกทึ่งกับการผสมผสานของทั้งสองวิธี จนถึงประสบการณ์ของฉัน ฉันคิดว่ามีสองวิธีในการจัดการกับปัญหาของคุณ ง่าย ๆ และซับซ้อนมากขึ้น

ข้อความด้านล่างดูเหมือนว่าจะแนะนำว่าเอฟเฟกต์แบบสุ่มทำให้ความลำเอียงของสิ่งพิมพ์แย่ลงดังนั้นสำหรับฉันดูเหมือนว่าหากคุณสงสัยว่าอคติของสิ่งพิมพ์นั้นเป็นปัญหาคุณไม่สามารถใช้โมเดลเอฟเฟกต์แบบสุ่มได้

ด้วยการเลือกสำหรับนัยสำคัญทางสถิติ REE จะมีอคติมากกว่าค่าธรรมเนียม (ตารางที่ 3) เสมอ สิ่งที่ไม่สามารถคาดการณ์ได้นี้เกิดจากข้อเท็จจริงที่ว่า REE นั้นเป็นค่าเฉลี่ยถ่วงน้ำหนักของค่าเฉลี่ยแบบง่ายซึ่งมีอคติการตีพิมพ์ที่ใหญ่ที่สุดและค่าธรรมเนียม

ฉันถือว่าอคติการตีพิมพ์เป็นปัญหาที่ร้ายแรง

วิธีการง่าย ๆ : สร้างแบบจำลองความแตกต่างภายใต้ PET-PEESE

หากฉันเข้าใจคำถามอย่างถูกต้องฉันคิดว่าวิธีการนี้เป็นจุดเริ่มต้นที่ใช้งานได้จริงมากที่สุด

วิธีการ PET-PEESE นำไปสู่การขยายไปสู่การวิเคราะห์อภิมาน หากแหล่งที่มาของความแตกต่างส่วนใหญ่เกิดจากตัวแปรที่แตกต่างกันในขนาดของเอฟเฟกต์มากกว่าที่คุณสามารถสร้างแบบจำลองความแตกต่างเป็นเอฟเฟกต์คงที่โดยการรวมตัวแปรตัวบ่งชี้ (1/0) สำหรับแต่ละตัวแปร * นอกจากนี้หากคุณสงสัยว่าตัวแปรบางตัวมีคุณสมบัติการวัดที่ดีขึ้นหรือมีความสัมพันธ์ใกล้ชิดกับโครงสร้างที่คุณสนใจคุณอาจต้องการดูรูปแบบการวิเคราะห์ meta-Hunter และ Schmidt พวกเขาเสนอการแก้ไขข้อผิดพลาดในการวัด

วิธีการนี้อาจให้แนวคิดเบื้องต้นเกี่ยวกับขนาดของอคติการตีพิมพ์ผ่านการสกัดกั้น PET และ PEESE และความแตกต่างโดยขึ้นอยู่กับความแปรปรวนของผลกระทบคงที่

วิธีการที่ซับซ้อนมากขึ้น: ความหลากหลายของโมเดลและอคติการตีพิมพ์อย่างชัดเจน

ฉันหมายถึงคุณจำลองแบบการเกิดอคติการตีพิมพ์อย่างชัดเจนตามเอกสารของ Stanley และ Doucouliagos คุณต้องเขียน Cheung สามระดับอย่างชัดเจนเป็นเอฟเฟกต์แบบสุ่ม กล่าวอีกนัยหนึ่งวิธีการนี้กำหนดให้คุณต้องระบุความเป็นไปได้ด้วยตัวคุณเองและอาจจะเป็นการสนับสนุนวิธีการในตัวของมันเอง

ฉันคิดว่ามันเป็นไปได้ที่จะระบุความน่าจะเป็น (กับนักบวชที่เหมาะสม) ตามแนวทาง Bayes แบบลำดับชั้นในสแตนและใช้การประเมินหลัง คู่มือการมีส่วนสั้น ๆ เกี่ยวกับ meta-analysis รายการผู้ใช้ยังมีประโยชน์มาก

แนวทางที่สองน่าจะเกินความจำเป็นสำหรับสิ่งที่คุณต้องการในขั้นตอนนี้ แต่อาจจะถูกต้องมากกว่าวิธีแรก และฉันจะสนใจว่ามันใช้งานได้ดีหรือไม่

* หากคุณมีตัวแปรจำนวนมาก (และขนาดของเอฟเฟ็กต์ไม่มาก) อาจจะดีกว่าถ้าจัดกลุ่มตัวแปรที่คล้ายกันเป็นกลุ่ม (ใช่นั่นคือการเรียกใช้วิจารณญาณ) และใช้ตัวแปรตัวบ่งชี้กลุ่ม

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.