เหตุผลสำหรับรูปแบบผลกระทบคงที่และแบบสุ่มผลกระทบในการวิเคราะห์เมตา

ฉันได้อ่านสิ่งพิมพ์หลายฉบับที่พยายามแสดงให้เห็นถึงการใช้โมเดลเอฟเฟกต์คงที่พร้อมกับข้อความตามบรรทัดของ อย่างไรก็ตามฉันกังวลว่ามันอาจเป็นวิธีการวิเคราะห์ข้อมูลที่ไม่เหมาะสม

มีเหตุผลหรือสิ่งตีพิมพ์ที่จะพูดถึงว่าเหตุใดจึงเป็นความผิดพลาดหรือไม่?

หมายเหตุ: หากคุณต้องการคำตอบอย่างรวดเร็วสำหรับคำถามของคุณเกี่ยวกับการใช้การทดสอบความแตกต่างในการตัดสินใจให้เลื่อนลงไปที่ " เหตุผลอันสมควรมีเหตุผล? "

มีเหตุผลเพียงเล็กน้อย (บางส่วนมีเหตุผลมากกว่าหรือน้อยกว่าบางข้อ) ที่นักวิจัยเสนอสำหรับการเลือกผลกระทบคงที่และการสังเคราะห์เมตาวิเคราะห์แบบสุ่ม สิ่งเหล่านี้ถูกกล่าวถึงในตำราการวิเคราะห์เมตาดาต้าเบื้องต้นเช่น Borenstein และคณะ (2009), การ์ด (2011) และ Cooper (2017)

หากไม่มีการกล่าวโทษหรือกล่าวโทษเหตุผลใด ๆ (ยัง) พวกเขารวมถึง:

เหตุผลสำหรับการเลือกรูปแบบคงที่ของผลกระทบ

1. ความเรียบง่ายเชิงวิเคราะห์ : บางคนรู้สึกว่าการคำนวณ / การตีความของแบบจำลองเอฟเฟกต์สุ่มนั้นอยู่เหนือความเข้าใจทางสถิติและติดอยู่กับแบบจำลองที่ง่ายกว่า ด้วยโมเดลผลกระทบคงที่นักวิจัยจำเป็นต้องประเมินความแปรปรวนของขนาดผลกระทบที่เกิดจากข้อผิดพลาดการสุ่มตัวอย่างเท่านั้น ดีขึ้นหรือแย่ลงนี่เป็นแนวทางปฏิบัติที่ได้รับการสนับสนุนอย่างชัดเจนใน Card (2011)

2. ความเชื่อก่อนหน้าในการไม่มีความแปรปรวนของระดับการศึกษา / ผู้ดำเนินรายการ : หากนักวิจัยเชื่อว่าขนาดผลกระทบทั้งหมดในตัวอย่างของพวกเขาแตกต่างกันเพียงเพราะข้อผิดพลาดการสุ่มตัวอย่าง - และไม่มีความแปรปรวนระดับการศึกษาอย่างเป็นระบบ มีความจำเป็นเล็กน้อยเพื่อให้พอดีกับแบบจำลองเอฟเฟกต์แบบสุ่มฉันคิดว่าเหตุผลนี้และอดีตบางครั้งเดินจับมือกันเมื่อนักวิจัยรู้สึกว่าแบบจำลองเอฟเฟกต์แบบสุ่มนั้นเกินความสามารถของพวกเขา ความจริงที่ว่าพวกเขาไม่ได้คาดหวังจำนวนที่แตกต่างกันของระดับการศึกษาที่แท้จริง

3. ผู้ดำเนินรายการอย่างเป็นระบบได้รับการพิจารณาอย่างถี่ถ้วนแล้ว : นักวิจัยบางคนอาจใช้การวิเคราะห์ที่มีผลคงที่หลังจากที่พวกเขาได้ตรวจสอบและนำเข้าบัญชีผู้ดูแลทุกคนที่พวกเขาสามารถคิดได้ เหตุผลพื้นฐานที่นี่คือเมื่อนักวิจัยได้คิดแหล่งที่มาของความแปรปรวนระดับการศึกษาที่เป็นไปได้ / มีความหมายทุกสิ่งที่เหลืออยู่ก็คือข้อผิดพลาดการสุ่มตัวอย่างและดังนั้นจึงไม่จำเป็นต้องมีแบบจำลองผลกระทบแบบสุ่ม

4. $Q$
5. ความตั้งใจที่จะทำการ จำกัด แบบ จำกัด / เจาะจง : แบบจำลองเอฟเฟกต์คงที่เหมาะสมสำหรับการพูดถึงรูปแบบของเอฟเฟกต์อย่างเข้มงวดภายในตัวอย่างของเอฟเฟกต์ นักวิจัยอาจปรับรูปแบบผลกระทบคงที่หากพวกเขาพูดได้ดีกับสิ่งที่เกิดขึ้นในตัวอย่างของพวกเขาและไม่คาดเดาสิ่งที่อาจเกิดขึ้นในการศึกษาที่พลาดโดยการทบทวนหรือในการศึกษาที่เกิดขึ้นหลังจากการทบทวน

เหตุผลสำหรับการเลือกรูปแบบสุ่มผลกระทบ

6. ความเชื่อก่อนหน้าในการศึกษาระดับความแปรปรวน / ผู้ดำเนินรายการ : ในทางตรงกันข้ามกับเหตุผลที่ 2 (ในความโปรดปรานของแบบจำลองผลกระทบคงที่) หากนักวิจัยคาดว่าจะมีจำนวนความแปรปรวนระดับการศึกษาที่มีความหมาย (และการกลั่นกรอง) เริ่มต้นที่การระบุรูปแบบผลกระทบแบบสุ่ม หากคุณมาจากภูมิหลังทางจิตวิทยา (ฉันทำ) สิ่งนี้กำลังกลายเป็นวิธีเริ่มต้นที่เป็นกิจวัตร / เป็นกำลังใจมากขึ้นของการคิดขนาดผล (เช่นดูคัมมิง, 2014)

7. $Q$$Q$$Q$

8. $Q$

9. ความตั้งใจที่จะสร้างการอนุมานแบบกว้าง ๆ / แบบทั่วไป : ต่างจากแบบจำลองเอฟเฟกต์คงที่โมเดลสุ่มเอฟเฟ็กต์อนุญาตให้นักวิจัยพูด (ในระดับหนึ่ง) นอกเหนือจากตัวอย่างในแง่ของรูปแบบของเอฟเฟ็กต์ / การกลั่นกรอง หากการอนุมานในระดับนี้เป็นที่ต้องการของนักวิจัยพวกเขาอาจต้องการแบบจำลองเอฟเฟกต์แบบสุ่ม

ผลที่ตามมาของการระบุรูปแบบที่ไม่ถูกต้อง

แม้ว่าจะไม่ได้เป็นส่วนหนึ่งที่ชัดเจนของคำถามของคุณผมคิดว่ามันเป็นสิ่งสำคัญที่จะชี้ให้เห็นว่าทำไมมันเป็นสิ่งสำคัญสำหรับนักวิจัยที่จะ "ได้รับมันขวา" เมื่อมีการเลือกระหว่างการแก้ไขผลกระทบและสุ่มผลรุ่น meta-analysis: มันส่วนใหญ่จะลงมาให้ประมาณค่า ความแม่นยำและอำนาจทางสถิติ

โมเดลผลกระทบคงที่มีประสิทธิภาพยิ่งขึ้นทางสถิติที่มีความเสี่ยงของการประมาณการที่แม่นยำดุ้งดิ้ง; แบบจำลองเอฟเฟกต์แบบสุ่มนั้นมีพลังทางสถิติน้อยกว่า แต่อาจสมเหตุสมผลกว่าหากมีความแตกต่างที่แท้จริง ในบริบทของการทดสอบของโมเดอเรเตอร์โมเดลผลคงที่สามารถประมาทขอบเขตความแปรปรวนข้อผิดพลาดได้ในขณะที่โมเดลสุ่มเอฟเฟกต์สามารถประเมินค่าขอบเขตความแปรปรวนของข้อผิดพลาดได้มากเกินไป (ขึ้นอยู่กับว่าสมมติฐานของโมเดลนั้นตรงหรือละเมิดหรือไม่ดู Overton, 1998) อีกครั้งในวรรณคดีจิตวิทยามีความรู้สึกเพิ่มมากขึ้นว่าฟิลด์นั้นอาศัยการวิเคราะห์อภิมานผลกระทบคงที่มากเกินไปและดังนั้นเราจึงทำให้เราหลงตัวเองไปสู่ความมั่นใจ / ความแม่นยำมากขึ้นในเอฟเฟกต์ของเรา (ดู Schmidt et al ., 2009)

เหตุผลใดที่สมเหตุสมผล

$Q$$Q$$Q$ มีแนวโน้มที่จะไม่สามารถตรวจพบความแตกต่างที่มีความหมายได้ (หรือกำลังเกินกว่าจะตรวจจับปริมาณความแตกต่างเล็กน้อย)

ความเรียบง่ายเชิงวิเคราะห์ (การอ้างเหตุผลที่ 1 ) ดูเหมือนเป็นอีกเหตุผลหนึ่งสำหรับแบบจำลองเอฟเฟกต์คงที่ซึ่งไม่น่าจะประสบความสำเร็จ (ด้วยเหตุผลที่ฉันคิดว่าชัดเจนกว่า) การพิสูจน์ว่าผู้ดูแลที่เป็นไปได้ทั้งหมดถูกใช้จนหมด ( Justification 3 ) ในทางกลับกันอาจมีความน่าสนใจมากกว่าในบางกรณีหากผู้วิจัยสามารถแสดงให้เห็นว่าพวกเขาได้พิจารณา / จำลองตัวแปรผู้ดูแลที่หลากหลาย หากพวกเขาเขียนโค้ดผู้ดูแลเพียงไม่กี่ข้อเหตุผลนี้น่าจะถูกมองว่าเป็นคนค่อนข้างบอบบาง / บอบบาง

การปล่อยให้ข้อมูลทำการตัดสินใจผ่านโมเดลสุ่มเอฟเฟกต์เริ่มต้น ( Justification 8 ) เป็นสิ่งที่ฉันรู้สึกไม่แน่ใจ แน่นอนว่ามันไม่ใช่การตัดสินใจที่ใช้งาน / เป็นหลัก แต่ควบคู่ไปกับการเปลี่ยนแปลงของจิตวิทยาไปสู่การเลือกแบบจำลองเอฟเฟกต์แบบสุ่มเป็นค่าเริ่มต้นมันอาจพิสูจน์ได้ว่าเป็นเหตุผลที่ยอมรับได้

ที่ทิ้งเหตุผลที่เกี่ยวข้องกับความเชื่อก่อนหน้านี้เกี่ยวกับการกระจาย (s) ของผลกระทบ ( Justification 2และJustification 6 ) และผู้ที่เกี่ยวข้องกับชนิดของการอนุมานนักวิจัยที่ต้องการได้รับอนุญาตให้ทำ ( Justification 5และJustification 9) ความน่าเชื่อถือของความเชื่อก่อนหน้านี้เกี่ยวกับการกระจายของผลกระทบส่วนใหญ่จะมาลงที่คุณสมบัติของการวิจัยที่คุณกำลังสังเคราะห์ ตามบันทึกของ Cooper (2017) หากคุณกำลังสังเคราะห์ผลกระทบของกระบวนการกลไก / สากลที่รวบรวมจากบริบท / ตัวอย่างที่คล้ายกันเป็นส่วนใหญ่และในสภาพแวดล้อมที่มีการควบคุมอย่างเข้มงวดการวิเคราะห์ผลกระทบคงที่อาจสมเหตุสมผลทั้งหมด การสังเคราะห์ผลลัพธ์จากการจำลองของการทดลองเดียวกันจะเป็นตัวอย่างที่ดีว่าเมื่อใดที่กลยุทธ์การวิเคราะห์นี้น่าจะเป็นที่ต้องการ (ดู Goh et al., 2016) อย่างไรก็ตามหากคุณกำลังสังเคราะห์สนามที่มีการออกแบบการจัดการการวัดบริบทและลักษณะตัวอย่างแตกต่างกันไปเล็กน้อยดูเหมือนว่าจะยากขึ้นที่จะโต้แย้งว่ามีการศึกษาอย่างแน่นอนผลเหมือนกันในแต่ละอินสแตนซ์ ประการสุดท้ายการอ้างถึงชนิดหนึ่งที่ประสงค์จะทำให้ดูเหมือนเป็นเรื่องของความชอบ / รสนิยมส่วนตัวดังนั้นฉันไม่แน่ใจว่าจะเริ่มโต้แย้งหรือคัดค้านข้ออ้างนี้ได้อย่างไร

อ้างอิง

Borenstein, M. , Hedges, LV, Higgins, JPT, & Rothstein, HR (2009) รู้เบื้องต้นเกี่ยวกับ meta-analysis West Sussex, UK: Wiley

การ์ด, NA (2011) การวิเคราะห์อภิมานประยุกต์เพื่อการวิจัยทางสังคมศาสตร์ นิวยอร์กนิวยอร์ก: Guilford กด

Cooper, H. (2017) การสังเคราะห์การวิจัยและการวิเคราะห์เมตา: วิธีการทีละขั้นตอน เทาซันด์โอ๊คส์แคลิฟอร์เนีย: Sage

คัมมิง, กรัม (2014) สถิติใหม่: ทำไมและอย่างไร วิทยาศาสตร์จิตวิทยา , 25 (1), 7-29

Goh, JX, Hall, JA, & Rosenthal, R. (2016) Mini Meta ‐ การวิเคราะห์การศึกษาของคุณเอง: ข้อโต้แย้งบางประการเกี่ยวกับสาเหตุและวิธีการเบื้องต้น เข็มทิศจิตวิทยาสังคมและบุคลิกภาพ , 10 (10), 535-549

โอเวอร์ตัน, RC (1998) การเปรียบเทียบแบบจำลองเอฟเฟกต์คงที่และแบบผสม (เอฟเฟ็กต์แบบสุ่ม) สำหรับการทดสอบการวิเคราะห์เมตาของเอฟเฟกต์ตัวแปรผู้ควบคุม วิธีการทางจิตวิทยา , 3 (3), 354-379

Schmidt, FL, Oh, IS, & Hayes, TL (2009) แบบจำลองเอฟเฟกต์คงที่และแบบสุ่มในการวิเคราะห์เมตา: คุณสมบัติของแบบจำลองและการเปรียบเทียบเชิงประจักษ์ของความแตกต่างในผลลัพธ์ วารสารวิชาคณิตศาสตร์และสถิติอังกฤษ , 62 (1), 97-128

คุณถามโดยเฉพาะสำหรับการอ้างอิง

การอ้างอิงแบบดั้งเดิมสำหรับบทความนี้น่าจะเป็นบทความโดย Hedges และ Vevea เรื่อง " แบบจำลองคงที่และแบบสุ่มผลกระทบในการวิเคราะห์เมตา "

หากคุณทำงานเกี่ยวกับสุขภาพบทที่เกี่ยวข้องในคู่มือ Cochrane อาจเป็นสิ่งจำเป็นในการอ่านและมีความรู้สึกที่ดีมาก โดยเฉพาะอย่างยิ่งมันแสดงให้เห็นว่าเมื่อใดที่ไม่ควรคำนึงถึงการวิเคราะห์ meta-analysis และยังแยกความแตกต่างอย่างชัดเจนว่าจะทำอย่างไรกับความแตกต่างอื่น ๆ นอกเหนือจากแบบจำลองเอฟเฟกต์แบบสุ่ม