ข้อดีและข้อเสียของการวิเคราะห์อภิมาน

ฉันกำลังพิจารณาทำการวิเคราะห์อภิมานสำหรับสาขาวิชาเฉพาะทางด้านการวิวัฒนาการ แต่ก่อนที่ฉันจะไปไกลกว่านี้ฉันอยากรู้ ข้อดีและข้อเสียของกระบวนการคืออะไร ตัวอย่างเช่นไม่จำเป็นต้องทำการทดลองเชิงปฏิบัติเป็นข้อได้เปรียบ (เวลาและเงิน) แต่จะมีอคติการตีพิมพ์ (มีการเผยแพร่ผลลัพธ์ที่น่าตื่นเต้นมากขึ้น) ซึ่งจะเสียเปรียบ

วารสารทางสถิติเรื่องใดที่กล่าวถึงข้อดีข้อเสียของการวิเคราะห์อภิมาน

รู้เบื้องต้นเกี่ยวกับการวิเคราะห์ Metaโดย Borenstein, Hedges, Higgins และ Rothstein ให้การอภิปรายอย่างละเอียดเกี่ยวกับข้อดีข้อเสียของการวิเคราะห์อภิมาน ดูตัวอย่างบท " คำวิจารณ์ของการวิเคราะห์เมตา " ที่ผู้เขียนตอบสนองต่อการวิพากษ์วิจารณ์ต่างๆของการวิเคราะห์เมตา ฉันบันทึกหัวข้อหัวข้อสำหรับบทนั้นแล้วทำการสังเกตจากหน่วยความจำที่เกี่ยวข้องกับประเด็นนั้น:

• "หมายเลขหนึ่งไม่สามารถสรุปเขตข้อมูลการวิจัย": การวิเคราะห์เมตาที่ดีจะเป็นแบบจำลองความแปรปรวนของขนาดผลกระทบที่แท้จริงและแบบจำลองความไม่แน่นอนของการประมาณ
• "ปัญหาลิ้นชักไฟล์ทำให้การวิเคราะห์ meta เป็นโมฆะ": แปลงช่องทางและเครื่องมือที่เกี่ยวข้องช่วยให้คุณเห็นว่าขนาดตัวอย่างเกี่ยวข้องกับขนาดเอฟเฟกต์เพื่อตรวจสอบอคติการเผยแพร่หรือไม่ เมตาดาต้าที่ดีวิเคราะห์พยายามที่จะได้รับการศึกษาที่ไม่ได้เผยแพร่ ปัญหานี้มีการแบ่งปันกับการศึกษาเชิงบรรยาย
• "การผสมแอปเปิ้ลและส้ม": การวิเคราะห์เมตาดีให้ระบบการเข้ารหัสที่เข้มงวดสำหรับการจัดหมวดหมู่การศึกษาที่รวมไว้ หลังจากจัดประเภทการศึกษาแล้วการวิเคราะห์ผู้ดำเนินการสามารถดำเนินการเพื่อดูว่าขนาดของผลกระทบแตกต่างกันตามประเภทการศึกษา
• "การศึกษาที่สำคัญจะถูกเพิกเฉย": คุณสามารถกำหนดรหัสสำหรับการประเมินคุณภาพของการศึกษาได้ ตัวอย่างขนาดใหญ่สามารถให้น้ำหนักที่มากกว่า
• "การวิเคราะห์เมตาสามารถไม่เห็นด้วยกับการทดลองแบบสุ่ม":
• "การวิเคราะห์เมตาดาต้าดำเนินการไม่ดี": นี่เป็นเพียงข้อโต้แย้งสำหรับการปรับปรุงมาตรฐานของวิธีการวิเคราะห์เมตา
• "การทบทวนการบรรยายเป็นเรื่องที่ดีกว่าหรือไม่": บทวิจารณ์หลายบทของการวิเคราะห์อภิมาน (เช่นอคติการตีพิมพ์) มีการแบ่งปันโดยความคิดเห็นเชิงบรรยาย เป็นเพียงวิธีการอนุมานที่ชัดเจนน้อยกว่าและเข้มงวดน้อยลงในการแสดงความคิดเห็นเชิงบรรยาย

จากประสบการณ์ของฉันในการทำสิ่งเหล่านี้ถ้าพวกเขาไม่เคยทำมาก่อนเพราะคุณไม่ได้ให้ความสนใจในเรื่องใดเรื่องหนึ่งวารสารที่ถูกต้องไม่มีอคติกับพวกเขา การวิเคราะห์เมตาจะไม่ได้รับในวิทยาศาสตร์ แต่ในวารสารที่ดีของคุณมักจะดีกับการวิเคราะห์เมตาดาต้าใหม่

เวลาและค่าใช้จ่ายที่ประหยัดไม่ได้ทำการทดลองมักทำให้คนอื่นกิน หนึ่งใน biggies คือบทความจำนวนมากไม่รายงานข้อมูลเพียงพอที่จะวิเคราะห์ คุณมักจะต้องติดต่อผู้เขียนเพื่อกู้คืนและน่าเสียดายที่พวกเขามักจะไม่สามารถหรือไม่ปฏิบัติตามคำขอ มันเป็นช่วงเวลาที่ยิ่งใหญ่ที่สุดของกระบวนการ

คุณพลาดข้อดีบางอย่างเช่นอัตราการอ้างอิงสูง หากคุณเป็นคนแรกและคนเดียวในการวิเคราะห์ meta-analysis นักวิจัยมักจะอ้างบทความของคุณ อีกอาชีพหนึ่งคือการศึกษาติดตามผลที่ค่อนข้างง่าย ในปีหรือสองปีในสาขาการศึกษาที่มีพลวัตคุณเพียงแค่เพิ่มการวิจัยสองปีถัดไปเพื่อติดตามการวิเคราะห์อภิมาน มันค่อนข้างง่ายในการเลือกวิเคราะห์เมตาในการศึกษาหากคุณเป็นผู้มีอิทธิพลคนแรก จากนั้นจะนำไปสู่อัตราการอ้างอิงที่ค่อนข้างสูง

หากคุณกังวลว่าผลลัพธ์ที่คุณได้รับจากวรรณกรรมมีอคติการตีพิมพ์มีเทคนิคทางสถิติเช่นช่องทางแปลง (ขนาดการศึกษา (มักจะ -se) ในแกน y และผลกระทบต่อ x) ที่สามารถใช้เพื่อ ตรวจจับเช่น วรรณกรรมที่เป็นกลางในเรื่องจะมีแนวโน้มที่จะได้ผลลัพธ์ที่สมมาตรในพล็อตช่องทาง แต่ผลที่เกิดจากอคติการตีพิมพ์จะดูคล้ายกับว่ามันเป็นแค่ครึ่งหนึ่ง และไม่เหมือนกับการทำการทดลองการค้นหาว่าข้อมูลที่นำไปสู่การวิเคราะห์เมตานั้นมีความลำเอียงสามารถเผยแพร่ได้

ฉันคิดว่าฉันจะวิจารณ์เกี่ยวกับ "การวิพากษ์วิจารณ์เมตาวิเคราะห์" ด้วยคำขอโทษต่อ Michael Borenstein และเพื่อนร่วมงาน

• "หมายเลขหนึ่งไม่สามารถสรุปเขตข้อมูลการวิจัย": การวิเคราะห์เมตาที่ดีจะเป็นแบบจำลองความแปรปรวนของขนาดผลกระทบที่แท้จริงและแบบจำลองความไม่แน่นอนของการประมาณ

! ความแปรปรวนเป็นเพียงอีกข้อสรุปหนึ่งที่อาจทำให้เข้าใจผิดเนื่องจากไม่มีความเป็นไปได้และทั้งคู่จะทำให้เข้าใจผิดมากหากอคติที่เกือบจะแน่นอนว่ายังไม่ได้รับการจัดการอย่างชัดเจน

• "ปัญหาลิ้นชักไฟล์ทำให้การวิเคราะห์ meta เป็นโมฆะ": แปลงช่องทางและเครื่องมือที่เกี่ยวข้องช่วยให้คุณเห็นว่าขนาดตัวอย่างเกี่ยวข้องกับขนาดเอฟเฟกต์เพื่อตรวจสอบอคติการเผยแพร่หรือไม่ เมตาดาต้าที่ดีวิเคราะห์พยายามที่จะได้รับการศึกษาที่ไม่ได้เผยแพร่ ปัญหานี้มีการแบ่งปันกับการศึกษาเชิงบรรยาย

! อย่างที่ Box เคยพูดไว้ - เหมือนการส่งเรือแถวออกไปเพื่อดูว่าทะเลสงบพอที่จะให้ Queen Mary เดินทางเข้ามาได้หรือไม่ พลังงานต่ำมากและกระบวนการตรวจสอบที่ผิดพลาดเกือบจะแน่นอน

• "การผสมแอปเปิ้ลและส้ม": การวิเคราะห์เมตาดีให้ระบบการเข้ารหัสที่เข้มงวดสำหรับการจัดหมวดหมู่การศึกษาที่รวมไว้ หลังจากจัดประเภทการศึกษาแล้วการวิเคราะห์ผู้ดำเนินการสามารถดำเนินการเพื่อดูว่าขนาดของผลกระทบแตกต่างกันตามประเภทการศึกษา

! พลังงานที่สิ้นหวังอีกครั้งและมักจะมีอคติในการเกลี่ยรวมเช่นกัน

• "การศึกษาที่สำคัญจะถูกเพิกเฉย": คุณสามารถกำหนดรหัสสำหรับการประเมินคุณภาพของการศึกษาได้ ตัวอย่างขนาดใหญ่สามารถให้น้ำหนักที่มากกว่า

! ตอนนี้กำลังสิ้นหวังแบบจำลองข้อมูลจำเพาะผิดพลาดและความเอนเอียงไม่ได้ถูกนำมาพิจารณาอย่างถูกต้องเสมอไปในเรื่องอคติที่เกิดจากคะแนนคุณภาพในการวิเคราะห์อภิมาน

• "การวิเคราะห์เมตาสามารถไม่เห็นด้วยกับการทดลองแบบสุ่ม":

! เห็นด้วยอย่างเต็มที่และยังเป็นแหล่งเดียวเกี่ยวกับความไม่แน่นอนที่แท้จริงของพวกเขา

• "การวิเคราะห์เมตาดาต้าดำเนินการไม่ดี": นี่เป็นเพียงข้อโต้แย้งสำหรับการปรับปรุงมาตรฐานของวิธีการวิเคราะห์เมตา

! เห็นด้วยอย่างเต็มที่.

• "การทบทวนการบรรยายเป็นเรื่องที่ดีกว่าหรือไม่": บทวิจารณ์หลายบทของการวิเคราะห์อภิมาน (เช่นอคติการตีพิมพ์) มีการแบ่งปันโดยความคิดเห็นเชิงบรรยาย เป็นเพียงวิธีการอนุมานที่ชัดเจนน้อยกว่าและเข้มงวดน้อยลงในการแสดงความคิดเห็นเชิงบรรยาย

! เห็นด้วยอย่างเต็มที่.

ไม่แน่ใจว่าทำไมผู้ดูแลวรรณคดีวิเคราะห์อภิมานส่วนใหญ่เช่นแว่นตาสีกุหลาบ - เมตาวิเคราะห์ต้องทำวิเคราะห์เมตาในการวิจัยทางการแพทย์: การสนับสนุนที่แข็งแกร่งสำหรับคุณภาพที่สูงขึ้นในความพยายามการวิจัยส่วนบุคคลแต่ควรจะทำอย่างยิ่ง The worts

และในขณะที่ฉันลืมไปเกือบตลอดเวลาฉันต้องอธิบายให้ชัดเจนว่าฉันหมายถึงอะไรโดยการวิเคราะห์อภิมานเหมือนกับสิ่งที่คนอื่นใช้ทำให้ค่าเฉลี่ยแตกต่างกันไปตามเวลาและสถานที่และบางทีอาจเป็นความหมายทั่วไปที่สุดในวันนี้ ในการทบทวนอย่างเป็นระบบ - ไม่ใช่สิ่งที่ฉันหมายถึง ฉันหมายถึงกระบวนการตรวจสอบทั้งหมดอย่างเป็นระบบแม้ว่าจะมีการตัดสินใจว่าจะไม่ใช้วิธีการเชิงปริมาณใด ๆ ก็ตาม หรือในประโยคเดียวตามที่ยกมาในวิกิ

ในสถิติการวิเคราะห์เมตาหมายถึงวิธีการที่มุ่งเน้นไปที่การตัดกันและการรวมผลลัพธ์จากการศึกษาที่แตกต่างกันโดยหวังว่าจะระบุรูปแบบในผลการศึกษาแหล่งที่มาของความขัดแย้งในผลลัพธ์เหล่านั้นหรือความสัมพันธ์ที่น่าสนใจอื่น ๆ การศึกษาหลายครั้ง