การชั่งน้ำหนักเป็นไปตามความแม่นยำ (เช่นการแปรผกผัน) เป็นส่วนสำคัญของการวิเคราะห์อภิมาน

การชั่งน้ำหนักตามความแม่นยำเป็นศูนย์กลางของการวิเคราะห์เมตาหรือไม่ Borenstein และคณะ (2009) เขียนว่าสำหรับการวิเคราะห์อภิมานเป็นไปได้ทั้งหมดที่จำเป็นคือ:

1. การศึกษารายงานการประเมินจุดที่สามารถแสดงเป็นตัวเลขเดียว
2. ความแปรปรวนสามารถคำนวณได้สำหรับการประเมินจุดนั้น

ไม่ชัดเจนสำหรับฉันทันทีว่าทำไม (2) จำเป็นอย่างยิ่ง แต่ที่จริงแล้ววิธีการวิเคราะห์เมตาดาต้าที่ได้รับการยอมรับอย่างกว้างขวางทั้งหมดนั้นขึ้นอยู่กับแผนการชั่งน้ำหนักที่มีความแม่นยำ (เช่นความแปรปรวนผกผัน) ซึ่งต้องการการประมาณความแปรปรวนสำหรับขนาดผลการศึกษาของแต่ละคน โปรดทราบว่าในขณะที่วิธีการของ Hedges (Hedges & Olkin, 1985; Hedges & Vevea, 1998) และวิธีของ Hunter and Schmidt (Hunter & Schmidt, 2004) โดยทั่วไปใช้การถ่วงน้ำหนักขนาดตัวอย่างวิธีการเหล่านี้ใช้เฉพาะกับความแตกต่างของค่าเฉลี่ย ค่าเบี่ยงเบนมาตรฐานที่อื่น มันทำให้รู้สึกว่าน้ำหนักแปรผกผันกับความแปรปรวนในการศึกษาแต่ละครั้งจะลดความแปรปรวนในการประมาณขนาดผลกระทบโดยรวมดังนั้นรูปแบบการให้น้ำหนักนี้เป็นคุณสมบัติที่จำเป็นของวิธีการทั้งหมดหรือไม่?

เป็นไปได้หรือไม่ที่จะทำการตรวจสอบอย่างเป็นระบบโดยไม่ต้องเข้าถึงความแปรปรวนของขนาดเอฟเฟกต์แต่ละขนาดและยังคงเรียกผลลัพธ์ว่าเป็นการวิเคราะห์อภิมาน ขนาดตัวอย่างดูเหมือนจะมีศักยภาพในฐานะพร็อกซีเพื่อความแม่นยำเมื่อความแปรปรวนไม่พร้อมใช้งาน ยกตัวอย่างเช่นเราสามารถใช้น้ำหนักตัวอย่างขนาดหนึ่งในการศึกษาที่กำหนดขนาดเอฟเฟกต์เป็นความแตกต่างของค่าเฉลี่ยดิบหรือไม่ สิ่งนั้นจะส่งผลต่อความสอดคล้องและประสิทธิภาพของขนาดผลเฉลี่ยที่ได้อย่างไร

คำถามนั้นยากที่จะตอบเพราะมันบ่งบอกถึงความสับสนทั่วไปและสถานะของกิจการที่ยุ่งเหยิงในวรรณคดี meta-analytic ส่วนใหญ่ (OP ไม่ได้ตำหนิที่นี่ - มันเป็นวรรณกรรมและคำอธิบายของวิธีการ แบบจำลองและสมมติฐานที่มักจะไม่เป็นระเบียบ)

แต่จะทำให้เรื่องราวสั้น ๆ สั้น ๆ : ไม่ถ้าคุณต้องการรวมการประมาณจำนวนมาก (นั่นคือผลกระทบเชิงปริมาณระดับความสัมพันธ์หรือผลลัพธ์อื่น ๆ ที่เกี่ยวข้อง) และมีเหตุผลที่จะรวมตัวเลขเหล่านั้นเข้าด้วยกัน จากนั้นคุณก็สามารถใช้ค่าเฉลี่ย (ไม่ถ่วง) ของพวกเขาและนั่นจะดีอย่างสมบูรณ์ ไม่มีอะไรผิดปกติกับสิ่งนั้นและภายใต้แบบจำลองที่เรามักจะคิดเมื่อเราทำการวิเคราะห์เมตาดาต้าสิ่งนี้ยังช่วยให้คุณมีการประเมินที่เป็นกลาง (สมมติว่าการประมาณการของตัวเองไม่มีอคติ) ดังนั้นไม่คุณไม่จำเป็นต้องมีผลต่างการสุ่มตัวอย่างเพื่อรวมการประมาณการ

แล้วทำไมน้ำหนักถ่วงแปรปรวนเกือบจะตรงกันกับการวิเคราะห์อภิมานจริง ๆ สิ่งนี้เกี่ยวข้องกับแนวคิดทั่วไปที่เราให้ความน่าเชื่อถือมากขึ้นกับการศึกษาขนาดใหญ่ (ที่มีผลต่างการสุ่มตัวอย่างน้อย) กว่าการศึกษาขนาดเล็ก (ด้วยผลต่างการสุ่มตัวอย่างที่มากขึ้น) ในความเป็นจริงภายใต้สมมติฐานของแบบจำลองทั่วไปการใช้น้ำหนักถ่วงแปรปรวนแบบผกผันนำไปสู่การประมาณค่าความแปรปรวนขั้นต่ำที่สม่ำเสมอ(UMVUE) - เป็นอย่างดีโดยสมมติว่ามีการประเมินที่เป็นกลางและไม่สนใจข้อเท็จจริงที่ว่าการสุ่มตัวอย่างความแปรปรวนมักไม่ทราบอย่างแน่นอน แต่มีการประเมินตัวเองและในแบบจำลองเอฟเฟกต์แบบสุ่มเราต้องประเมินองค์ประกอบความแปรปรวนสำหรับความหลากหลาย แต่แล้วเราก็ถือว่ามันเป็นค่าคงที่รู้จักซึ่งไม่ถูกต้องเช่นกัน ... แต่ใช่เราจะได้รับ UMVUE ถ้าเราใช้น้ำหนักผกผันแปรปรวนถ้าเราแค่เหล่ตาหนักมากและเพิกเฉยต่อสิ่งเหล่านี้ ปัญหา

ดังนั้นประสิทธิภาพของตัวประมาณที่อยู่ที่นี่ไม่ใช่ความเป็นกลาง แต่แม้แต่ค่าเฉลี่ยที่ไม่ได้ถ่วงน้ำหนักก็มักจะไม่ได้มีประสิทธิภาพมากน้อยไปกว่าการใช้ค่าเฉลี่ยผกผัน - แปรปรวนโดยเฉพาะอย่างยิ่งในโมเดลสุ่มเอฟเฟ็กต์และเมื่อจำนวนของความหลากหลายเป็นจำนวนมาก (ในกรณีนี้ อย่างไรก็ตาม!). แต่ถึงแม้จะอยู่ในโมเดลที่มีเอฟเฟกต์คงที่หรือมีความแตกต่างกันเล็กน้อยความแตกต่างมักจะไม่ท่วมท้น

และอย่างที่คุณพูดถึงเราสามารถพิจารณาแผนการถ่วงน้ำหนักอื่น ๆ ได้อย่างง่ายดายเช่นการชั่งน้ำหนักตามขนาดตัวอย่างหรือฟังก์ชั่นบางอย่างของมัน แต่อีกครั้งนี่เป็นเพียงความพยายามที่จะทำให้บางสิ่งบางอย่างใกล้เคียงกับน้ำหนักแปรปรวน ขอบเขตขนาดใหญ่พิจารณาจากขนาดตัวอย่างของการศึกษา)

แต่จริงๆแล้วใคร ๆ ก็สามารถ 'ควรแยกออก' ปัญหาเรื่องน้ำหนักและความแปรปรวนร่วมกัน พวกเขาเป็นสองชิ้นที่แยกต่างหากที่เราต้องคิด แต่นั่นไม่ใช่วิธีการนำเสนอสิ่งต่าง ๆ ในวรรณกรรม

อย่างไรก็ตามประเด็นที่นี่คือคุณต้องคิดถึงทั้งสองอย่างจริงๆ ใช่คุณสามารถรับค่าเฉลี่ยแบบไม่ถ่วงน้ำหนักเป็นค่าประมาณแบบรวมของคุณและนั่นก็คือการวิเคราะห์เมตา แต่เมื่อคุณต้องการเริ่มทำการอนุมานโดยใช้การประมาณแบบรวม (เช่นทำการทดสอบสมมติฐานสร้างช่วงความมั่นใจ ) คุณต้องทราบความแปรปรวนของการสุ่มตัวอย่าง (และปริมาณของความหลากหลาย) คิดแบบนี้: ถ้าคุณรวมการศึกษาเล็ก ๆ (และ / หรือแตกต่างกันมาก) การประมาณจุดของคุณจะแม่นยำน้อยกว่าทั้งที่คุณรวมจำนวนมาก (และ / หรือเป็นเนื้อเดียวกัน) จำนวนเท่ากัน การศึกษา - ไม่ว่าคุณจะคำนวณน้ำหนักโดยรวมอย่างไรเมื่อคำนวณค่าที่รวม

ที่จริงแล้วมีบางวิธีที่ไม่ทราบความแปรปรวนของการสุ่มตัวอย่าง (และปริมาณของความหลากหลาย) เมื่อเราเริ่มทำสถิติเชิงอนุมาน เราสามารถพิจารณาวิธีการตามการresampling (เช่น bootstrapping การทดสอบการเปลี่ยนแปลง) หรือวิธีการที่ทำให้เกิดข้อผิดพลาดมาตรฐานที่สอดคล้องกันสำหรับการประเมินแบบรวมแม้ว่าเราจะทำพลาดส่วนต่างๆของแบบจำลอง แต่วิธีการเหล่านี้อาจจำเป็นต้องประเมินอย่างรอบคอบ พื้นฐานเป็นกรณี ๆ ไป

หากคุณทราบข้อผิดพลาดมาตรฐานบางอย่าง แต่ไม่ใช่ทั้งหมดนี่คือวิธีแก้ไข:

(1) สมมติว่า SE ไม่ทราบถูกสุ่มจากการแจกแจงแบบเดียวกันกับ SE ที่รู้จักหรือปล่อยให้การแจกแจง SE ของการประมาณค่าของเอกสารที่ไม่รู้จัก SE เป็นตัวแปรอิสระ หากคุณต้องการแฟนซีคุณสามารถใช้ค่าเฉลี่ยโมเดลมากกว่าตัวเลือกเหล่านี้

(2) ประมาณการผ่านโอกาสสูงสุด

หากการศึกษาของคุณกับ SE ที่ไม่รู้จักนั้นเป็น 'ผิดเพี้ยน' แบบจำลองจะอธิบายความผิดปกติในการผสมผสานของวิธีการเหล่านี้:

(a) การศึกษาน่าจะมี SE สูงสำหรับการประเมิน (การศึกษาน่าจะมีพลังงานต่ำ)

(b) การศึกษาน่าจะมีองค์ประกอบผลกระทบแบบสุ่มขนาดใหญ่ (นักวิจัยเลือกชุดข้อมูลหรือวิธีการอื่น ๆ ซึ่งให้ผลลัพธ์ที่ผิดปกติ)

ผลที่ได้คือโมเดลนี้จะลดความแม่นยำที่มีประสิทธิภาพของการประมาณด้วย SE ที่ไม่รู้จักเนื่องจากมันผิดปกติมากขึ้น ในแง่นี้มันมีความแข็งแกร่งสูงในการรวม 'ค่าผิดปกติ' ในเวลาเดียวกันถ้าคุณเพิ่มการศึกษาจำนวนมากที่มีความแปรปรวนที่ไม่ทราบ แต่ด้วยผลลัพธ์ที่เป็นเรื่องปกติ SE หรือการประเมินขั้นสุดท้ายของคุณจะลดลง