วิธีการตรวจสอบที่หนึ่งคือการศึกษาที่ดีขึ้นเมื่อพวกเขาให้ผลลัพธ์ที่ขัดแย้งกัน?

คุณมักจะเจอเจอกับสื่อต่าง ๆ ที่สรุปผลการวิจัยในทิศทางตรงกันข้าม สิ่งเหล่านี้อาจเกี่ยวข้องกับการทดสอบยาตามใบสั่งแพทย์ใหม่หรือประโยชน์ของสารอาหารที่เฉพาะเจาะจงหรือสิ่งอื่นใดสำหรับเรื่องนั้น

เมื่อการศึกษาสองแบบนั้นมาถึงผลลัพธ์ที่ขัดแย้งกันคุณจะบอกได้อย่างไรว่าหนึ่งในสองนั้นใกล้เคียงกับความจริงมากที่สุด

ฉันคิดว่าคำตอบของเจอโรมนั้นเพียงพอหากคุณกำลังตรวจสอบการศึกษาทดลองสองงานหรือการวิเคราะห์อภิมานจริง แต่บ่อยครั้งที่เราเผชิญกับการตรวจสอบการศึกษาที่ไม่ใช่การทดลองสองครั้งและได้รับมอบหมายให้ประเมินความถูกต้องของการค้นพบทั้งสองที่แตกต่างกัน

ตามรายการคำถามที่ร้านขายของชำของไซรัสแนะนำตัวเองหัวข้อนั้นไม่สามารถตอบสนองได้ในระยะสั้นและหนังสือทั้งเล่มมีจุดประสงค์เพื่อตอบคำถามดังกล่าว สำหรับผู้ที่สนใจในการทำวิจัยเกี่ยวกับข้อมูลที่ไม่ใช่การทดลองฉันขอแนะนำให้คุณอ่าน

การออกแบบการทดลองและกึ่งทดลองสำหรับการอนุมานสาเหตุโดยทั่วไปโดย William R. Shadish, Thomas D. Cook, Donald Thomas Campbell (นอกจากนี้ฉันเคยได้ยินว่าข้อความเก่า ๆ ในรุ่นนี้มีคุณภาพดีเช่นกัน)

หลายรายการที่ Jeromy อ้างถึง (ขนาดตัวอย่างที่ใหญ่กว่าและความเข้มงวดด้านระเบียบวิธีที่มากกว่า) และทุกสิ่งที่ไซรัสกล่าวถึงจะได้รับการพิจารณาว่าสิ่งที่แคมป์เบลและคุกเรียกว่า "ความถูกต้องภายใน" เหล่านี้รวมถึงแง่มุมของการออกแบบการวิจัยและวิธีการทางสถิติที่ใช้ในการประเมินความสัมพันธ์ระหว่าง X และ Y โดยเฉพาะอย่างยิ่งนักวิจารณ์เรามีความกังวลเกี่ยวกับแง่มุมต่าง ๆ ที่อาจมีอคติกับผลลัพธ์และลดความน่าเชื่อถือของผลการวิจัย เนื่องจากนี่เป็นฟอรัมที่อุทิศให้กับการวิเคราะห์ทางสถิติคำตอบส่วนใหญ่มีศูนย์กลางอยู่ที่วิธีการทางสถิติเพื่อให้แน่ใจว่าการประเมินความสัมพันธ์แบบใดก็ตามที่คุณกำลังประเมินอยู่โดยไม่ลำเอียง แต่สิ่งเหล่านี้เป็นแง่มุมอื่น ๆ ของการออกแบบการวิจัยที่ไม่เกี่ยวข้องกับการวิเคราะห์ทางสถิติที่ลดความถูกต้องของผลการวิจัยไม่ว่าสิ่งใดที่มีความยาวอย่างเข้มงวดในการวิเคราะห์ทางสถิติ (เช่นการกล่าวถึงของไซรัสในแง่มุมต่างๆ วิธีการทางสถิติและหากเกิดขึ้นจะลดความถูกต้องของผลการศึกษาเสมอ) มีแง่มุมอื่น ๆ อีกมากมายของความมีเหตุผลภายในซึ่งมีความสำคัญอย่างยิ่งต่อการประเมินในการเปรียบเทียบผลลัพธ์ของการศึกษาที่ไม่ใช่การทดลองที่ไม่ได้กล่าวถึงที่นี่และแง่มุมของการออกแบบการวิจัยที่สามารถแยกความน่าเชื่อถือของผลการวิจัย ฉันไม่คิดว่ามันจะเหมาะสมที่จะลงรายละเอียดมากเกินไปที่นี่

Campbell และ Cook ยังอ้างถึง "ความถูกต้องจากภายนอก" ของการศึกษา ด้านการออกแบบการวิจัยนี้มักจะมีขนาดเล็กกว่าในขอบเขตและไม่สมควรได้รับความสนใจมากเท่ากับความถูกต้องภายใน ความถูกต้องภายนอกนั้นเกี่ยวข้องกับความสามารถในการค้นพบทั่วไปและฉันจะบอกว่าคนธรรมดาสามารถประเมินความถูกต้องจากภายนอกได้อย่างมีเหตุผลพอสมควรตราบใดที่พวกเขาคุ้นเคยกับเรื่องนี้ เรื่องสั้นอ่านเรื่องของ Shadish, Cook's และ Campbell

วิเคราะห์เมตาวรรณกรรมมีความเกี่ยวข้องกับคำถามของคุณ การใช้เทคนิคการวิเคราะห์เมตาดาต้าคุณสามารถสร้างการประเมินผลของความสนใจรวมในการศึกษา เทคนิคดังกล่าวมักจะศึกษาน้ำหนักในแง่ของขนาดตัวอย่าง

ภายในบริบทการวิเคราะห์ meta นักวิจัยพูดคุยเกี่ยวกับผลกระทบคงที่และแบบจำลองผลกระทบแบบสุ่ม (ดูHunter และ Schmidt, 2002 ) รูปแบบผลคงที่สมมติว่าการศึกษาทั้งหมดกำลังประเมินผลกระทบของประชากรเดียวกัน แบบจำลองผลกระทบแบบสุ่มถือว่าการศึกษาที่แตกต่างกันในผลกระทบของประชากรที่จะถูกประเมิน รูปแบบการสุ่มเอฟเฟกต์มักจะเหมาะสมกว่า

เมื่อมีการศึกษาเพิ่มเติมเกี่ยวกับการมองหาความสัมพันธ์โดยเฉพาะก็ยิ่งมีวิธีการที่ซับซ้อนมากขึ้น ตัวอย่างเช่นคุณสามารถเขียนรหัสการศึกษาในแง่ของคุณสมบัติต่าง ๆ เช่นคุณภาพการรับรู้แล้วตรวจสอบสังเกตุว่าขนาดของเอฟเฟกต์แตกต่างกันไปตามลักษณะการศึกษาเหล่านี้หรือไม่ นอกเหนือจากคุณภาพอาจมีความแตกต่างที่เกี่ยวข้องในทางทฤษฎีระหว่างการศึกษาซึ่งจะบรรเทาความสัมพันธ์ (เช่นลักษณะของตัวอย่างระดับปริมาณ ฯลฯ )

โดยทั่วไปแล้วฉันมักจะเชื่อถือการศึกษาด้วย:

• ขนาดตัวอย่างที่ใหญ่ขึ้น
• วิธีการที่เข้มงวดมากขึ้น
• การปฐมนิเทศยืนยัน (เช่นไม่ใช่การศึกษาที่พวกเขาทดสอบความสัมพันธ์ระหว่างสารอาหารที่แตกต่างกัน 100 และ 50 ผลสุขภาพ)
• การขาดความขัดแย้งทางผลประโยชน์ (เช่นไม่ใช่ บริษัท ที่มีผลประโยชน์เชิงพาณิชย์ในการแสดงความสัมพันธ์ไม่ใช่นักวิจัยที่มีแรงจูงใจในการค้นหาผลลัพธ์ที่สำคัญ)

แต่นั่นบอกว่าคุณต้องสุ่มตัวอย่างแบบสุ่มและความแตกต่างที่มีความหมายตามหลักเหตุผลระหว่างการศึกษาเพื่อเป็นคำอธิบายที่เป็นไปได้ของการค้นพบที่ขัดแย้งกัน

ฉันจะระงับการพิจารณาการวิเคราะห์อภิมานจนกว่าคุณจะตรวจสอบแหล่งที่มาหากมีอคติหรือการเปลี่ยนแปลงที่อาจเกิดขึ้นในประชากรเป้าหมาย หากเป็นการศึกษาเกี่ยวกับผลการรักษาการรักษาแบบสุ่มได้รับมอบหมายหรือไม่? มีการเบี่ยงเบนจากโปรโตคอลหรือไม่ มีการไม่ปฏิบัติตาม? มีข้อมูลผลลัพธ์ที่หายไปหรือไม่? ตัวอย่างถูกดึงมาจากเฟรมเดียวกันหรือไม่? มีการปฏิเสธที่จะเข้าร่วมหรือไม่? ข้อผิดพลาดในการใช้งานหรือไม่ ข้อผิดพลาดมาตรฐานถูกคำนวณอย่างถูกต้องบัญชีสำหรับการจัดกลุ่มและมีความทนทานต่อสมมติฐานที่หลากหลายหรือไม่ หลังจากที่คุณตอบคำถามเหล่านี้แล้วฉันคิดว่าปัญหาการวิเคราะห์ meta เริ่มเข้าสู่ภาพ มันจะยากที่สำหรับการศึกษาสองการวิเคราะห์อภิมานที่เหมาะสมเว้นแต่ว่าคุณเต็มใจที่จะสร้างสมมุติฐานที่กล้าหาญ