3
ทำไมจึงไม่มีการแก้ไขสมมติฐานหลายข้อที่ใช้กับการทดลองทั้งหมดตั้งแต่เช้าตรู่
เรารู้ว่าเราต้องใช้การแก้ไขที่คล้ายกับ Benjamini Hochberg สำหรับการทดสอบสมมุติฐานหลายครั้งกับการทดลองโดยใช้ชุดข้อมูลเดียวเพื่อควบคุมอัตราการค้นพบที่ผิดพลาดมิฉะนั้นการทดลองทั้งหมดที่ให้ผลบวกอาจเป็นเท็จ แต่ทำไมเราไม่ใช้หลักการเดียวกันนี้กับการทดลองทั้งหมดตั้งแต่ต้นเวลาไม่ว่าข้อมูลจะมาจากไหน ท้ายที่สุดแล้วกว่าครึ่งหนึ่งของผลลัพธ์ทางวิทยาศาสตร์ที่ตีพิมพ์ซึ่งถือว่า "สำคัญ" เป็นที่รู้กันว่าเป็นเท็จและไม่สามารถแก้ไขได้และไม่มีเหตุผลว่าทำไมสิ่งนี้ถึงไม่สามารถทำได้ง่ายเพียง 100% เนื่องจากนักวิทยาศาสตร์มีแนวโน้มที่จะเผยแพร่ผลลัพธ์เชิงบวกเท่านั้นเราจึงไม่มีความคิดเกี่ยวกับจำนวนผลลัพธ์เชิงลบดังนั้นเราจึงไม่มีความคิดว่าสิ่งที่เราเผยแพร่นั้นเป็นผลบวกที่ผิดพลาดเท่านั้น - ผลลัพธ์ในเชิงบวกที่ตัดขึ้นโดยบังเอิญแบบสุ่มภายใต้สมมติฐานว่าง ในขณะเดียวกันไม่มีอะไรที่จะบอกได้ว่าคณิตศาสตร์ที่อยู่เบื้องหลังการแก้ไขการทดสอบสมมติฐานหลายข้อควรนำไปใช้กับผลลัพธ์จากชุดข้อมูลเดียวกันเท่านั้นและไม่เป็นผลจากข้อมูลการทดลองทั้งหมดที่ได้รับเมื่อเวลาผ่านไป ดูเหมือนว่าวิทยาศาสตร์ทั้งหมดได้กลายเป็นหนึ่งในการสำรวจการตกปลาครั้งใหญ่ครั้งหนึ่งซึ่งตั้งอยู่บนสมมติฐานที่ผิด ๆ หรืออ่อนแอดังนั้นเราจะควบคุมสิ่งนี้ได้อย่างไร เราจะควบคุมอัตราการค้นพบที่ผิดพลาดได้อย่างไรหากสิ่งที่เราเคยเผยแพร่นั้นเป็นผลลัพธ์ที่เป็นอิสระโดยไม่ต้องใช้การแก้ไขใด ๆ สำหรับการทดสอบสมมติฐานหลายครั้งกับการทดลองทั้งหมดที่ดำเนินการจนถึงปัจจุบัน เป็นไปได้หรือไม่ที่จะควบคุมอัตราการค้นพบที่ผิดพลาดโดยไม่ใช้การแก้ไขเช่นนี้?