การศึกษาที่ไม่ได้ผลนั้นเพิ่มโอกาสในการเกิดผลบวกปลอมหรือไม่?

มีการถามคำถามก่อนหน้านี้ที่นี่และที่นี่แต่ฉันไม่คิดว่าคำตอบจะตอบคำถามนี้โดยตรง

การศึกษาที่ไม่ได้ผลนั้นเพิ่มโอกาสในการเกิดผลบวกปลอมหรือไม่? บทความข่าวบางฉบับให้การยืนยันนี้ สำหรับตัวอย่างเช่น :

พลังงานทางสถิติต่ำเป็นข่าวร้าย การศึกษาที่อยู่ภายใต้มีแนวโน้มที่จะพลาดผลกระทบของแท้และในกลุ่มที่มีแนวโน้มที่จะรวมผลบวกปลอมที่สูงกว่า - นั่นคือผลกระทบที่มีนัยสำคัญทางสถิติแม้ว่าพวกเขาจะไม่ใช่ของจริง

เมื่อฉันเข้าใจแล้วพลังของการทดสอบสามารถเพิ่มขึ้นได้โดย:

• เพิ่มขนาดตัวอย่าง
• มีผลขนาดใหญ่
• การเพิ่มระดับนัยสำคัญ

สมมติว่าเราไม่ต้องการเปลี่ยนระดับนัยสำคัญฉันเชื่อว่าการอ้างอิงข้างต้นหมายถึงการเปลี่ยนขนาดตัวอย่าง อย่างไรก็ตามฉันไม่เห็นว่าการลดตัวอย่างควรเพิ่มจำนวนผลบวกปลอมอย่างไร หากต้องการกล่าวอย่างง่าย ๆ การลดพลังของการศึกษาจะเพิ่มโอกาสของการปฏิเสธที่ผิดซึ่งตอบคำถาม:

ตรงกันข้ามบวกเท็จตอบคำถาม:

ทั้งสองเป็นคำถามที่แตกต่างกันเพราะเงื่อนไขแตกต่างกัน พลังงานนั้นเกี่ยวข้องกับการปฏิเสธเชิงลบ แต่จะไม่ส่งผลเชิงบวก ฉันพลาดอะไรไปรึเปล่า?

คุณถูกต้องในขนาดตัวอย่างนั้นมีผลต่อพลังงาน (เช่นข้อผิดพลาด 1 - type II) แต่ไม่ใช่ข้อผิดพลาด Type I มันเป็นความเข้าใจผิดที่พบบ่อยว่าค่า p เช่นนี้ (ตีความได้อย่างถูกต้อง) นั้นน่าเชื่อถือน้อยลงหรือใช้ได้จริงเมื่อขนาดตัวอย่างเล็ก - บทความที่ให้ความบันเทิงโดย Friston 2012 มีเนื้อหาที่ตลก [1]

ที่ถูกกล่าวว่าปัญหาของการศึกษาภายใต้อำนาจเป็นเรื่องจริงและคำพูดส่วนใหญ่ถูกต้องฉันจะพูดเพียงเล็กน้อยไม่ชัดเจนในถ้อยคำของมัน

ปัญหาพื้นฐานของการศึกษาที่ไม่ได้ผลคือแม้ว่าอัตราการบวกผิดพลาด (ข้อผิดพลาดประเภทที่ 1) ในการทดสอบสมมติฐานจะได้รับการแก้ไข แต่อัตราการบวกจริง (กำลัง) ลดลง ดังนั้นผลบวก (= สำคัญ) จึงมีโอกาสน้อยกว่าที่จะเป็นผลบวกที่แท้จริงในการศึกษาที่ไม่ได้รับการยอมรับ ความคิดนี้แสดงในอัตราการค้นพบที่ผิด [2], ดู [3] ดูเหมือนว่าสิ่งที่อ้างถึง

ปัญหาเพิ่มเติมที่มักถูกตั้งชื่อเกี่ยวกับการศึกษาที่ไม่ได้รับการดูแลคือพวกเขานำไปสู่ เหตุผลก็คือก) ที่มีพลังงานต่ำกว่าการประเมินผลกระทบที่แท้จริงของคุณจะกลายเป็นตัวแปรเพิ่มเติม (สุ่ม) รอบมูลค่าที่แท้จริงของพวกเขาและ b) เฉพาะผลกระทบที่แข็งแกร่งที่สุดเท่านั้นที่จะผ่านตัวกรองนัยสำคัญเมื่อพลังงานต่ำ หนึ่งควรเพิ่มว่านี่เป็นปัญหาการรายงานที่สามารถแก้ไขได้ง่ายโดยการพูดคุยและรายงานทั้งหมดและไม่เพียง แต่ผลกระทบที่สำคัญ

ในที่สุดประเด็นที่สำคัญในทางปฏิบัติที่มีการศึกษาต่ำกว่าคือพลังงานต่ำเพิ่มปัญหาทางสถิติ (เช่นอคติของตัวประมาณค่า) รวมถึงการล่อใจให้เล่นกับตัวแปรและกลวิธีการแฮ็คที่คล้ายกัน การใช้ "องศานักวิจัยอิสระ" เหล่านี้มีประสิทธิภาพมากที่สุดเมื่อพลังงานเหลือน้อยและสิ่งนี้สามารถเพิ่มความผิดพลาดประเภทที่ 1 หลังจากทั้งหมดดูเช่น [4]

ด้วยเหตุผลทั้งหมดนี้ฉันจึงสงสัยอย่างแน่นอนเกี่ยวกับการศึกษาที่ไม่ได้รับการยอมรับ

[1] Friston, K. (2012) สิบกฎที่น่าขันสำหรับผู้ตรวจสอบที่ไม่ใช่เชิงสถิติ NeuroImage, 61, 1300-1310

[2] https://en.wikipedia.org/wiki/False_discovery_rate

[3] ปุ่ม KS; โยอานนิส, JPA; Mokrysz, C.; Nosek, BA; ฟลินท์เจ. Robinson, ESJ และ Munafo, MR (2013) ไฟฟ้าขัดข้อง: ทำไมขนาดตัวอย่างขนาดเล็กจึงส่งผลต่อความน่าเชื่อถือของประสาทวิทยาศาสตร์ ชัยนาท รายได้ Neurosci., 14, 365-376

[4] ซิมมอนส์ JP; เนลสัน, LD และ Simonsohn, สหรัฐอเมริกา (2011) จิตวิทยาเชิงบวกเท็จ: ความยืดหยุ่นที่ไม่เปิดเผยในการรวบรวมและวิเคราะห์ข้อมูลช่วยให้การนำเสนอสิ่งใดมีความสำคัญ Psychol Sci., 22, 1359-1366

พลังงานต่ำสามารถเพิ่มอัตราการบวกปลอมในสถานการณ์ที่กำหนดทั้งนี้ขึ้นอยู่กับวิธีที่คุณดู

พิจารณาสิ่งต่อไปนี้นักวิจัยทดสอบการรักษา หากการทดสอบกลับมาไม่สำคัญพวกเขาละทิ้งมันและย้ายไปรักษาต่อไป หากการทดสอบกลับมาอย่างมีนัยสำคัญพวกเขาจะทำการทดสอบ ลองพิจารณาว่านักวิจัยจะทดสอบวิธีการรักษาบางอย่างที่ใช้ได้ผลและไม่ได้ผล หากผู้วิจัยมีพลังงานสูง (แน่นอนอ้างถึงกรณีที่พวกเขากำลังทดสอบการรักษาที่ใช้งานได้) พวกเขามีแนวโน้มที่จะหยุดเมื่อพวกเขาทดสอบการรักษาที่มีประสิทธิภาพ ในทางกลับกันด้วยพลังงานต่ำพวกเขามีแนวโน้มที่จะพลาดผลการรักษาที่แท้จริงและไปที่การรักษาอื่น ๆ ยิ่งการทดสอบที่เป็นโมฆะยิ่งมีแนวโน้มที่จะทำให้เกิดข้อผิดพลาดประเภทที่ 1 มากขึ้น (นักวิจัยรายนี้ไม่ได้ทำการเปรียบเทียบหลายครั้ง) ในกรณีที่พลังงานต่ำพวกเขาคาดว่าจะทดสอบทรีทเม้นต์เป็นโมฆะอื่น ๆ อีกมากมาย

คุณอาจพูดว่า "ดีนี่เป็นเพียงนักวิจัยที่ดูถูกการเปรียบเทียบหลายครั้ง!" นั่นอาจเป็นจริง แต่นั่นก็เป็นงานวิจัยจำนวนมากที่ทำกันในวันนี้ เนื่องจากเหตุผลเหล่านี้ฉันจึงมีความเชื่อในงานเผยแพร่น้อยมากเว้นแต่จะมีขนาดตัวอย่างที่ใหญ่พอที่นักวิจัยไม่สามารถทำการทดลองซ้ำได้หลายครั้ง

พลังงานต่ำไม่สามารถส่งผลกระทบต่ออัตราความผิดพลาด Type-1 แต่อาจส่งผลต่อสัดส่วนของผลลัพธ์ที่เผยแพร่ซึ่งเป็นข้อผิดพลาดประเภท 1

เหตุผลคือพลังงานต่ำช่วยลดโอกาสในการปฏิเสธ H0 (ข้อผิดพลาด Type-2) ที่ถูกต้อง แต่ไม่ใช่โอกาสในการปฏิเสธ H0 ที่ผิดพลาด (ข้อผิดพลาด Type-1)

สมมติว่าวินาทีที่มีสองวรรณกรรม ... หนึ่งดำเนินการด้วยพลังงานที่ต่ำมาก - ใกล้ศูนย์ - และอื่น ๆ ดำเนินการด้วยพลังงานที่เพียงพอ ในวรรณกรรมทั้งสองคุณสามารถสันนิษฐานได้ว่าเมื่อ H0 เป็นเท็จคุณจะยังคงได้รับผลบวกที่ผิดพลาดบางครั้ง (เช่น 5% สำหรับ alpha = .05) สมมติว่านักวิจัยไม่ถูกต้องเสมอไปในสมมุติฐานของพวกเขาเราสามารถสันนิษฐานได้ว่าทั้งวรรณกรรมควรมีข้อผิดพลาด Type-1 จำนวนคล้ายกันกำลังดีหรือไม่ นี่เป็นเพราะอัตราข้อผิดพลาด Type-1 ไม่ได้รับผลกระทบจากพลังงานเช่นเดียวกับคนอื่น ๆ ได้กล่าวว่า

อย่างไรก็ตามในวรรณกรรมที่มีกำลังไฟต่ำคุณจะมีข้อผิดพลาด Type-2 จำนวนมาก ในคำอื่น ๆ วรรณกรรมที่ใช้พลังงานต่ำควรจะขาดการปฏิเสธ H0 ที่ถูกต้องทำให้ข้อผิดพลาด Type-1 เป็นสัดส่วนที่มากขึ้นของวรรณกรรม ในวรรณคดีพลังงานสูงคุณควรมีส่วนผสมของการปฏิเสธที่ถูกต้องและไม่ถูกต้องของ H0

ดังนั้นพลังงานต่ำจะเพิ่มข้อผิดพลาด Type-1 หรือไม่ ไม่ได้มันทำให้ยากที่จะหาเอฟเฟกต์ที่แท้จริงทำให้ข้อผิดพลาด Type-1 เป็นสัดส่วนที่มากขึ้นของการค้นพบที่ตีพิมพ์

นอกเหนือจากคำตอบอื่น ๆ แล้วการศึกษามักจะไม่ได้ผลเมื่อขนาดตัวอย่างมีขนาดเล็ก มีการทดสอบหลายอย่างที่ใช้ได้เฉพาะแบบ asymptotically เท่านั้นและมองโลกในแง่ดีเกินไปหรืออนุรักษ์ไว้สำหรับ n ขนาดเล็ก

การทดสอบอื่น ๆ นั้นใช้ได้กับตัวอย่างขนาดเล็กเท่านั้นหากตรงตามเงื่อนไขบางประการ แต่แข็งแรงขึ้นด้วยขนาดตัวอย่างขนาดใหญ่ (เช่น t-test)

ในทั้งสองกรณีนี้ตัวอย่างขนาดเล็กและข้อสมมติฐานที่ไม่คาดคิดสามารถนำไปสู่อัตราความผิดพลาดประเภทที่ 1 เพิ่มขึ้น สถานการณ์ทั้งสองนี้เกิดขึ้นบ่อยครั้งมากพอที่ฉันคิดว่าคำตอบที่แท้จริงสำหรับคำถามของคุณคือ: ไม่ใช่ในทางทฤษฎี แต่ในทางปฏิบัติ