การทดสอบสมมติฐานตามลำดับในวิทยาศาสตร์ขั้นพื้นฐาน

ฉันเป็นเภสัชกรและจากประสบการณ์ของฉันเอกสารเกือบทั้งหมดในการวิจัยทางชีวการแพทย์ขั้นพื้นฐานใช้การทดสอบ t ของนักเรียน (เพื่อสนับสนุนการอนุมานหรือเพื่อให้สอดคล้องกับความคาดหวัง ... ) สองสามปีที่ผ่านมาฉันสังเกตเห็นว่าการทดสอบ t ของนักเรียนไม่ใช่การทดสอบที่มีประสิทธิภาพที่สุดที่อาจใช้: การทดสอบตามลำดับให้พลังงานที่มากขึ้นสำหรับขนาดตัวอย่างใด ๆ หรือขนาดตัวอย่างที่เล็กกว่าโดยเฉลี่ยสำหรับพลังงานที่เท่ากัน

ขั้นตอนต่อเนื่องของความซับซ้อนที่แตกต่างกันนั้นใช้ในการวิจัยทางคลินิก แต่ฉันไม่เคยทำเห็นวิธีที่ใช้ในงานวิจัยทางชีวการแพทย์ขั้นพื้นฐาน ฉันทราบว่าพวกเขาขาดเรียนจากหนังสือสถิติระดับเบื้องต้นที่ล้วนเป็นสิ่งที่นักวิทยาศาสตร์พื้นฐานส่วนใหญ่น่าจะเห็น

คำถามของฉันคือสามเท่า:

ด้วยข้อได้เปรียบด้านประสิทธิภาพอย่างมากของการทดสอบตามลำดับเหตุใดจึงไม่ใช้กันอย่างแพร่หลายมากขึ้น
มีข้อเสียเปรียบที่เกี่ยวข้องกับการใช้วิธีการตามลำดับซึ่งหมายความว่าการใช้งานโดยผู้ที่ไม่ใช่นักสถิติจะต้องหมดกำลังใจหรือไม่?
นักเรียนสถิติสอนเกี่ยวกับขั้นตอนการทดสอบตามลำดับหรือไม่

hypothesis-testing teaching statistical-significance

— Michael Lew
แหล่งที่มา

เพียงเพื่อให้แน่ใจว่าคุณกำลังพูดถึง ST ที่พบในการทดลองทางคลินิกเช่นen.wikipedia.org/wiki/Sequential_analysis ?

— chl

ใช่. มีการทดสอบตามลำดับหลายรูปแบบรวมถึงการทดสอบทีต่อเนื่อง แต่ไม่มีการใช้ในการวิจัยพื้นฐาน ฉันไม่เห็นอุปสรรคในการใช้งาน

— Michael Lew

(+1) เพิ่งสะดุดกับการทดสอบตามลำดับและถามคำถามเดียวกันกับตัวเอง

— steffen

ฉันไม่รู้มากเกี่ยวกับการทดสอบตามลำดับและการใช้งานของพวกเขานอกเหนือจากการวิเคราะห์ชั่วคราว (Jennison and Turnbull, 2000) และการทดสอบแบบปรับด้วยคอมพิวเตอร์ (van der Linden และ Glas, 2010) ข้อยกเว้นหนึ่งคือในการศึกษา fMRI บางอย่างที่เกี่ยวข้องกับค่าใช้จ่ายจำนวนมากและความยากลำบากในการลงทะเบียนวิชา โดยทั่วไปแล้วในกรณีนี้การทดสอบตามลำดับมีวัตถุประสงค์หลักเพื่อหยุดการทดสอบก่อนหน้านี้ ดังนั้นฉันไม่แปลกใจเลยที่แนวทางที่ปรับแต่งเหล่านี้ไม่ได้ถูกสอนในชั้นเรียนทางสถิติตามปกติ

การทดสอบตามลำดับไม่ใช่ข้อผิดพลาดแม้ว่า (ข้อผิดพลาดประเภท I และ II ต้องระบุล่วงหน้าตัวเลือกของกฎการหยุดและการดูผลลัพธ์หลายรายการควรได้รับการพิสูจน์ค่า p-value จะไม่กระจายอย่างสม่ำเสมอภายใต้ null เช่นเดียวกับในการแก้ไข ตัวอย่างการออกแบบ ฯลฯ ) ในการออกแบบส่วนใหญ่เราทำงานร่วมกับการตั้งค่าการทดลองที่กำหนดไว้ล่วงหน้าหรือการศึกษากำลังไฟฟ้าเบื้องต้นได้ดำเนินการเพื่อเพิ่มประสิทธิภาพของเกณฑ์การประหยัดต้นทุนซึ่งในกรณีการทดสอบมาตรฐานจะใช้

ผมพบว่าอย่างไรกระดาษต่อไปนี้จาก Maik Dierkes เกี่ยวกับการคงเทียบกับตัวอย่างการออกแบบที่น่าสนใจมากที่เปิด: เรียกร้องสำหรับการออกแบบตามลำดับของการทดลอง

— CHL
แหล่งที่มา

นักวิจัยชีวการแพทย์ขั้นพื้นฐานทำการวิเคราะห์ชั่วคราวตลอดเวลาพวกเขาไม่ได้ประกาศเพราะพวกเขาไม่รู้ด้วยซ้ำว่ามันสำคัญ! ฉันสำรวจนักวิจัยในสภาแห่งชาติและพบว่ามากกว่า 50% ไม่ทราบว่าการควบคุมอัตราความผิดพลาดจากการทดสอบ t ของนักเรียนขึ้นอยู่กับขนาดตัวอย่างที่กำหนดไว้ล่วงหน้า คุณสามารถเห็นหลักฐานว่าในขนาดตัวอย่างที่แตกต่างกันบางครั้งใช้

— Michael Lew

ข้อเสียบางประการที่มาจากความซับซ้อนของการออกแบบตามลำดับมาเฉพาะในการออกแบบการวิเคราะห์มากกว่าในการดำเนินการ บางทีเราอาจมีชุดการออกแบบกระป๋องสำหรับการทดลองขั้นพื้นฐานตัวอย่างขนาดเล็ก

— Michael Lew

@Michael เกี่ยวกับการวิเคราะห์ชั่วคราว "ปลอม" (ดูค่า p ในขณะที่การศึกษายังอยู่ในช่วงการพัฒนา): ดูเหมือนว่าเป็นการใช้สถิติที่ไม่เหมาะสม

— chl

@Chi ในระดับหนึ่งใช่การวิเคราะห์ระหว่างกาลที่ไม่ได้ประกาศและไม่ถูกแก้ไขนั้นไม่เหมาะสม (แต่เป็นการกระทำโดยไม่รู้ตัวเป็นความไม่รู้ที่ฉันเชื่อว่าชี้ให้เห็นถึงความไม่เพียงพอในวิธีการสอนสถิติแก่นักวิจัยชีวการแพทย์พื้นฐาน ... ) อย่างไรก็ตามหากเราพิจารณาในระดับเมตามันก็เป็นไปได้ที่จะหาเหตุผลบางส่วน การทดลองจำนวนมากเกี่ยวข้องกับตัวอย่างเล็ก ๆ น้อย ๆ ที่อัตราความผิดพลาดบวกที่ผิดพลาดที่เพิ่มขึ้นอาจเป็นการแลกเปลี่ยนที่สมเหตุสมผลสำหรับพลังงานที่มากขึ้น อนุสัญญาห้ามระดับอัลฟาที่ประกาศไว้สูงกว่า 0.05

— Michael Lew

ฉันสังเกตในบริบทนี้ว่านักวิจัย biomedica ขั้นพื้นฐานไม่ทำงานในวิธีการเฉพาะของ Neyman-Pearson แม้ว่าข้อความที่ว่า "ผลลัพธ์ที่ P <0.05 ถูกพิจารณาว่ามีนัยสำคัญ" อาจแนะนำเป็นอย่างอื่น หากเราอยู่ในขอบเขตของการทดสอบที่สำคัญของฟิชเชอร์ซึ่งในการพิจารณาอื่น ๆ นอกเหนือจากค่า P ที่ได้รับสามารถรวมเข้ากับการตัดสินใจว่าจะจัดการกับผลการทดสอบได้อย่างไรการวิเคราะห์ชั่วคราวอาจไม่เลวร้ายนัก อย่างไรก็ตามมันเป็นที่แน่นอนว่าการทดสอบตามลำดับที่ออกแบบมาจะดีกว่าการทดสอบที่ไม่ได้ออกแบบมา

— Michael Lew