มีอะไรผิดปกติกับการปรับ Bonferroni?

ผมอ่านบทความต่อไปนี้: Perneger (1998) มีอะไรผิดปกติกับการปรับ

ผู้เขียนสรุปโดยบอกว่าการปรับ Bonferroni มีการใช้งานที่ จำกัด ในการวิจัยด้านชีวการแพทย์และไม่ควรใช้เมื่อประเมินหลักฐานเกี่ยวกับสมมติฐานที่เฉพาะเจาะจง:

คะแนนสรุป:

• การปรับนัยสำคัญทางสถิติสำหรับจำนวนการทดสอบที่ทำกับข้อมูลการศึกษา - วิธี Bonferroni - สร้างปัญหามากกว่าที่จะแก้
• วิธี Bonferroni เกี่ยวข้องกับสมมติฐานว่างทั่วไป (ว่าสมมติฐานว่างทั้งหมดเป็นจริงพร้อมกัน) ซึ่งไม่ค่อยน่าสนใจหรือใช้สำหรับนักวิจัย
• จุดอ่อนหลักคือการตีความการค้นพบขึ้นอยู่กับจำนวนการทดสอบอื่น ๆ ที่ดำเนินการ
• โอกาสของข้อผิดพลาด type II ก็เพิ่มขึ้นเช่นกันดังนั้นความแตกต่างที่สำคัญอย่างแท้จริงจึงถือว่าไม่สำคัญ
• เพียงแค่อธิบายว่าการทดสอบความสำคัญได้รับการดำเนินการอย่างไรและทำไมโดยทั่วไปแล้วเป็นวิธีที่ดีที่สุดในการจัดการกับการเปรียบเทียบหลายรายการ

ฉันมีชุดข้อมูลต่อไปนี้และฉันต้องการแก้ไขการทดสอบหลายรายการ แต่ฉันไม่สามารถตัดสินใจได้ว่าวิธีที่ดีที่สุดในกรณีนี้คืออะไร

ฉันต้องการทราบว่ามีความจำเป็นหรือไม่ที่จะต้องทำการแก้ไขประเภทนี้สำหรับชุดข้อมูลทั้งหมดที่มีรายการวิธีการและวิธีการที่ดีที่สุดสำหรับการแก้ไขในกรณีนี้คืออะไร

มีอะไรผิดปกติกับการแก้ไข Bonferroni นอกเหนือจากการอนุรักษ์ที่กล่าวถึงโดยผู้อื่นคือสิ่งที่ผิดกับการแก้ไขหลายหลาก พวกเขาไม่ปฏิบัติตามหลักการทางสถิติขั้นพื้นฐานและเป็นไปตามอำเภอใจ ไม่มีวิธีการแก้ไขปัญหาซ้ำซ้อนในโลกที่พบบ่อย ประการที่สองการปรับหลายหลากขึ้นอยู่กับปรัชญาพื้นฐานที่ความจริงของคำสั่งหนึ่งขึ้นอยู่กับสมมติฐานอื่นที่มีความบันเทิง สิ่งนี้เทียบเท่ากับการตั้งค่าแบบเบย์ซึ่งการแจกแจงก่อนหน้าสำหรับพารามิเตอร์ที่น่าสนใจจะได้รับการอนุรักษ์มากขึ้นเมื่อพิจารณาถึงพารามิเตอร์อื่น ๆ สิ่งนี้ดูเหมือนจะไม่สอดคล้องกัน อาจกล่าวได้ว่าวิธีการนี้มาจากนักวิจัยที่ "ถูกเผา" โดยประวัติศาสตร์ของการทดลองในเชิงบวกที่ผิดพลาดและตอนนี้พวกเขาต้องการชดเชยความผิด

เมื่อต้องการขยายบิตพิจารณาสถานการณ์ต่อไปนี้ นักวิจัยด้านเนื้องอกวิทยาได้ทำอาชีพการศึกษาประสิทธิภาพของเคมีบำบัดในบางวิชา การทดลองแบบสุ่ม 20 รายการก่อนหน้าทั้งหมดของเธอส่งผลให้ประสิทธิภาพไม่มีนัยสำคัญทางสถิติ ตอนนี้เธอกำลังทดสอบเคมีบำบัดใหม่ในชั้นเรียนเดียวกัน ประโยชน์การเอาชีวิตรอดมีความสำคัญกับ$P=0.04$. เพื่อนร่วมงานคนหนึ่งชี้ให้เห็นว่ามีการศึกษาจุดสิ้นสุดที่สอง (การหดตัวของเนื้องอก) และจำเป็นต้องใช้การปรับหลายหลากกับผลการรอดชีวิตเพื่อประโยชน์การรอดชีวิตที่ไม่มีนัยสำคัญ เพื่อนร่วมงานย้ำจุดสิ้นสุดที่สอง แต่ไม่สนใจว่าจะปรับตัวน้อยกว่า 20 ครั้งเพื่อหายาที่มีประสิทธิภาพ และคุณจะคำนึงถึงความรู้เดิมเกี่ยวกับการศึกษาก่อนหน้า 20 ครั้งอย่างไรถ้าคุณไม่ได้เป็นชาวเบย์ เกิดอะไรขึ้นถ้าไม่มีจุดสิ้นสุดที่สอง เพื่อนร่วมงานจะเชื่อหรือไม่ว่าผลประโยชน์ในการเอาชีวิตรอดได้ถูกแสดงออกมาโดยไม่สนใจความรู้เดิมทั้งหมด

เขาสรุปว่าการปรับ Bonferroni นั้นมีการใช้งานที่ จำกัด ในการวิจัยด้านชีวการแพทย์และไม่ควรใช้เมื่อประเมินหลักฐานเกี่ยวกับสมมติฐานที่เฉพาะเจาะจง

การแก้ไข Bonferroni เป็นหนึ่งในเทคนิคการเปรียบเทียบหลายแบบที่ง่ายที่สุดและอนุรักษ์นิยมที่สุด มันยังเป็นหนึ่งในที่เก่าแก่ที่สุดและได้รับการปรับปรุงเมื่อเวลาผ่านไปอย่างมาก มันยุติธรรมที่จะกล่าวว่าการปรับ Bonferroni มีแอปพลิเคชั่นที่ จำกัด ในเกือบทุกสถานการณ์ มีวิธีที่ดีกว่าเกือบแน่นอน กล่าวคือคุณจะต้องแก้ไขให้ถูกต้องสำหรับการเปรียบเทียบหลาย ๆ แบบ แต่คุณสามารถเลือกวิธีที่มีความระมัดระวังน้อยกว่าและมีประสิทธิภาพมากกว่า

อนุรักษ์นิยมน้อยลง

วิธีการเปรียบเทียบหลายวิธีป้องกันการได้ผลบวกที่ผิดพลาดอย่างน้อยหนึ่งข้อในตระกูลการทดสอบ หากคุณทำการทดสอบหนึ่งครั้งที่ระดับคุณจะได้รับโอกาส 5% ที่จะได้ผลบวกที่ผิดพลาด คุณปฏิเสธสมมติฐานว่างของคุณอย่างไม่ถูกต้อง หากคุณทำการทดสอบ 10 ครั้งที่ระดับα = 0.05ดังนั้นจะเพิ่มเป็น1 - ( 1 - 0.05 ) 10 = ~ 40% โอกาสที่จะได้ผลบวกปลอม$\alpha$$\alpha = 0.05$$1-(1-0.05)^{10}$

ด้วยวิธี Bonferroni คุณใช้ที่จุดต่ำสุดของสเกล (เช่นα b = α / n ) เพื่อปกป้องครอบครัวของคุณในการทดสอบnที่ระดับα มันเป็นสิ่งที่อนุรักษ์นิยมที่สุด ตอนนี้คุณสามารถเพิ่มα bเกินขีด จำกัด ล่างที่กำหนดโดย Bonferroni (เช่นทำให้การทดสอบของคุณน้อยลง) และยังคงปกป้องครอบครัวของการทดสอบที่ระดับα มีหลายวิธีในการทำเช่นนี้เช่นวิธี Holm-Bonferroni หรือดีกว่าอัตราการค้นพบที่ผิดพลาด$\alpha_b$$\alpha_b = \alpha/n$$n$$\alpha$$\alpha_b$$\alpha$

มีประสิทธิภาพยิ่งขึ้น

จุดที่ดีที่นำเสนอในเอกสารอ้างอิงคือความน่าจะเป็นของข้อผิดพลาดประเภท II ก็เพิ่มขึ้นเช่นกันดังนั้นความแตกต่างที่สำคัญอย่างแท้จริงจึงถือว่าไม่สำคัญ

สิ่งนี้สำคัญมาก การทดสอบที่ทรงพลังคือการทดสอบที่พบผลลัพธ์ที่สำคัญหากมีอยู่ เมื่อใช้การแก้ไข Bonferroni คุณจะได้รับการทดสอบที่ทรงพลังน้อยกว่า เนื่องจาก Bonferroni นั้นอนุรักษ์พลังงานจึงมีแนวโน้มลดลงอย่างมาก อีกครั้งหนึ่งในวิธีการอื่นเช่นอัตราการค้นพบที่ผิดจะเพิ่มพลังของการทดสอบ กล่าวอีกนัยหนึ่งไม่เพียง แต่คุณจะปกป้องผลบวกที่ผิดพลาดคุณยังสามารถพัฒนาความสามารถในการค้นหาผลลัพธ์ที่สำคัญอย่างแท้จริง

ใช่คุณควรใช้เทคนิคการแก้ไขเมื่อคุณมีการเปรียบเทียบหลายอย่าง และใช่ Bonferroni ควรจะหลีกเลี่ยงวิธีการอนุรักษ์น้อยลงและมีประสิทธิภาพมากขึ้น

Thomas Perneger ไม่ใช่นักสถิติและบทความของเขาเต็มไปด้วยความผิดพลาด ดังนั้นฉันจะไม่ใช้มันอย่างจริงจังเกินไป มันถูกวิจารณ์โดยผู้อื่นอย่างมาก ตัวอย่างเช่น Aickin กล่าวว่ากระดาษของ Perneger "ประกอบด้วยข้อผิดพลาดเกือบทั้งหมด": Aickin, "มีวิธีอื่นสำหรับการปรับการทดสอบหลายรายการที่มีอยู่", BMJ 1999 ม.ค. 9; 318 (7176): 127

นอกจากนี้ยังไม่มีค่า p ในคำถามเดิมคือ <.05 ต่อไปแม้จะไม่มีการปรับหลายหลาก ดังนั้นจึงอาจไม่สำคัญว่าจะใช้การปรับค่าใด (ถ้ามี)

อาจเป็นการดีที่จะอธิบาย "การใช้เหตุผลเบื้องหลัง" "การทดสอบแก้ไขหลายรายการเช่นเดียวกับ Bonferroni หากสิ่งนั้นชัดเจนแล้วคุณจะสามารถตัดสินตัวเองได้ว่าควรนำไปใช้หรือไม่

$\mu$$H_0: \mu=0$

$H_1: \mu \ne 0$$H_0: \mu = 0$$\alpha$

$H_0$$H_0$

$H_0$$H_0$$H_1$

หลักฐานเท็จเป็นสิ่งไม่ดีทางวิทยาศาสตร์เพราะเราเชื่อว่าได้รับความรู้ที่แท้จริงเกี่ยวกับโลก แต่ในความเป็นจริงเราอาจมีโชคไม่ดีกับตัวอย่าง ข้อผิดพลาดประเภทนี้จึงควรได้รับการควบคุม ดังนั้นเราควรวางขีด จำกัด บนความน่าจะเป็นของหลักฐานประเภทนี้หรือควรควบคุมข้อผิดพลาดประเภทที่ 1 ทำได้โดยการกำหนดระดับนัยสำคัญที่ยอมรับได้ล่วงหน้า

$5\%$$H_0$$5\%$$H_0$$H_1$$H_1$

$H_0: \mu_1=0 \& \mu_2=0$$H_1: \mu1 \ne 0 | \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}: \mu_1=0$$H_0^{(1)}: \mu_1 \ne 0$$H_1^{(2)}: \mu_2=0$$H_1^{(2)}: \mu_2 \ne 0$$\alpha=0.05$

$H_0^{(1)}$$H_0^{(1)}$

ดังนั้นโอกาสที่อย่างน้อยหนึ่งในสองคนนั้นคือการปฏิเสธที่ผิดพลาดคือ 1 ลบความน่าจะเป็นที่ทั้งคู่ไม่ได้ปฏิเสธคือ $1-(1-0.05)^2=0.0975$$\alpha$

ข้อเท็จจริงสำคัญที่นี่คือว่าการทดสอบทั้งสองนั้นขึ้นอยู่กับหนึ่งและตัวอย่าง Sampe!

โปรดทราบว่าเราถือว่าความเป็นอิสระ หากคุณไม่สามารถยอมรับความเป็นอิสระคุณสามารถแสดงให้เห็นได้โดยใช้ Bonferroni inequality $ ซึ่งความผิดพลาดประเภท I สามารถขยายได้ถึง 0.1

โปรดทราบว่า Bonferroni นั้นอนุรักษ์นิยมและขั้นตอนตามขั้นตอนของ Holm นั้นอยู่ภายใต้สมมติฐานเดียวกันกับ Bonferroni แต่ขั้นตอนของ Holm มีอำนาจมากกว่า

เมื่อตัวแปรไม่ต่อเนื่องจะดีกว่าถ้าใช้สถิติทดสอบตามค่า p ต่ำสุดและถ้าคุณพร้อมที่จะละทิ้งการควบคุมความผิดพลาดประเภทที่ 1 เมื่อทำการทดสอบจำนวนมากแล้วขั้นตอนอัตราการค้นพบที่ผิดอาจมีประสิทธิภาพมากกว่า

แก้ไข:

ถ้าเช่น (ดูตัวอย่างในคำตอบโดย @Frank Harrell)

$H_0^{(1)}: \mu_1=0$$H_1^{(1)}: \mu_1 \ne 0$

$H_0^{(2)}: \mu_1=0$$H_1^{(2)}: \mu_2 \ne 0$

$H_0^{(12)}: \mu_1=0 \& \mu_2 = 0$$H_1^{(12)}: \mu_1 \ne 0 | \mu_2 \ne 0$

$H_0^{(1)}$$H_1^{(1)}$$H_0^{(2)}$$H_1^{(2)}$

การอภิปรายที่ดีเกี่ยวกับการแก้ไข Bonferroni และขนาดเอฟเฟกต์http://beheco.oxfordjournals.org/content/15/6/1044.full.pdf+html นอกจากนี้การแก้ไข Dunn-Sidak และความน่าจะเป็นแบบรวมของฟิชเชอร์เป็นสิ่งที่ควรพิจารณาเป็นทางเลือก โดยไม่คำนึงถึงวิธีการมันเป็นมูลค่าการรายงานทั้งปรับและ p- ค่าดิบรวมทั้งขนาดผลเพื่อให้ผู้อ่านสามารถมีอิสระในการตีความพวกเขา

สำหรับหนึ่งมันอนุรักษ์นิยมอย่างยิ่ง วิธีการ Holm-Bonferroni บรรลุสิ่งที่วิธีการ Bonferonni สำเร็จ (การควบคุมอัตราความผิดพลาดของ Family Wise) ในขณะที่ยังมีประสิทธิภาพมากกว่าเดิม

หนึ่งควรดูที่วิธีการ "อัตราการค้นพบที่ผิด" เป็นทางเลือกที่อนุรักษ์นิยมน้อยกว่ากับ Bonferroni ดู

John D. Storey "การค้นพบอัตราการปลอมแปลงที่เป็นบวก: การตีความของ BAYESIAN และ q-VALUE" The Annals of Statistics 2003, Vol. 31, ลำดับที่ 6, 2013–2035