เมื่อใดที่จะแก้ไขค่า p ในการเปรียบเทียบหลาย ๆ

ฉันเกรงว่าคำถามที่เกี่ยวข้องไม่ได้ตอบฉัน เราประเมินการแสดงของตัวจําแนก> 2 ตัว (การเรียนรู้ของเครื่อง) สมมติฐานว่างของเราคือการแสดงไม่แตกต่างกัน เราทำการทดสอบพารามิเตอร์ (ANOVA) และการทดสอบที่ไม่ใช่พารามิเตอร์ (ฟรีดแมน) เพื่อประเมินสมมติฐานนี้ หากพวกเขาสำคัญเราต้องการค้นหาว่าตัวแยกประเภทใดที่แตกต่างกันในเควสต์แบบเฉพาะกิจ

คำถามของฉันคือสองเท่า:

1) การแก้ไขค่า p หลังจากการทดสอบแบบเปรียบเทียบหลายรายการจำเป็นหรือไม่? เว็บไซต์ Wikipedia ของเยอรมันใน "Alphafehler Kumulierung" กล่าวว่าปัญหาจะเกิดขึ้นก็ต่อเมื่อมีการทดสอบสมมติฐานหลายข้อในข้อมูลเดียวกัน เมื่อเปรียบเทียบตัวแยกประเภท (1,2), (1,3), (2,3) ข้อมูลจะทับซ้อนกันเพียงบางส่วนเท่านั้น ยังจำเป็นต้องแก้ไขค่า p หรือไม่?

2) การแก้ไขค่า P มักใช้หลังจากการทดสอบแบบคู่กับการทดสอบที มันเป็นสิ่งจำเป็นหรือไม่เมื่อทำการทดสอบแบบเฉพาะหลังเช่นการทดสอบแบบ Nemenyi (ไม่ใช่แบบพารามิเตอร์) หรือการทดสอบ HSD ของ Tukey คำตอบนี้บอกว่า "ไม่" สำหรับ HSD ของ Tukey: การทดสอบ Tukey HSD นั้นถูกต้องสำหรับการเปรียบเทียบหลาย ๆ ครั้งหรือไม่? . มีกฎหรือฉันต้องค้นหาสิ่งนี้สำหรับการทดสอบโพสต์เฉพาะกิจทุกครั้งหรือไม่

ขอบคุณ!

คำตอบสำหรับคำถามที่ 1
คุณต้องปรับเพื่อการเปรียบเทียบหลายครั้งหากคุณสนใจความน่าจะเป็นที่คุณจะทำให้เกิดข้อผิดพลาดประเภทที่ 1 การผสมผสานคำเปรียบเทียบ / การทดลองอย่างง่ายอาจช่วยให้:

ลองนึกภาพว่าคุณต้องการชนะลอตเตอรี่ ลอตเตอรีนี้น่าแปลกที่จะให้โอกาสคุณในการชนะ 0.05 (เช่น 1 ใน 20) Mคือต้นทุนของตั๋วในลอตเตอรีนี้ซึ่งหมายความว่าผลตอบแทนที่คุณคาดหวังสำหรับการเรียกหวยเดียวคือM / 20 ตอนนี้แม้แต่คนแปลกหน้าลองจินตนาการว่าด้วยเหตุผลที่ไม่ทราบค่าใช้จ่ายMนี้ช่วยให้คุณมีตั๋วลอตเตอรีได้มากเท่าที่คุณต้องการ (หรืออย่างน้อยกว่าสองใบ) ลองคิดดูว่า "ยิ่งคุณเล่นมากเท่าไหร่คุณก็จะชนะมากเท่านั้น" ผลตอบแทนที่คุณคาดหวังจากการโทรลอตเตอรีจะไม่ใช่M / 20 อีกต่อไปแต่มีบางอย่างที่ใหญ่กว่าเล็กน้อย ตอนนี้แทนที่ "การชนะลอตเตอรี" ด้วย "ทำข้อผิดพลาด Type I"

หากคุณไม่สนใจเกี่ยวกับข้อผิดพลาดและคุณไม่สนใจคนอื่นซ้ำซากและล้อเลียนผู้กำกับของคุณให้สนใจการ์ตูนที่เกี่ยวกับ jellybeansให้ไปข้างหน้าและอย่าปรับตัวเพื่อเปรียบเทียบหลายอย่าง

ปัญหา "ข้อมูลเดียวกัน" เกิดขึ้นในวิธีการแก้ไขข้อผิดพลาดที่เหมาะกับครอบครัว (เช่น Bonferroni, Holm-Sidák ฯลฯ ) เนื่องจากแนวคิดของ "ครอบครัว" นั้นค่อนข้างคลุมเครือ อย่างไรก็ตามวิธีอัตราการค้นพบที่ผิดพลาด (เช่น Benjamini และ Hochberg, Benjamini และ Yeuketeli ฯลฯ ) มีคุณสมบัติที่ผลลัพธ์ของพวกเขานั้นแข็งแกร่งในการอนุมานกลุ่มต่างๆ

คำตอบสำหรับคำถาม 2
การทดสอบแบบเป็นคู่ส่วนใหญ่ต้องการการแก้ไขแม้ว่าจะมีความแตกต่างทางด้านโวหารและทางวินัยในสิ่งที่เรียกว่าการทดสอบ ตัวอย่างเช่นบางคนอ้างถึง " การทดสอบBonferroni t " (ซึ่งเป็นกลอุบายที่ดีเนื่องจาก Bonferroni ไม่ได้พัฒนาการทดสอบtหรือการปรับ Bonferroni สำหรับการเปรียบเทียบหลายรายการ :) โดยส่วนตัวฉันพบว่าสิ่งนี้ไม่น่าพึงพอใจเนื่องจาก (1) ฉันต้องการแยกความแตกต่างระหว่างการทำกลุ่มการทดสอบทางสถิติและปรับการเปรียบเทียบหลาย ๆ ครั้งเพื่อให้เข้าใจถึงการอนุมานที่ฉันทำและ (2) เมื่อมีคนมาด้วย การทดสอบแบบคู่ใหม่ที่ก่อตั้งขึ้นบนนิยามที่มั่นคงของจากนั้นฉันรู้ว่าฉันสามารถทำการปรับเปลี่ยนสำหรับการเปรียบเทียบหลายรายการ$\alpha$