ฟิชเชอร์ของ LSD เลวร้ายอย่างที่บอกหรือเปล่า?

เมื่อเราทำการทดลอง (ขนาดตัวอย่างเล็ก ๆ (โดยปกติขนาดตัวอย่างต่อกลุ่มการรักษาประมาณ 7 ~ 8)) ในสองกลุ่มเราใช้การทดสอบ t-test เพื่อทดสอบความแตกต่าง อย่างไรก็ตามเมื่อเราทำการ ANOVA (เห็นได้ชัดว่ามีมากกว่าสองกลุ่ม) เราใช้บางสิ่งบางอย่างตามแนวของ Bonferroni (LSD / # ของการเปรียบเทียบแบบเป็นคู่) หรือ Tukey เป็นโพสต์เฉพาะกิจและในฐานะนักเรียนฉันถูกเตือนให้ออกจาก ใช้ความแตกต่างที่สำคัญน้อยที่สุดของฟิชเชอร์(LSD)

ทีนี้ก็คือตอนนี้ LSD คล้ายกับ pairwise t-test (ใช่ไหม?) และสิ่งเดียวที่มันไม่ได้อธิบายก็คือเรากำลังทำการเปรียบเทียบหลายครั้ง มีความสำคัญเพียงใดเมื่อพูดถึง 6 กลุ่มถ้า ANOVA นั้นมีความสำคัญ?

หรืออีกนัยหนึ่งมีเหตุผลทางวิทยาศาสตร์ / สถิติสำหรับการใช้ LSD ของฟิชเชอร์หรือไม่?

LSD ของฟิชเชอร์เป็นชุดของการทดสอบตามลำดับคู่โดยการทดสอบแต่ละครั้งใช้ข้อผิดพลาดกำลังสองเฉลี่ยจาก ANOVA ที่มีนัยสำคัญในการประเมินความแปรปรวนพู (และการรับปริญญาอิสระ) ANOVA นั้นมีนัยสำคัญเป็นข้อ จำกัด เพิ่มเติมของการทดสอบนี้

มัน จำกัด อัตราความผิดพลาดที่เหมาะสำหรับครอบครัวไว้ที่อัลฟาในกรณีพิเศษ 3 กลุ่มเท่านั้น ธรรมด๊าธรรมดามีคำอธิบายที่ดีมากและค่อนข้างเรียบง่ายของวิธีการที่จะไม่ให้ในบทที่ 16 ของหนังสือของเขาที่สถิติพื้นฐานสำหรับพฤติกรรมศาสตร์ฉบับที่ 8 เดวิดซีธรรมด๊าธรรมดา

มากกว่า 3 กลุ่มอัลฟาจะพองตัวอย่างรวดเร็ว (ตามที่ @Alexis ได้ระบุไว้ด้านบน) ไม่เหมาะสำหรับ 6 กลุ่มอย่างแน่นอน ฉันเชื่อว่าการบังคับใช้ที่ จำกัด นี้ทำให้คนส่วนใหญ่แนะนำให้เพิกเฉยต่อมันเป็นตัวเลือก

การเปรียบเทียบหลายวิธีมีความสำคัญเมื่อจัดการกับ 6 กลุ่มอย่างไร ดี ... กับหกกลุ่มที่คุณติดต่อด้วยสูงสุดการเปรียบเทียบค่าที่เป็นไปได้หลังการจับคู่แบบสุ่ม ฉันจะปล่อยให้แรนดัลมันโรคาดเดาไม่ได้ที่อยู่ความสำคัญของการเปรียบเทียบหลาย:$\frac{6(6-1)}{2} = 15$

และฉันจะเพิ่มว่าถ้าในประโยคเปิดของคุณคุณแนะนำว่าบางครั้งคุณมีเจ็ดกลุ่มแล้วจำนวนการทดสอบหลังการจับคู่สูงสุดคือ$\frac{7(7-1)}{2} = 21$ซึ่งไกลเกินไปกับสถานการณ์ของ jellybean ที่เพิ่งนำเสนอ (ซึ่งนำเสนอการทดสอบ 21 ครั้ง) ดังนั้นถ้าคุณไม่อยากให้โลกจำลองคุณโดยการส่งสำเนาxkcd 882ให้คุณซ้ำ ๆฉันจะทำต่อไปและทำการปรับการเปรียบเทียบหลาย ๆ อย่าง (เช่นFWER อย่าง Bonferroni หรือ Holm-SidakหรือFDR เช่น Benjamini และ Hochberg ) .

การทดสอบของฟิชเชอร์นั้นเลวร้ายอย่างที่ทุกคนบอกว่ามันมาจากมุมมองของเนย์แมน - เพียร์สันและถ้าคุณทำตามที่คำถามของคุณบ่งบอก - หลังจากการทดสอบ ANOVA ที่สำคัญแต่ละข้อแตกต่างกัน คุณสามารถดูนี้ในหลายตีพิมพ์ เอกสาร แต่การทดสอบความแตกต่างทั้งหมดหลังจากการวิเคราะห์ความแปรปรวนหรือข้อใดข้อหนึ่งนั้นไม่จำเป็นหรือไม่แนะนำ และการทดสอบของฟิชเชอร์ไม่ได้ถูกสร้างขึ้นภายใต้ทฤษฎีการอนุมานเชิงสถิติของ Neyman-Pearson

โปรดจำไว้ว่าเมื่อฟิชเชอร์เสนอ LSD เขาไม่ได้พิจารณาการทดสอบปัญหาสำคัญหลายอย่างเพราะเขาไม่ได้พิจารณาการตัดทอนความสำคัญกฎที่ยากและรวดเร็วในการตัดสินใจว่าผลลัพธ์นั้นสำคัญหรือไม่ หนึ่งสามารถสร้าง LSD เป็นวิธีที่ง่ายในการตรวจสอบข้อมูลที่อาจมีผลลัพธ์ที่สำคัญ แต่ไม่ใช่ผู้ตัดสินของสิ่งที่มีความหมาย โปรดจำไว้ว่ามันคือฟิชเชอร์ที่บอกว่าคุณควรวิ่งเรื่องมากขึ้นถ้าp > 0.05

และทำไมคุณถึงคิดว่าการทดสอบทุกอย่างเป็นความคิดที่ดี? พิจารณาว่าทำไมคุณถึงเรียกใช้ ANOVA ตั้งแต่แรก คุณอาจถูกสอนว่าเป็นเพราะการทดสอบแบบหลายครั้งนั้นเป็นปัญหาอย่างที่คุณคุ้นเคยในคำถามของคุณ แล้วทำไมคุณถึงเรียกพวกเขาหรือเทียบเท่าในภายหลัง ฉันรู้ว่ามันเกิดขึ้น แต่ฉันยังไม่จำเป็นต้องทำการทดสอบหลังจาก ANOVA ANOVA จะบอกคุณว่ารูปแบบข้อมูลของคุณไม่ใช่ชุดของค่าที่เท่ากันซึ่งอาจมีความหมายบางอย่างอยู่ในนั้น มีหลายคนที่ติดใจกับคำเตือนที่การทดสอบไม่ได้บอกคุณว่าบิตที่มีความหมายนั้นอยู่ที่ไหน แต่พวกเขาลืมไปว่าข้อมูลและทฤษฎีบอกคุณว่า

เหตุผลเบื้องหลังของ LSD ของฟิชเชอร์สามารถขยายไปยังกรณีที่เกินN = 3

ฉันจะหารือเกี่ยวกับกรณีของสี่กลุ่มในรายละเอียด เพื่อให้อัตราความผิดพลาดแบบครอบครัวตามลำดับที่ 0.05 หรือต่ำกว่านั้นปัจจัยการแก้ไขการเปรียบเทียบหลายค่าที่ 3 (เช่นอัลฟาต่อการเปรียบเทียบที่ 0.05 / 3) พอเพียงถึงแม้ว่าจะมีการเปรียบเทียบโพสต์เฉพาะกิจหกครั้งในทั้งสี่กลุ่ม นี้เป็นเพราะ:

• ในกรณีที่วิธีการที่แท้จริงทั้งสี่มีค่าเท่ากันรถโดยสาร Anova ทั่วทั้งสี่กลุ่มจะ จำกัด อัตราความผิดพลาดแบบแฟมิลี่แฟมิลี่ที่ 0.05
• ในกรณีที่สามของวิธีการที่แท้จริงมีค่าเท่ากันและที่สี่แตกต่างจากพวกเขามีเพียงสามการเปรียบเทียบที่อาจให้ข้อผิดพลาด Type-I;
• ในกรณีที่สองของวิธีการที่แท้จริงมีค่าเท่ากันและแตกต่างจากอีกสองซึ่งมีค่าเท่ากันมีเพียงสองการเปรียบเทียบที่อาจทำให้เกิดข้อผิดพลาด Type-I

สิ่งนี้หมดความเป็นไปได้ ในทุกกรณีความน่าจะเป็นในการค้นหาอย่างน้อยหนึ่ง p valueนั้นต่ำกว่า 0.05 สำหรับกลุ่มที่มีค่าเฉลี่ยจริงเท่ากันอยู่ที่หรือต่ำกว่า 0.05 ถ้าปัจจัยการแก้ไขสำหรับการเปรียบเทียบหลายค่าคือ 3 และนี่คือคำจำกัดความของ

เหตุผลสำหรับสี่กลุ่มนี้เป็นลักษณะทั่วไปจากคำอธิบายของฟิชเชอร์สำหรับวิธีความแตกต่างอย่างมีนัยสำคัญสามกลุ่มของเขา สำหรับกลุ่มNปัจจัยการแก้ไขหากการทดสอบรถโดยสาร Anova มีความสำคัญคือ ( N -1) ( N -2) / 2 ดังนั้นการแก้ไข Bonferroni โดยปัจจัยของN ( N -1) / 2 นั้นแรงเกินไป มันพอเพียงที่จะใช้ปัจจัยการแก้ไขอัลฟ่า 1 สำหรับN = 3 (นี่คือสาเหตุที่ฟิชเชอร์ของ LSD ทำงานสำหรับN = 3), ปัจจัย 3 สำหรับN = 4, ปัจจัย 6 สำหรับN = 5, ปัจจัย 10 สำหรับN = 6 และอื่น ๆ