เราควรจะปรับการเปรียบเทียบหลายรายการเมื่อใช้ช่วงความมั่นใจหรือไม่

สมมติว่าเรามีการเปรียบเทียบสถานการณ์หลายอย่างเช่นการโพสต์เฉพาะกิจการอนุมานทางสถิติที่คู่หรือเหมือนการถดถอยพหุคูณที่เราจะทำทั้งหมด$m$เปรียบเทียบ สมมติว่าเราต้องการสนับสนุนการอนุมานในทวีคูณเหล่านี้โดยใช้ช่วงความมั่นใจ

1. เราใช้การปรับเปรียบเทียบหลายรายการกับ CIs หรือไม่ นั่นคือเช่นเดียวกับการเปรียบเทียบหลายครั้งบังคับให้นิยามใหม่ของ$\alpha$กับอัตราข้อผิดพลาดที่ครอบครัวฉลาด (FWER) หรืออัตราการค้นพบที่ผิดพลาด (FDR) หมายถึงความมั่นใจ (หรือความน่าเชื่อถือ¹หรือความไม่แน่นอนหรือการทำนายหรืออนุมาน ... เลือกช่วงเวลาของคุณ) รับการเปลี่ยนแปลงที่คล้ายกันโดยการเปรียบเทียบหลายรายการ? ฉันรู้ว่าคำตอบเชิงลบที่นี่จะสงสัยคำถามที่เหลืออยู่ของฉัน

2. มีการแปลตรงไปตรงมาของขั้นตอนการปรับเปรียบเทียบหลายรายการตั้งแต่การทดสอบสมมติฐานไปจนถึงการประมาณช่วงเวลาหรือไม่? ยกตัวอย่างเช่นการปรับเปลี่ยนจะมุ่งเน้นไปที่การเปลี่ยน$\text{CI-level}$ระยะในช่วงความเชื่อมั่น: $\text{CI}_{\theta} = (\hat{\theta} \pm t_{(1-\text{CI-level)/2}}\hat{\sigma}_{\theta})$ ?

3. เราจะจัดการกับขั้นตอนการควบคุมขั้นตอนขึ้นหรือลงสำหรับ CIs ได้อย่างไร การปรับอัตราข้อผิดพลาดที่เหมาะกับครอบครัวบางส่วนจากวิธีการทดสอบสมมติฐานเพื่ออนุมานคือ 'คงที่' ในการปรับที่เหมือนกันอย่างแม่นยำจะทำกับการอนุมานที่แยกจากกัน ตัวอย่างเช่นการปรับ Bonferroni ทำโดยการเปลี่ยนเกณฑ์การปฏิเสธจาก:

• ปฏิเสธถ้า$p\le \frac{\alpha}{2}$ถึง:
  
• ปฏิเสธถ้า$p\le \frac{\frac{\alpha}{2}}{m}$ ,

แต่การปรับระดับขั้นตอนของ Holm-Bonferroni ไม่ใช่ 'คงที่' แต่ทำโดย:

• การสั่งซื้อครั้งแรกค่า$p$น้อยที่สุดไปหามากที่สุดและจากนั้น
  
• ปฏิเสธถ้า$p\le 1 - (1- \frac{\alpha}{2})^{\frac{1}{m+1-i}}$ , (โดยที่$i$ทำดัชนีการเรียงลำดับของค่า$p$value) จนกระทั่ง
  
• เราล้มเหลวในการปฏิเสธสมมติฐานว่างและโดยอัตโนมัติล้มเหลวในการปฏิเสธสมมติฐานว่างที่ตามมาทั้งหมด

เนื่องจากการปฏิเสธ / ความล้มเหลวในการปฏิเสธไม่ได้เกิดขึ้นกับ CIs (เป็นทางการมากขึ้นดูที่การอ้างอิงด้านล่าง) นั่นหมายความว่าขั้นตอนแบบขั้นตอนไม่แปล (เช่นวิธีการ FDR ทั้งหมด) หรือไม่ ฉันควรที่จะพูดว่าที่นี่ฉันไม่ได้ถามวิธีการแปล CIs ในการทดสอบสมมติฐาน (ตัวแทนของวรรณกรรม 'การทดสอบสมมติฐานภาพ' ที่อ้างถึงด้านล่างได้ที่คำถามที่ไม่สำคัญ)

4. แล้วช่วงเวลาอื่น ๆ ที่ฉันพูดถึงเกี่ยวกับการเป็นพ่อแม่ใน 1 นั้นเป็นอย่างไร?

¹เอ้ยฉันแน่ใจว่าหวังว่าฉันจะไม่เดือดร้อนกับรูปแบบเบย์ที่หวานและหวานของร็อกกิ้งโดยใช้คำนี้ที่นี่ :)

การอ้างอิง
Afshartous, D. และ Preston, R. (2010) ช่วงความเชื่อมั่นสำหรับข้อมูลที่ขึ้นต่อกัน: การเทียบเคียงที่ไม่ทับซ้อนกับนัยสำคัญทางสถิติ สถิติการคำนวณและการวิเคราะห์ข้อมูล , 54 (10): 2296–2305

คัมมิง, กรัม (2009) การอนุมานด้วยตา: การอ่านคาบเกี่ยวของช่วงความมั่นใจอิสระ สถิติทางการแพทย์ , 28 (2): 205–220

เพย์ตัน, ME, Greenstone, MH, และ Schenker, N. (2003) การทับซ้อนช่วงความมั่นใจหรือช่วงข้อผิดพลาดมาตรฐาน: หมายความว่าอย่างไรในแง่ของนัยสำคัญทางสถิติ วารสารวิทยาศาสตร์แมลง , 3 (34): 1–6

ไทรอัน, WW และลูอิส, C. (2008) วิธีช่วงความมั่นใจเชิงอนุมานของการสร้างความเท่าเทียมทางสถิติที่แก้ไขปัจจัยการลดของ Tryon (2001) วิธีการทางจิตวิทยา , 13 (3): 272–277

หัวข้อที่ยอดเยี่ยมซึ่งน่าเศร้าไม่ได้รับความสนใจมากพอ

เมื่อพูดถึงพารามิเตอร์หลายตัวและช่วงความมั่นใจควรแยกแยะความแตกต่างระหว่างการอนุมานพร้อมกันและการอนุมานแบบเลือก Ref. [2] ให้การสาธิตที่ยอดเยี่ยมของเรื่อง

$1-\alpha$

แนวคิดทั้งสองนี้สามารถรวมกันได้: สมมติว่าคุณสร้างช่วงเวลาเฉพาะกับพารามิเตอร์ที่คุณปฏิเสธสมมติฐานว่าง คุณกำลังเผชิญกับการอนุมานแบบเลือกอย่างชัดเจน คุณอาจต้องการรับประกันความครอบคลุมของพารามิเตอร์ที่เลือกพร้อมกันหรือขอบเขตที่ครอบคลุมของพารามิเตอร์ที่เลือก อดีตจะเป็นคู่ของการควบคุม FWER และหลังของการควบคุม FDR

ตอนนี้มีมากกว่า: ขั้นตอนการทดสอบไม่ได้มีช่วงเวลาของพวกเขาทั้งหมด สำหรับขั้นตอน FWER และช่วงเวลาเพิ่มเติมโปรดดู [3] น่าเศร้าที่การอ้างอิงนี้ล้าสมัยไปเล็กน้อย สำหรับช่วงเวลาคู่ของการควบคุม BH FDR ให้ดู [1] และแอปพลิเคชันใน [4] (ซึ่งรวมถึงการทบทวนสั้น ๆ เกี่ยวกับเรื่องนี้) โปรดทราบว่านี่เป็นฟิลด์การวิจัยที่สดใหม่และกระตือรือร้นเพื่อให้คุณสามารถคาดหวังผลลัพธ์เพิ่มเติมในอนาคตอันใกล้

[1] Benjamini, Y. และ D. Yekutieli “ อัตราการค้นพบที่ผิดพลาดที่ปรับได้หลายช่วงความเชื่อมั่นสำหรับพารามิเตอร์ที่เลือก” วารสารสมาคมสถิติอเมริกัน 100 หมายเลข 0 469 (2005): 71–81

[2] Cox, DR“ ข้อสังเกตเกี่ยวกับวิธีการเปรียบเทียบหลายอย่าง” เทคนิคที่ 7, ไม่ 2 (1965): 223–24

[3] Hochberg, Y. และ AC Tamhane ขั้นตอนการเปรียบเทียบหลายรายการ นิวยอร์กนิวยอร์กสหรัฐอเมริกา: John Wiley & Sons, Inc. , 1987

[4] Rosenblatt, JD, และ Y. Benjamini “ เลือกสหสัมพันธ์; ไม่ใช่ Voodoo” NeuroImage 103 (ธันวาคม 2014): 401–10

ฉันจะไม่ปรับช่วงความมั่นใจสำหรับการทดสอบหลายรายการ ฉันไม่ใช่แฟนตัวยงของค่า p เพราะฉันเชื่อว่าการประมาณค่าพารามิเตอร์เป็นการใช้สถิติที่ดีกว่าการทดสอบสมมติฐานที่ไม่เคยเป็นจริง อย่างไรก็ตามฉันยอมรับว่าการทดสอบสมมติฐานมีค่าในการกล่าวว่าการทดลองแบบสุ่มควบคุมซึ่งอย่างน้อยหนึ่งสามารถยืนยันว่า asymptotically ถ้าการรักษาไม่ได้ผลสมมุติฐานว่างเป็นจริง อย่างไรก็ตามอย่างที่ฉันพูดไว้ที่อื่น [1] มักจะเกี่ยวข้องกับการมีผลหลักหนึ่ง อย่างไรก็ตามช่วงความเชื่อมั่นในคำจำกัดความที่พบบ่อยไม่เกี่ยวข้องกับสมมติฐานดังนั้นจึงไม่จำเป็นต้องมีการปรับสำหรับการเปรียบเทียบอื่น ๆ ที่อาจไม่เกี่ยวข้อง สมมติว่าฉันกำลังทดสอบฟีโนไทป์ที่เกี่ยวข้องกับยีนเฉพาะอย่างเช่นความสูงและความดันโลหิต ผม' ฉันอยากรู้ว่าความแตกต่างของความสูงนั้นสูงแค่ไหนระหว่างคนที่มีและไม่มียีนและฉันประเมินว่ามันดีแค่ไหน ฉันไม่เห็นว่าความจริงที่ว่าฉันวัดความดันโลหิตนั้นเกี่ยวข้องกับมันด้วย ที่ใดที่สำคัญก็คือว่าหากทั้งสองคนนั้นมีความหมายเดียวจากหลายร้อยคนที่เราทดสอบ ดังนั้นจึงมีความเป็นไปได้ที่ความแตกต่างจะเกิดขึ้นโดยบังเอิญมากกว่าการทดลองเชิงคาดหวังที่เราวัดความสูงและความดันโลหิตเท่านั้น แต่ทำการทดลองหลายร้อยครั้ง อย่างไรก็ตามในสถานการณ์เหล่านั้นจะไม่มีการปรับเปลี่ยนอย่างง่ายและจะดีกว่าที่จะประมาณการแบบไม่ต้องปรับปรุง แต่ทำความสะอาดตามวิธีการเปรียบเทียบเหล่านี้ นอกจากนี้เรายังได้ตีพิมพ์ผลการทดสอบซ้ำในช่วงความมั่นใจที่ทับซ้อนกัน [2] ไม่เห็นว่าความจริงที่ฉันวัดความดันโลหิตนั้นมีส่วนเกี่ยวข้องอะไรด้วย ที่ใดที่สำคัญก็คือว่าหากทั้งสองคนนั้นมีความหมายเดียวจากหลายร้อยคนที่เราทดสอบ ดังนั้นจึงมีความเป็นไปได้ที่ความแตกต่างจะเกิดขึ้นโดยบังเอิญมากกว่าการทดลองเชิงคาดหวังที่เราวัดความสูงและความดันโลหิตเท่านั้น แต่ทำการทดลองหลายร้อยครั้ง อย่างไรก็ตามในสถานการณ์เหล่านั้นจะไม่มีการปรับเปลี่ยนอย่างง่ายและจะดีกว่าที่จะประมาณการแบบไม่ต้องปรับปรุง แต่ทำความสะอาดตามวิธีการเปรียบเทียบเหล่านี้ นอกจากนี้เรายังได้ตีพิมพ์ผลการทดสอบซ้ำในช่วงความมั่นใจที่ทับซ้อนกัน [2] ไม่เห็นว่าความจริงที่ฉันวัดความดันโลหิตนั้นมีส่วนเกี่ยวข้องอะไรด้วย ที่ใดที่สำคัญก็คือว่าหากทั้งสองคนนั้นมีความหมายเดียวจากหลายร้อยคนที่เราทดสอบ ดังนั้นจึงมีความเป็นไปได้ที่ความแตกต่างจะเกิดขึ้นโดยบังเอิญมากกว่าการทดลองเชิงคาดหวังที่เราวัดความสูงและความดันโลหิตเท่านั้น แต่ทำการทดลองหลายร้อยครั้ง อย่างไรก็ตามในสถานการณ์เหล่านั้นจะไม่มีการปรับเปลี่ยนอย่างง่ายและจะดีกว่าที่จะประมาณการแบบไม่ต้องปรับปรุง แต่ทำความสะอาดตามวิธีการเปรียบเทียบเหล่านี้ นอกจากนี้เรายังได้ตีพิมพ์ผลการทดสอบซ้ำในช่วงความมั่นใจที่ทับซ้อนกัน [2] ใหญ่กว่าการทดลองเชิงคาดหวังที่เราวัดความสูงและความดันโลหิตเท่านั้น แต่ทำการทดลองหลายร้อยครั้ง อย่างไรก็ตามในสถานการณ์เหล่านั้นจะไม่มีการปรับเปลี่ยนอย่างง่ายและจะดีกว่าที่จะประมาณการแบบไม่ต้องปรับปรุง แต่ทำความสะอาดตามวิธีการเปรียบเทียบเหล่านี้ นอกจากนี้เรายังได้ตีพิมพ์ผลการทดสอบซ้ำในช่วงความมั่นใจที่ทับซ้อนกัน [2] ใหญ่กว่าการทดลองเชิงคาดหวังที่เราวัดความสูงและความดันโลหิตเท่านั้น แต่ทำการทดลองหลายร้อยครั้ง อย่างไรก็ตามในสถานการณ์เหล่านั้นจะไม่มีการปรับเปลี่ยนอย่างง่ายและจะดีกว่าที่จะประมาณการแบบไม่ต้องปรับปรุง แต่ทำความสะอาดตามวิธีการเปรียบเทียบเหล่านี้ นอกจากนี้เรายังได้ตีพิมพ์ผลการทดสอบซ้ำในช่วงความมั่นใจที่ทับซ้อนกัน [2]

[1] Campbell MJ และ Swinscow TDV (2009) สถิติที่ Square One 11 เอ็ดฟอร์ด; BMJ Books สำนักพิมพ์ Blackwell

[2] Julious SA, Campbell MJ, Walters SJ (2007) ทำนายอนาคตที่หมายถึงจะขึ้นอยู่กับผลของการทดลองในปัจจุบัน การทดลองทางคลินิกร่วมสมัย, 28, 352-357