หากการเปรียบเทียบหลายรายการเป็นแบบ“ วางแผน” คุณยังต้องแก้ไขหลายรายการหรือไม่

ฉันกำลังตรวจสอบกระดาษที่มีการทดสอบ> ทดสอบ 2x2 Chi Square แยกกัน 15 ครั้ง ฉันแนะนำว่าพวกเขาต้องแก้ไขให้ถูกต้องสำหรับการเปรียบเทียบหลาย ๆ ครั้ง แต่พวกเขาได้ตอบว่าการเปรียบเทียบทั้งหมดนั้นมีการวางแผนและดังนั้นจึงไม่จำเป็น

ฉันรู้สึกว่าสิ่งนี้จะต้องไม่ถูกต้อง แต่ไม่สามารถค้นหาแหล่งข้อมูลที่ระบุอย่างชัดเจนว่าเป็นกรณีนี้หรือไม่

ใครช่วยได้บ้าง

ปรับปรุง:

ขอบคุณสำหรับคำตอบที่เป็นประโยชน์ทั้งหมดของคุณ เพื่อตอบสนองต่อคำขอของ @ gung สำหรับข้อมูลเพิ่มเติมเกี่ยวกับการศึกษาและการวิเคราะห์พวกเขากำลังเปรียบเทียบข้อมูลการนับสำหรับผู้เข้าร่วมสองประเภท (นักเรียนที่ไม่ใช่นักเรียน) ในสองเงื่อนไขในช่วงเวลาสามช่วงเวลา การทดสอบ 2x2 Chi Square หลายครั้งจะถูกเปรียบเทียบในแต่ละช่วงเวลาในแต่ละเงื่อนไขสำหรับผู้เข้าร่วมแต่ละประเภท (ถ้าเหมาะสม) เช่นนักเรียนเงื่อนไข 1 ระยะเวลา 1 เทียบกับช่วงเวลา 2) ดังนั้นการวิเคราะห์ทั้งหมดจึงทดสอบสมมติฐานเดียวกัน .

นี่เป็นปัญหาที่ซับซ้อนของ IMHO และฉันต้องการแสดงความคิดเห็นสามข้อเกี่ยวกับสถานการณ์นี้

ก่อนอื่นโดยทั่วไปฉันจะมุ่งเน้นไปที่ว่าคุณต้องเผชิญกับการศึกษาเชิงยืนยันด้วยชุดของรูปทรงที่ดีที่กำหนดไว้ในบริบทที่เป็นข้อโต้แย้งหรือการศึกษาเชิงอธิบายที่มีการสังเกตตัวชี้วัดหลายอย่างมากกว่าที่พวกเขาวางแผนหรือไม่ เพียงวางแผนที่จะทำการเปรียบเทียบที่เป็นไปได้ทั้งหมด)

ประการที่สองฉันจะเน้นที่การพูดถึงค่า p ที่เกิดขึ้นแล้ว พวกเขาแต่ละคนเคยใช้เพื่อสรุปข้อสรุปที่ชัดเจนหรือพวกเขาพูดคุยกันเป็นหลักฐานและขาดหลักฐานหรือไม่?

ในที่สุดฉันจะพูดถึงความเป็นไปได้ที่การตั้งสมมติฐาน> 15 ซึ่งเป็นผลมาจากการทดสอบไคสแควร์ที่แยกต่างหาก> 15 อันที่จริงแล้วการแสดงออกของสมมติฐานเพียงไม่กี่ข้อ

โดยทั่วไปไม่ว่าสมมติฐานจะถูกกำหนดไว้ล่วงหน้าหรือไม่ก็ตามการแก้ไขเพื่อการเปรียบเทียบหลายรายการหรือไม่นั้นเป็นเรื่องของสิ่งที่คุณระบุไว้ในข้อผิดพลาดประเภท I การไม่แก้ไข MC ให้คุณควบคุมอัตราความผิดพลาดประเภทที่ฉันเปรียบเทียบต่อไปเท่านั้น ดังนั้นในกรณีของการเปรียบเทียบจำนวนมากคุณมีอัตราความผิดพลาดประเภทครอบครัวที่ฉลาดและมีการค้นพบที่ผิดพลาดมากกว่า

รับการปรับปรุงของคุณเกี่ยวกับการออกแบบฉันขอแนะนำให้พวกเขาทำรูปแบบของ log-linear model เพื่อใช้ข้อมูลทั้งหมดในครั้งเดียว การวิเคราะห์อาหารแบบชิ้นเดียวที่พวกเขาทำดูเหมือนว่า (a) ไม่มีประสิทธิภาพ (b) ตามหลักวิทยาศาสตร์ในขณะที่มันทำการทดสอบ 15 สมมติฐานซึ่งแน่นอนว่ามีสมมติฐานจริงน้อยกว่า

ฉันไม่ใช่แฟนของการแก้ไขหลายหลากเป็นภาพสะท้อนปรับอากาศ แต่ในกรณีนี้หากพวกเขาปฏิเสธวิธีการวิเคราะห์ที่ลึกกว่านั้นฉันจะแนะนำให้พวกเขาแก้ไข

หากคุณแทนที่คำว่า 'ไตร่ตรองไว้ล่วงหน้า' สำหรับ 'วางแผน' สิ่งนี้อาจช่วยขจัดข้อโต้แย้งที่ผู้เขียนเสนอ พิจารณาการวิเคราะห์ทางสถิติที่แตกต่างกันสองแบบของข้อมูลเดียวกัน:

1. 'อาชญากรรมไตร่ตรองล่วงหน้า' ซึ่งมีการทดสอบสมมติฐานทุกครั้งที่เป็นไปได้วางไว้ล่วงหน้าโดย 'ผู้กระทำผิดทางสถิติเชิงสถิติ' ซึ่งเป็นแผนการที่จะลองใช้แต่ละคนอย่างเป็นระบบและเลือกการทดสอบที่มีค่า p น้อยที่สุดในฐานะ เพื่อส่งเสริมในส่วนผลการสนทนาและข้อสรุปของบทความและแน่นอนชื่อเช่นกัน
2. 'อาชญากรรมแห่งตัณหา' ซึ่งความตั้งใจเริ่มต้นเป็นเพียงการเผชิญหน้ากับข้อมูลด้วยสมมติฐานหนึ่ง แต่ "ดี ... สิ่งหนึ่งนำไปสู่อีก" และการทดสอบสมมติฐานเฉพาะกิจหลายรายการ"เพิ่งเกิดขึ้น" ในความร้อนแรงของวิทยาศาสตร์ที่ต้องการ เรียนรู้"บางสิ่ง ... อะไรก็ได้! "จากข้อมูล

ทั้งสองวิธีมันคือ 'การฆาตกรรม' - คำถามคือว่ามันอยู่ในระดับแรกหรือระดับที่สอง เห็นได้ชัดว่าคนแรกเป็นปัญหาทางศีลธรรมมากขึ้น ฟังดูราวกับว่าผู้เขียนที่นี่พยายามเรียกร้องอะไรบางอย่างกับผลกระทบที่ไม่ใช่การฆาตกรรมเพราะมันถูกไตร่ตรองไว้ล่วงหน้า

บทความนี้ตรงกับคำถามของคุณ: http://jrp.icaap.org/index.php/jrp/article/view/514/417

(Frane, AV, "การทดสอบสมมติฐานตามแผนไม่จำเป็นต้องได้รับการยกเว้นจากการปรับหลายหลาก", วารสารวิจัยปฏิบัติ, 2015)