อะไรคือความแตกต่างระหว่าง "การทดสอบสมมติฐาน" และ "ทดสอบความสำคัญ"?

วลี "การทดสอบสมมติฐาน" และ "การทดสอบความสำคัญ" มีความแตกต่างหรือไม่หรือไม่

หลังจากคำตอบอย่างละเอียดจาก @Micheal Lew ฉันมีความสับสนอย่างหนึ่งที่ทุกวันนี้สมมติฐาน (เช่น t-test to test mean) เป็นตัวอย่างของ "การทดสอบนัยสำคัญ" หรือ "การทดสอบสมมติฐาน"? หรือเป็นการรวมกันของทั้งคู่? คุณจะแยกแยะพวกเขาด้วยตัวอย่างง่ายๆได้อย่างไร?

hypothesis-testing statistical-significance

— รักสถิติ
แหล่งที่มา

t-test ของนักเรียนสามารถใช้เพื่อให้ค่า ap ที่สามารถใช้ในการทดสอบ signifcance ของชาวประมง (ค่า p คือระดับนัยสำคัญ) หรือในการทดสอบสมมติฐาน Neyman-pearsonian (ถ้าค่า p น้อยกว่าค่า alpha ที่ตั้งไว้ล่วงหน้า ดังนั้นผลลัพธ์คือ 'สำคัญ') ความแตกต่างอยู่ในสิ่งที่ทำกับผลการทดสอบ t- มากกว่าโรงเรียนที่คิดว่าการทดสอบ t มาจาก (แม้ว่าวิธีการของ Gossett มีมากเหมือนกันกับฟิชเชอร์มากกว่ากับ NP)

— Michael Lew - คืนสถานะโมนิก้า

คำตอบ:

การทดสอบความสำคัญเป็นสิ่งที่ชาวประมงคิดและการทดสอบสมมติฐานคือสิ่งที่เนย์แมนและเพียร์สันวางแผนที่จะแทนที่การทดสอบที่มีนัยสำคัญ พวกเขาจะไม่เหมือนกันและเข้ากันไม่ได้กับขอบเขตที่จะทำให้ผู้ใช้ส่วนใหญ่ของการทดสอบสมมติฐานว่าง

การทดสอบความสำคัญของฟิชเชอร์ให้ค่า AP ที่แสดงให้เห็นว่าการสังเกตการณ์อยู่ภายใต้สมมติฐานว่าง ค่า p นั้นเป็นดัชนีของหลักฐานเปรียบเทียบกับสมมติฐานว่างและระดับความสำคัญ

การทดสอบสมมติฐานของเนย์แมนและเพียร์สันตั้งขึ้นทั้งสมมติฐานว่างและสมมติฐานทางเลือกและทำงานเป็นกฎการตัดสินใจสำหรับการยอมรับสมมติฐานว่าง สั้น ๆ (มีมากกว่าที่ฉันสามารถใส่ได้ที่นี่) คุณเลือกอัตราที่ยอมรับได้ของการอนุมานค่าบวกปลอมอัลฟ่า (ปกติ 0.05) และยอมรับหรือปฏิเสธค่า null โดยขึ้นอยู่กับว่าค่า p นั้นสูงกว่าหรือต่ำกว่าอัลฟา คุณต้องปฏิบัติตามการตัดสินใจทดสอบทางสถิติหากคุณต้องการป้องกันข้อผิดพลาดเชิงบวกที่ผิดพลาด

วิธีการของฟิชเชอร์ช่วยให้คุณสามารถนำสิ่งที่คุณต้องการในการตีความผลตัวอย่างเช่นหลักฐานที่มีอยู่ก่อนสามารถนำมาพิจารณาอย่างไม่เป็นทางการในการตีความและการนำเสนอผล ในวิธีการ NP ที่สามารถทำได้เฉพาะในขั้นตอนการออกแบบการทดลองและดูเหมือนว่าจะทำได้ยาก ในความคิดของฉันวิธีการของชาวประมงมีประโยชน์มากขึ้นในงานด้านวิทยาศาสตร์ชีวภาพขั้นพื้นฐานมากกว่าวิธีของ NP

มีวรรณกรรมมากมายเกี่ยวกับความไม่สอดคล้องกันระหว่างการทดสอบนัยสำคัญกับการทดสอบสมมติฐานและเกี่ยวกับการผสมข้ามที่น่าเสียดายของทั้งสอง คุณสามารถเริ่มต้นด้วยเอกสารนี้: Goodman, ต่อสถิติทางการแพทย์ตามหลักฐาน 1: การเข้าใจผิดของค่า P http://www.ncbi.nlm.nih.gov/sites/entrez?Db=pubmed&Cmd=ShowDetailView&TermToSearch=10383371

— ไมเคิลลิว - คืนสถานะโมนิก้า
แหล่งที่มา

@Micheal Lew - +1 ฉันไม่ทราบว่านิวแมน / เพียร์สันได้ประกาศเกียรติคุณการทดสอบสมมติฐานวลีและฉันตีความมันในรูปแบบที่ค่อนข้างเป็นทางการมากกว่า นอกจากนี้คุณสามารถอธิบายเพิ่มเติมเกี่ยวกับคำตอบของฉันว่าผิดได้อย่างไรเนื่องจากฉันต้องการแก้ไขข้อผิดพลาดและยินดีรับฟังข้อเสนอแนะ

— richiemorrisroe

@richiemorrisroe - Neyman และ Pearson ทำมากกว่าวลี! พวกเขาคิดค้นกระบวนทัศน์ทั้งหมดสำหรับการวิเคราะห์ทางสถิติ - กระบวนทัศน์ที่มีอิทธิพลในหลายพื้นที่ในวันนี้ (แม้จะมีความคิดเห็นของฉันและฟิชเชอร์) ว่ามันไม่เหมาะกับการทดลองทางวิทยาศาสตร์มากที่สุด ฟิชเชอร์อ้างซ้ำ ๆ ว่าวิธีการ NP นั้นเกี่ยวข้องกับการทดสอบการยอมรับในอุตสาหกรรมเท่านั้น ตำราสถิติเบื้องต้นส่วนใหญ่ไม่ได้มีรายละเอียดและประวัติเพียงพอที่จะทำให้นักเรียนเข้าใจว่ามีความแตกต่างที่สำคัญระหว่างโรงเรียนที่คิดเกี่ยวกับการทดสอบทางสถิติ มันโชคร้าย

— Michael Lew - คืนสถานะโมนิก้า

ในหลายกรณีงบสองชุดนี้มีความหมายเหมือนกัน อย่างไรก็ตามพวกเขายังสามารถแตกต่างกันมาก

การทดสอบสมมติฐานประกอบด้วยการบอกสิ่งแรกที่คุณเชื่อว่าจะเกิดขึ้นกับปรากฏการณ์บางอย่างจากนั้นพัฒนาแบบทดสอบสำหรับปรากฏการณ์นี้แล้วกำหนดว่าปรากฏการณ์นั้นเกิดขึ้นจริงหรือไม่ ในหลายกรณีการทดสอบสมมติฐานไม่จำเป็นต้องเกี่ยวข้องกับการทดสอบทางสถิติใด ๆ ฉันนึกถึงคำพูดนี้โดยนักฟิสิกส์เออร์เนสต์รัทเธอร์ฟอร์ด - หากการทดสอบของคุณต้องการสถิติคุณควรทำการทดลองที่ดีขึ้น การทดสอบสมมติฐานมักใช้เครื่องมือทางสถิติบางชนิด

ในทางตรงกันข้ามการทดสอบความสำคัญเป็นแนวคิดทางสถิติล้วนๆ ในสาระสำคัญหนึ่งมีสองสมมติฐาน - สมมติฐานว่างซึ่งระบุว่าไม่มีความแตกต่างระหว่างคอลเลกชันของคุณ (หรือมากกว่า) ข้อมูล สมมติฐานทางเลือกคือว่ามีความแตกต่างระหว่างสองตัวอย่างของคุณที่ไม่ได้เกิดขึ้นโดยบังเอิญ

จากการออกแบบการศึกษาของคุณจากนั้นคุณเปรียบเทียบตัวอย่างสอง (หรือมากกว่า) โดยใช้การทดสอบทางสถิติซึ่งให้ตัวเลขกับคุณซึ่งคุณจะเปรียบเทียบกับการแจกแจงอ้างอิง (เช่นการแจกแจงแบบปกติ t หรือ F) และถ้า สถิติการทดสอบนี้สูงกว่าค่าวิกฤตคุณปฏิเสธสมมติฐานว่างและสรุปว่ามีความแตกต่างระหว่างตัวอย่างสอง (หรือมากกว่า) เกณฑ์นี้โดยปกติแล้วความน่าจะเป็นของความแตกต่างที่เกิดขึ้นโดยบังเอิญนั้นน้อยกว่าหนึ่งในยี่สิบ (p <0.05) แม้ว่าบางครั้งก็มีการใช้

— richiemorrisroe
แหล่งที่มา

คุณช่วยยกตัวอย่างที่การทดสอบสมมติฐานไม่ได้เกี่ยวข้องกับการทดสอบทางสถิติได้ไหม?

— love-stats

นี่เป็นตัวแทนที่ไม่ถูกต้องของการทดสอบอย่างมีนัยสำคัญและการทดสอบสมมติฐาน

— Michael Lew - คืนสถานะโมนิก้า

@ user152509 สมมติว่าฉันทำการศึกษาซึ่งฉันสัมภาษณ์ผู้ใช้และไม่ใช่ผู้ใช้ของผลิตภัณฑ์เฉพาะ ฉันตั้งสมมติฐานว่าผู้ใช้ที่ไม่ใช่ผู้ใช้จะมุ่งเน้นไปที่ข้อเสียของผลิตภัณฑ์ดังกล่าวในขณะที่ผู้ใช้จะพูดคุยเกี่ยวกับวิธีที่ผลิตภัณฑ์ช่วยพวกเขา นี่คือสิ่งที่ฉันสังเกตดังนั้นการทดสอบสมมติฐานจึงไม่มีสถิติ

— richiemorrisroe

มันเป็นสิ่งสำคัญที่จะแยกแยะระหว่างสมมติฐานทางวิทยาศาสตร์และสมมติฐานทางสถิติ สมมติฐานว่างที่ทดสอบโดยสมมติฐานว่างการทดสอบทางสถิติมักจะเป็นเพียงหลัง การทดสอบสมมติฐานทางสถิติที่ออกแบบมาอย่างดีอาจอนุญาตให้อนุมานเกี่ยวกับสมมติฐานทางวิทยาศาสตร์ แต่ก็ไม่ได้เป็นเช่นนั้นเสมอไป

— Michael Lew - คืนสถานะโมนิก้า

@Micheal Lew ฉันมีความสับสนอย่างหนึ่งที่ทุกวันนี้สมมติฐาน (เช่น t-test to test mean) เป็นตัวอย่างของ "การทดสอบนัยสำคัญ" หรือ "การทดสอบสมมติฐาน" หรือไม่? หรือเป็นการรวมกันของทั้งคู่? คุณจะแยกแยะพวกเขาด้วยตัวอย่างง่ายๆได้อย่างไร?

— love-stats