ฟิชเชอร์หมายถึงอะไรโดยอ้างนี้?

ฉันเห็นข้อความที่โด่งดังนี้ทุกที่ แต่ไม่เข้าใจส่วนที่ถูกเน้นทุกครั้ง

คนที่ 'ปฏิเสธ' สมมติฐานเป็นการชั่วคราวเป็นเรื่องของการฝึกฝนเป็นนิสัยเมื่อความสำคัญอยู่ที่ระดับ 1% หรือสูงกว่าจะถูกเข้าใจผิดในการตัดสินใจเช่นนั้นไม่เกิน 1% เพราะเมื่อสมมติฐานถูกต้องเขาจะถูกเข้าใจผิดในเพียง 1% ของกรณีเหล่านี้และเมื่อมันไม่ถูกต้องเขาจะไม่ผิดในการปฏิเสธ [... ] อย่างไรก็ตามการคำนวณนั้นเป็นเรื่องไร้สาระทางวิชาการเพราะในความเป็นจริงไม่มีนักวิทยาศาสตร์คนใดมีระดับความสำคัญคงที่ซึ่งปีต่อปีและในทุกสถานการณ์เขาปฏิเสธสมมติฐาน; เขาค่อนข้างจะทำให้จิตใจของเขากับแต่ละกรณีโดยเฉพาะในแง่ของหลักฐานและความคิดของเขาไม่ควรลืมว่ากรณีที่เลือกใช้การทดสอบนั้นเป็นชุดที่เลือกอย่างชัดเจนและไม่สามารถระบุเงื่อนไขการเลือกแม้สำหรับผู้ปฏิบัติงานคนเดียว และในการโต้แย้งที่ใช้มันจะผิดกฎหมายอย่างชัดเจนสำหรับคนที่จะเลือกระดับความสำคัญที่แท้จริงที่ระบุโดยการทดลองโดยเฉพาะราวกับว่ามันเป็นนิสัยตลอดชีวิตของเขาที่จะใช้เพียงแค่ระดับนี้

(วิธีการทางสถิติและการอนุมานทางวิทยาศาสตร์, 1956, p. 42-45)

โดยเฉพาะอย่างยิ่งฉันไม่เข้าใจ

1. เหตุใดจึงถูกเลือกให้ทำการทดสอบ "เลือกอย่างสูง"? สมมติว่าคุณสงสัยว่าความสูงเฉลี่ยของคนในพื้นที่นั้นน้อยกว่า 165 ซม. หรือไม่และตัดสินใจทำการทดสอบ ขั้นตอนมาตรฐานเท่าที่ฉันรู้คือการสุ่มตัวอย่างจากพื้นที่และวัดความสูง วิธีนี้จะถูกเลือกอย่างมาก?
2. สมมติว่าคดีได้รับการคัดสรรมาอย่างดี แต่สิ่งนี้เกี่ยวข้องกับการเลือกระดับนัยสำคัญอย่างไร ลองพิจารณาตัวอย่างข้างต้นอีกครั้งถ้าวิธีการสุ่มตัวอย่างของคุณ (สิ่งที่ฉันคิดว่าฟิชเชอร์หมายถึงเงื่อนไขการเลือก ) จะเบ้และคนที่มีความสูงก็ช่วยให้งานวิจัยทั้งหมดพังลงและการกำหนดระดับนัยสำคัญ
3. $p$

นี่คือการถอดความสิ่งที่ฟิชเชอร์พูดในคำพูดที่กล้าหาญของคุณ ไม่ควรลืมว่ามีผู้คนจำนวนมากที่เลือกสมมติฐานที่จะทดสอบดังนั้นแม้กระทั่งสำหรับการตัดสินใจของคน ๆ เดียวคุณก็ไม่สามารถระบุได้ทั้งหมด นอกจากนี้ไม่ควรลืมว่าด้วยเหตุผลดังกล่าวข้างต้นคุณไม่สามารถตัดสินใจในระดับความสำคัญของการพิจารณาคดีโดยเฉพาะในลักษณะเดียวกับที่เป็นนิสัยตลอดชีวิต

1. การเลือกสมมติฐานทางวิทยาศาสตร์เป็นการทดสอบที่คุ้มค่ากับสมมติฐานการแข่งขันอื่น ๆ เนื่องจากอคติของนักวิจัยและสถานะความรู้ในปัจจุบัน สมมติฐานจะ "เลือกสูง" ไม่ตัวอย่าง; สมมติฐานกรณีที่เราใช้ทดสอบ

2. กระบวนการคัดเลือกของสมมติฐานส่งผลต่อระดับความสำคัญของเรา หากเรามั่นใจในสมมติฐานอย่างมากนั่นควรทำให้ระดับนัยสำคัญน้อยลงเพื่อทำให้ตนเองพึงพอใจ หากเราไม่แน่ใจมีภาระการพิสูจน์ที่สูงกว่า ปัจจัยอื่นเข้ามาเล่นเช่นกันเช่นความผิดพลาดประเภทที่ 1 นั้นแย่กว่า Type II ในการทดลองยา

3. ฉันคิดว่าเมื่อเขาพูดว่า "ระบุโดย" เขาก็หมายถึง "เลือก" ใช่มันเป็นค่าที่ตั้งไว้ล่วงหน้าซึ่งเราปฏิเสธสมมติฐานหากค่า p นั้นมากเกินไป

กรณีที่ฟิชเชอร์อ้างถึงนั้นไม่ใช่การสังเกต แต่เป็นการทดสอบ นั่นคือเราเลือกสมมติฐานที่จะทดสอบ เราไม่เพียงแค่ทดสอบสมมติฐานสุ่ม - เรายึดมันไว้กับการสังเกตวรรณคดีทฤษฎีทางวิทยาศาสตร์และอื่น ๆ

หากคุณไม่ได้ทดสอบสมมติฐานสุ่มแล้วจำนวนครั้งที่คุณจะเข้าใจผิด (ในประโยคแรกของคำพูดของคุณ) จะเป็น 1% (หรือสิ่งที่คุ้มค่าได้รับการแต่งตั้ง) เช่นถ้าเราทดสอบสมมติฐานเช่น

• ความเท่าเทียมกันของหมายเลขประกันสังคมของบุคคลนั้นเกี่ยวข้องกับ IQ ของเขา

• คนที่มีผมสีบลอนด์โยน Frisbees ได้ดีกว่าคนที่มีผมสีเข้ม

• เวลาในการรับคำตอบของ Cross Validated นั้นเกี่ยวข้องกับจำนวนพยางค์ในชื่อของคุณ

และทดสอบพวกมันทั้งหมดที่ 1% เราจะปฏิเสธโมฆะประมาณ 1% ของเวลาและทำอย่างไม่ถูกต้อง (เว้นแต่แน่นอนฉันจะทำบางสิ่งบางอย่างด้วยเรื่องไร้สาระข้างต้น)

ฉันเคยเห็นบทความเกี่ยวกับสีผมและการขว้าง Frisbee - และมันก็พบความแตกต่าง! ดังนั้นฉันจึงเรียกสิ่งนี้ว่า "การวิจัย Frisbee"

แต่ส่วนที่ฉันชอบที่สุดจากคำพูดคือ:

เพราะในความเป็นจริงไม่มีผู้ปฏิบัติงานทางวิทยาศาสตร์ที่มีระดับความสำคัญคงที่ซึ่งในแต่ละปีและในทุกสถานการณ์เขาปฏิเสธสมมติฐาน; เขาค่อนข้างจะทำให้จิตใจของเขากับแต่ละกรณีโดยเฉพาะในแง่ของหลักฐานและความคิดของเขา

เขาจะต้องปั่นในหลุมฝังศพของเขา

กำลังพยายามดูพื้นหลังของคำพูดฉันมาที่เวอร์ชันของหนังสือ (ฉันไม่แน่ใจว่าเป็นรุ่นใด) ที่มีคำพูดที่แตกต่างกันเล็กน้อย

https://archive.org/details/in.ernet.dli.2015.134555/page/n47

ความพยายามที่ทำขึ้นเพื่ออธิบายความสำคัญของการทดสอบที่มีความสำคัญในการวิจัยทางวิทยาศาสตร์โดยอ้างอิงถึงความถี่ที่เป็นไปได้ของข้อความที่เป็นไปได้ซึ่งขึ้นอยู่กับพวกเขาว่าถูกหรือผิดจึงดูเหมือนจะพลาดธรรมชาติที่สำคัญของการทดสอบดังกล่าว คนที่ "ปฏิเสธ" สมมุติฐานเป็นการชั่วคราวเป็นเรื่องของการฝึกฝนเป็นนิสัยเมื่อความสำคัญอยู่ที่ระดับ 1% หรือสูงกว่าจะถูกเข้าใจผิดในการตัดสินใจดังกล่าวไม่เกิน 1% เพราะเมื่อสมมติฐานถูกต้องเขาจะถูกเข้าใจผิดในเพียง 1% ของกรณีเหล่านี้และเมื่อมันไม่ถูกต้องเขาจะไม่ผิดในการปฏิเสธ คำแถลงความไม่เท่าเทียมนี้จึงสามารถทำได้ อย่างไรก็ตามการคำนวณนั้นเป็นเรื่องไร้สาระเพราะในความเป็นจริงแล้วไม่มีนักวิทยาศาสตร์คนใดที่มีระดับความสำคัญคงที่ในแต่ละปีและในทุกสถานการณ์ เขาปฏิเสธสมมติฐาน; เขาค่อนข้างจะทำให้จิตใจของเขากับแต่ละกรณีโดยเฉพาะในแง่ของหลักฐานและความคิดของเขา นอกจากนี้การคำนวณจะขึ้นอยู่กับสมมติฐานซึ่งในแง่ของหลักฐานมักไม่เชื่อว่าเป็นจริงเลยดังนั้นความน่าจะเป็นที่แท้จริงของการตัดสินใจที่ผิดพลาดสมมติว่าวลีนั้นมีความหมายใด ๆ น้อยกว่าความถี่ที่ระบุระดับนัยสำคัญ สำหรับคนที่ปฏิบัติจริงและผู้ที่ปฏิเสธสมมติฐานมันก็เป็นเรื่องของความไม่แยแสกับความน่าจะเป็นที่เขาอาจถูกนำไปสู่การยอมรับสมมติฐานอย่างไม่ถูกต้องเพราะในกรณีของเขาเขาไม่ยอมรับมัน มักจะไม่เชื่อว่าจะเป็นจริงเลยดังนั้นความเป็นไปได้ที่แท้จริงของการตัดสินใจที่ผิดพลาดสมมติว่าวลีดังกล่าวมีความหมายใด ๆ อาจน้อยกว่าความถี่ที่ระบุระดับความสำคัญ สำหรับคนที่ปฏิบัติจริงและผู้ที่ปฏิเสธสมมติฐานมันก็เป็นเรื่องของความไม่แยแสกับความน่าจะเป็นที่เขาอาจถูกนำไปสู่การยอมรับสมมติฐานอย่างไม่ถูกต้องเพราะในกรณีของเขาเขาไม่ยอมรับมัน มักจะไม่เชื่อว่าจะเป็นจริงเลยดังนั้นความเป็นไปได้ที่แท้จริงของการตัดสินใจที่ผิดพลาดสมมติว่าวลีดังกล่าวมีความหมายใด ๆ อาจน้อยกว่าความถี่ที่ระบุระดับความสำคัญ สำหรับคนที่ปฏิบัติจริงและผู้ที่ปฏิเสธสมมติฐานมันก็เป็นเรื่องของความไม่แยแสกับความน่าจะเป็นที่เขาอาจถูกนำไปสู่การยอมรับสมมติฐานอย่างไม่ถูกต้องเพราะในกรณีของเขาเขาไม่ยอมรับมัน

นี่ดูเหมือนว่าฉันจะวิจารณ์การใช้นิพจน์ทางคณิตศาสตร์ของการปฏิเสธความเป็นไปได้พิมพ์ข้อผิดพลาดฉันเป็นอาร์กิวเมนต์ที่เข้มงวดบางอย่าง การแสดงออกเหล่านั้นมักจะไม่แสดงออกที่ดีสำหรับสิ่งที่เกี่ยวข้องและไม่เข้มงวด

1. เหตุใดจึงเลือกเคสสำหรับการทดสอบ "เลือกอย่างสูง"

   ดูเหมือนว่าจะเกี่ยวข้องกับประโยค

   นอกจากนี้การคำนวณจะขึ้นอยู่กับสมมติฐานซึ่งในแง่ของหลักฐานมักจะไม่เชื่อว่าเป็นจริงเลย

   เราไม่ได้ใส่ใจกับสมมติฐานที่กำลังถูกทดสอบและบ่อยครั้งที่สมมติฐานที่ถูกทดสอบนั้นไม่เชื่อว่าเป็นจริง

2. สิ่งนี้เกี่ยวข้องกับการเลือกระดับนัยสำคัญอย่างไร?

   เรื่องนี้เกี่ยวข้องกับ

   ดังนั้นความน่าจะเป็นที่แท้จริงของการตัดสินใจที่ผิดพลาดสมมติว่าวลีดังกล่าวมีความหมายใด ๆ อาจน้อยกว่าความถี่ที่ระบุระดับความสำคัญ

   p-value เป็นเพียงความถี่ในการทำผิดพลาดเมื่อสมมติฐานว่างเป็นจริง แต่ความถี่ที่แท้จริงของการทำผิดจะแตกต่างกัน (ต่ำกว่า)

3. "ระดับความสำคัญจริงที่ระบุโดยการทดลองเฉพาะ" คืออะไร

   ฉันเชื่อว่าส่วนนี้หมายถึงการแฮ็คข้อมูลค่าบางอย่าง การเปลี่ยนระดับนัยสำคัญอัลฟาหลังจากการสังเกตเกิดขึ้นเพื่อให้ตรงกับค่า p ที่สังเกตและทำท่าว่านี่เป็นค่าการตัดออกตลอดตั้งแต่ต้น