ฉันเพิ่งเขียนรายการในบล็อก linkedin ที่ระบุ Neyman Pearson บทแทรกในคำธรรมดาและให้ตัวอย่าง ฉันพบตัวอย่างการเปิดตาในแง่ของการให้สัญชาตญาณที่ชัดเจนเกี่ยวกับบทแทรก บ่อยครั้งที่มีความน่าจะเป็นมันขึ้นอยู่กับฟังก์ชันความน่าจะเป็นแบบมวลโดยสิ้นเชิงดังนั้นจึงง่ายต่อการทำงานมากกว่าเมื่อทำงานกับ pdf นอกจากนี้ให้คำนึงถึงฉันกำหนดอัตราส่วนความน่าจะเป็นความเป็นไปได้ของสมมติฐานทางเลือกเทียบกับสมมติฐานว่างซึ่งตรงกันข้ามกับคำสั่งบทแทรกของคุณ คำอธิบายเหมือนกัน แต่น้อยกว่าตอนนี้มากกว่า ฉันหวังว่ามันจะช่วย ...
ผู้ที่ทำงานในการวิเคราะห์ข้อมูลและผ่านหลักสูตรสถิติบางอย่างอาจรู้จัก Neyman-Pearson lemma (NP-lemma) ข้อความนั้นเรียบง่ายการสาธิตไม่มาก แต่สิ่งที่ฉันมักจะพบเจอได้ยากคือการได้รับความรู้สึกร่วมของสิ่งที่มันเป็น การอ่านหนังสือชื่อ "ข้อผิดพลาดทั่วไปในสถิติ" โดย PIGood และ JWHardin ฉันได้รับคำอธิบายและตัวอย่างที่ช่วยให้ฉันได้รับความรู้สึกเกี่ยวกับ NP-lemma ที่ฉันคิดถึงมาตลอด
ในภาษาที่ไม่สมบูรณ์แบบทางคณิตศาสตร์ 100% สิ่งที่ Neyman-Pearson บอกกับเราคือการทดสอบที่ทรงพลังที่สุดสามารถตรวจสอบสมมติฐานที่กำหนดภายในระดับความสำคัญที่กำหนดโดยเขตการปฏิเสธที่ทำโดยการสังเกตที่เป็นไปได้ทั้งหมดจาก อัตราส่วนความน่าจะเป็นสูงกว่าเกณฑ์ที่กำหนด ... woahhh! ใครบอกว่ามันง่าย!
รักษาความสงบและแยกแยะรูปแทรก:
- สมมติฐาน ในสถิติเรามักทำงานกับสมมติฐานสองข้อที่การทดสอบทางสถิติควรปฏิเสธหรือไม่ปฏิเสธ มีสมมติฐานว่างที่จะไม่ถูกปฏิเสธจนกว่าจะมีหลักฐานตัวอย่างที่ชัดเจนเพียงพอ นอกจากนี้ยังมีสมมติฐานทางเลือกหนึ่งที่เราจะใช้ถ้าค่าว่างดูเหมือนว่าเป็นเท็จ
- พลังของการทดสอบ (หรือที่เรียกว่าความไว) บอกเราว่าสัดส่วนของเวลาที่เราจะปฏิเสธสมมติฐานว่างเมื่อมันผิด เราต้องการการทดสอบที่ทรงพลังดังนั้นเวลาส่วนใหญ่ที่เราปฏิเสธสมมติฐานว่างที่เราพูดถูก!
- ระดับความสำคัญของการทดสอบ (หรือที่เรียกว่าอัตราการบวกที่ผิดพลาด) จะบอกเราว่าสัดส่วนครั้งใดที่เราจะปฏิเสธสมมติฐานที่ผิดพลาดเมื่อมันเป็นจริง เราต้องการระดับความสำคัญเล็กน้อยดังนั้นส่วนใหญ่ที่เราปฏิเสธสมมติฐานว่างเราไม่ผิด!
- เขตการปฏิเสธเนื่องจากผลการทดสอบที่เป็นไปได้ทั้งหมดภูมิภาคการปฏิเสธจะรวมผลลัพธ์ที่จะทำให้เราปฏิเสธสมมติฐานว่างเปล่าเพื่อผลประโยชน์ของทางเลือก
- ความน่าจะเป็นคือความน่าจะเป็นที่ได้เห็นผลลัพธ์ที่สังเกตได้จากการทดสอบที่ระบุว่าสมมติฐานว่าง (ความน่าจะเป็นของสมมติฐานว่าง) หรือทางเลือกหนึ่ง (โอกาสของสมมติฐานทางเลือก) เป็นจริง
- อัตราส่วนความน่าจะเป็นคืออัตราส่วนของความน่าจะเป็นสมมุติฐานทางเลือกหารด้วยความน่าจะเป็นสมมุติฐานว่าง หากผลการทดสอบคาดหวังมากหากสมมติฐานว่างเป็นจริงกับทางเลือกอื่นอัตราส่วนความน่าจะเป็นควรน้อย
คำจำกัดความเพียงพอ! (แม้ว่าคุณจะดูพวกเขาอย่างระมัดระวังคุณจะรู้ว่าพวกเขาฉลาดมาก!) ไปที่สิ่งที่เนย์แมนและเพียร์สันบอกกับเราว่า: หากคุณต้องการมีการทดสอบทางสถิติที่ดีที่สุดจากมุมมองของพลังงานเพียงแค่กำหนดขอบเขตการปฏิเสธโดยรวมถึงผลการทดสอบที่มีอัตราส่วนความน่าจะเป็นสูงสุด ผลลัพธ์จนกว่าคุณจะถึงค่าที่แน่นอนสำหรับจำนวนครั้งที่การทดสอบของคุณจะปฏิเสธสมมติฐานว่างเมื่อเป็นจริง (ระดับนัยสำคัญ)
ลองดูตัวอย่างที่หวังว่าทุกอย่างจะมารวมกัน ตัวอย่างขึ้นอยู่กับหนังสือที่กล่าวถึงข้างต้น มันถูกสร้างขึ้นอย่างสมบูรณ์ด้วยตัวเองดังนั้นจึงไม่ควรมองว่าเป็นการสะท้อนความเป็นจริงหรือความคิดเห็นส่วนตัว
ลองนึกภาพว่าเราต้องการที่จะตัดสินว่าใครบางคนกำลังสนับสนุนโควต้าการเข้าเมือง (สมมติฐานว่าง) หรือไม่ (สมมุติฐานทางเลือก) โดยถามความรู้สึกของเขา / เธอกับสหภาพยุโรป
ลองนึกภาพเรารู้ว่าการกระจายความน่าจะเป็นที่แท้จริงสำหรับคนทั้งสองประเภทเกี่ยวกับคำตอบสำหรับคำถามของเรา:
ลองจินตนาการว่าเรายินดีที่จะยอมรับข้อผิดพลาดในเชิงบวกที่ผิดพลาด 30% นั่นคือ 30% ของเวลาที่เราจะปฏิเสธสมมติฐานว่างและสันนิษฐานว่าผู้สัมภาษณ์นั้นไม่เห็นด้วยกับโควต้าเมื่อเขา / เธอเป็นจริงสำหรับพวกเขา เราจะสร้างแบบทดสอบอย่างไร
จากข้อมูลของเนย์แมนและเพียร์สันเราจะได้ผลลัพธ์ที่มีอัตราส่วนความน่าจะเป็นสูงสุด นี่คือคำตอบของ "ชอบ EU จริง ๆ " ด้วยอัตราส่วน 3 ด้วยผลลัพธ์นี้ถ้าเราคิดว่าใครบางคนขัดกับโควต้าเมื่อเขา / เธอบอกว่าเขา "ชอบ EU จริง ๆ " 10% ของเวลาที่เราจะมอบหมาย สำหรับคนโควต้าต่อต้าน (นัยสำคัญ) อย่างไรก็ตามเราจะจำแนกคนโควต้าได้อย่างถูกต้อง 30% ของเวลา (พลังงาน) เนื่องจากไม่ใช่ทุกคนในกลุ่มนี้ที่มีความคิดเห็นแบบเดียวกันเกี่ยวกับสหภาพยุโรป
สิ่งนี้ดูเหมือนว่าจะเป็นผลลัพธ์ที่แย่เท่าที่มีอำนาจเกี่ยวข้อง อย่างไรก็ตามการทดสอบไม่ได้ทำผิดพลาดมากมายในการจัดประเภทสำหรับคนโควต้า (สำคัญ) เนื่องจากเรามีความยืดหยุ่นมากขึ้นเกี่ยวกับความสำคัญลองมองหาผลการทดสอบถัดไปว่าเราควรเพิ่มคำตอบที่ปฏิเสธสมมติฐานว่าง (เขตการปฏิเสธ)
คำตอบถัดไปที่มีอัตราส่วนความน่าจะเป็นสูงที่สุดคือ "like EU" หากเราใช้คำตอบ "ชอบ" และ "ชอบ" สหภาพยุโรปเป็นผลการทดสอบที่อนุญาตให้เราปฏิเสธสมมติฐานว่างเปล่าของคนที่เป็นโควต้าเราจะทำผิดพลาดสำหรับคนโควต้าไม่ใช่ 30% ของเวลา (10% จาก "ชอบ" จริง ๆ และ 20% จาก "ชอบ") และเราจะจัดประเภทอย่างถูกต้องกับคนโควต้า 65% ของเวลา (30% จาก "ชอบ" และ 35% จาก "ชอบ") ในศัพท์แสงทางสถิติ: ความสำคัญของเราเพิ่มขึ้นจาก 10% เป็น 30% (ไม่ดี!) ในขณะที่พลังการทดสอบของเราเพิ่มขึ้นจาก 30% เป็น 65% (ดี!)
นี่คือสถานการณ์ที่การทดสอบทางสถิติทั้งหมดมี ไม่มีบางอย่างเช่นอาหารกลางวันฟรีแม้ในสถิติ! หากคุณต้องการเพิ่มพลังในการทดสอบของคุณคุณต้องเพิ่มค่าใช้จ่ายในการเพิ่มระดับความสำคัญ หรือในแง่ที่ง่ายกว่า: คุณต้องการจัดประเภทคนดี ๆ ให้ดีกว่าคุณจะต้องเสียค่าใช้จ่ายในการมีคนร้ายที่ดูดีกว่า!
โดยพื้นฐานแล้วเราเสร็จแล้ว! เราสร้างการทดสอบที่ทรงพลังที่สุดที่เราสามารถทำได้ด้วยข้อมูลที่กำหนดและระดับความสำคัญ 30% โดยใช้ป้ายกำกับ "ชอบ" และ "ชอบ" เพื่อดูว่ามีใครต่อโควต้า ... เราแน่ใจหรือไม่
จะเกิดอะไรขึ้นถ้าเราได้รวมไว้ในขั้นตอนที่สองหลังจากเลือกคำตอบ "ชอบ" จริง ๆ แล้วคำตอบ "ไม่แยแส" แทนที่จะเป็น "ชอบ"? ความสำคัญของการทดสอบจะเป็นแบบเดียวกันกับก่อนหน้านี้ที่ 30%: 10% สำหรับคนโควต้าจะตอบว่า "ชอบ" และ 20% สำหรับคนที่โควต้าจะตอบว่า "ไม่ชอบ" การทดสอบทั้งสองจะไม่ดีเท่าการแบ่งประเภทสำหรับบุคคลโควต้า อย่างไรก็ตามพลังจะแย่ลง! ด้วยการทดสอบใหม่เราจะมีพลัง 50% แทนที่จะเป็น 65% ที่เราเคยมีมาก่อน: 30% จาก "ชอบจริงๆ" และ 20% จาก "ไม่สนใจ" ด้วยการทดสอบใหม่เราจะแม่นยำน้อยลงในการระบุกับคนโควต้า!
ใครช่วยออกที่นี่ อัตราส่วนความน่าจะเป็นของเนย์แมน - บุคคลความคิดที่น่าทึ่ง! การตอบแต่ละครั้งด้วยอัตราส่วนความน่าจะเป็นที่สูงที่สุดทำให้เรามั่นใจว่าเราได้รวมการทดสอบใหม่ให้ได้มากที่สุดเท่าที่จะเป็นไปได้