อาร์กิวเมนต์ทางสถิติสำหรับสาเหตุที่ 10,000 หัวจากการโยน 20,000 ครั้งจะแนะนำข้อมูลที่ไม่ถูกต้อง

สมมติว่าเรามีการโยนเหรียญที่ยุติธรรมซ้ำแล้วซ้ำเล่าและเรารู้ว่าจำนวนหัวและก้อยควรจะเท่ากัน เมื่อเราเห็นผลลัพธ์เช่น 10 หัวและ 10 ก้อยรวมเป็น 20 โยนเราเชื่อว่าผลลัพธ์และมีแนวโน้มที่จะเชื่อว่าเหรียญมีความยุติธรรม

เมื่อคุณเห็นผลลัพธ์เช่น 10,000 หัวและ 10,000 ก้อยต่อการโยนรวม 20,000 ครั้งฉันจะถามความถูกต้องของผลลัพธ์ (ผู้ทดลองทำการปลอมข้อมูล) เพราะฉันรู้ว่ามันไม่น่าจะเป็นไปได้มากกว่าที่จะพูด 10093 หัวและหาง 9907

อะไรคือข้อโต้แย้งทางสถิติที่อยู่เบื้องหลังสัญชาตญาณของฉัน

สมมติว่าเหรียญยุติธรรมผลของ 10,000 หัวและ 10,000 ก้อยมีแนวโน้มที่จะเป็นจริงมากกว่าผลของ 10093 หัวและ 9907 ก้อย

อย่างไรก็ตามเมื่อคุณพูดว่าผู้ทดลองจริงไม่น่าจะได้หัวและก้อยเท่ากันคุณจะเรียกทฤษฎีบทของเบย์โดยปริยาย ความเชื่อก่อนหน้าของคุณเกี่ยวกับการทดลองจริงคือ Prob (ไม่มีของหัว = 10,000 ใน 20,000 tosses | เนื่องจากผู้ทดลองไม่ได้แกล้งทำ) อยู่ใกล้กับ 0 ดังนั้นเมื่อคุณเห็นผลลัพธ์จริงที่ 'No of heads = 10000' ของคุณ ด้านหลังเกี่ยวกับ Prob (Experimenter ไม่ได้แกล้ง | สังเกตผลลัพธ์ได้ 10,000 หัว) ก็ใกล้กับ 0 ดังนั้นคุณสรุปได้ว่าผู้ทดลองกำลังแกล้งทำข้อมูล

ฉันชอบคำอธิบายของศรีกันต์และฉันคิดว่าแนวคิดแบบเบย์อาจเป็นวิธีที่ดีที่สุดในการแก้ไขปัญหาเช่นนี้ แต่นี่เป็นอีกวิธีในการดูโดยไม่ต้อง Bayes: (ใน R)

dbinom(10, size = 20, prob = 0.5)/dbinom(10000, 20000, 0.5)

ประมาณ 31.2 ในระบบของฉัน กล่าวอีกนัยหนึ่งมีแนวโน้มที่จะเห็น 10 จาก 20 มากกว่า 30 เท่ามากกว่าที่จะเห็น 10,000 จาก 20,000 ถึงแม้จะมีเหรียญยุติธรรมในทั้งสองกรณี อัตราส่วนนี้เพิ่มขึ้นโดยไม่มีข้อผูกมัดเมื่อขนาดตัวอย่างเพิ่มขึ้น

นี่เป็นวิธีอัตราส่วนความน่าจะเป็น แต่ในความคิดของฉันสิ่งนี้รู้สึกเหมือนการตัดสินของเบย์เรียกมากกว่าสิ่งอื่นใด

การถกเถียงเรื่องอัตถิภาวนิยมแบบเบส์เป็นเพียงวิธีเดียว (จากมุมมองเชิงสถิติ) คุณสามารถเข้าใจความเข้าใจสัญชาตญาณของคุณซึ่งก็คือการพูดอย่างถูกต้องเรื่องของการสืบสวนทางจิตวิทยาไม่ใช่เรื่องทางสถิติ อย่างไรก็ตามมันไม่ยุติธรรมอย่างมีเหตุผล - และไม่ถูกต้อง - เพื่อใช้วิธี Bayesian เพื่อยืนยันว่าผู้ตรวจสอบทำข้อมูลปลอม ตรรกะของสิ่งนี้เป็นวงกลมอย่างสมบูรณ์แบบ: มันลงมาเพื่อพูดว่า "จากความเชื่อก่อนหน้านี้ของฉันเกี่ยวกับผลลัพธ์ฉันพบว่าผลลัพธ์ของคุณเหลือเชื่อและดังนั้นคุณต้องโกง" ข้อโต้แย้งที่แสดงตัวตนอย่างไร้เหตุผลดังกล่าวจะไม่โดดเด่นในห้องพิจารณาคดีหรือในกระบวนการพิจารณาทบทวน

แต่เราสามารถใช้เคล็ดลับจากคำวิจารณ์ของ Ronald Fisher เกี่ยวกับการทดลองของ Mendelและทำการทดสอบสมมติฐานอย่างเป็นทางการ แน่นอนมันไม่ถูกต้องที่จะทดสอบการโพสต์เฉพาะกิจสมมติฐานบนพื้นฐานของผล แต่การทดลองจะต้องทำซ้ำเพื่อเชื่อ: นั่นเป็นหลักการของวิธีการทางวิทยาศาสตร์ ดังนั้นเมื่อเห็นผลลัพธ์เดียวที่เราคิดว่าอาจปลอมแปลงเราสามารถกำหนดสมมติฐานที่เหมาะสมเพื่อทดสอบผลลัพธ์ในอนาคต (หรือเพิ่มเติม) ในกรณีนี้ภูมิภาคสำคัญจะประกอบไปด้วยชุดผลลัพธ์ที่ใกล้เคียงกับความคาดหมายมาก ตัวอย่างเช่นการทดสอบที่$\alpha$= ระดับ 5% จะดูผลลัพธ์ใด ๆ ระหว่าง 9,996 และ 10,004 ในฐานะผู้ต้องสงสัยเพราะ (a) การรวบรวมนี้อยู่ใกล้กับผลลัพธ์ที่ "ปลอม" และ (b) ภายใต้สมมติฐานว่างของเราที่ไม่แกล้ง (ไร้เดียงสาจนพิสูจน์ผิดในศาล!) ผลลัพธ์ในช่วงนี้มีโอกาสเกิดขึ้นเพียง 5% (จริง ๆ 5.07426%) นอกจากนี้เราสามารถนำวิธีการเฉพาะกิจนี้มาใช้ในบริบทไคสแควร์ (a la Fisher) เพียงแค่ทำการเบี่ยงเบนความเบี่ยงเบนระหว่างสัดส่วนที่สังเกตกับสัดส่วนที่คาดไว้จากนั้นจึงเรียกใช้บทแทรกของ Neyman-Pearsonในการทดสอบแบบต่ำหางและใช้ประมาณธรรมดาถึงการกระจายทวินาม

แม้ว่าการทดสอบดังกล่าวจะไม่สามารถพิสูจน์ได้ว่าเป็นสิ่งปลอมแปลง แต่ก็สามารถนำไปใช้กับรายงานในอนาคตจากผู้ทดสอบรายนั้นเพื่อประเมินความน่าเชื่อถือของข้อเรียกร้องของพวกเขาโดยไม่ทำให้สมมติฐานไม่ดีและไม่สามารถทำได้ นี่เป็นสิ่งที่ยุติธรรมและเข้มงวดกว่าการเรียกการโต้แย้งแบบเบย์เพื่อให้คนที่อาจจะไร้เดียงสาได้อย่างสมบูรณ์แบบและโชคร้ายที่พวกเขาได้รับผลการทดลองที่สวยงาม!

ฉันคิดว่าสัญชาตญาณของคุณมีข้อบกพร่อง ดูเหมือนว่าคุณกำลังเปรียบเทียบผลลัพธ์ "พิเศษมาก" อย่างเดียว (ตรงกับ 10,000 หัว) ด้วยชุดผลลัพธ์จำนวนมาก (จำนวนทั้งหมดที่ไม่ใช่ "พิเศษ" ใกล้ถึง 10,000) อย่างไรก็ตามคำจำกัดความของ "พิเศษ" เป็นทางเลือกโดยพลการตามจิตวิทยาของเรา วิธีการเกี่ยวกับไบนารี 10000000000000 (ทศนิยม 8192) หรือ Hex ABC (2748 ทศนิยม) - ที่พิเศษอย่างน่าสงสัยเช่นกัน? ตามที่ Joris Meys ให้ความเห็นอาร์กิวเมนต์ Bayes จะเหมือนกันสำหรับจำนวนหัวเดียวใด ๆ ซึ่งหมายความว่าผลลัพธ์แต่ละอย่างน่าสงสัย

หากต้องการขยายอาร์กิวเมนต์สักเล็กน้อย: คุณต้องการทดสอบสมมติฐาน ("ผู้ทดลองกำลังแกล้งทำ") จากนั้นคุณเลือกสถิติทดสอบ (จำนวนหัว) ตอนนี้สถิติการทดสอบนี้เหมาะที่จะบอกคุณบางอย่างเกี่ยวกับสมมติฐานของคุณหรือไม่? สำหรับฉันดูเหมือนว่าสถิติการทดสอบที่เลือกไม่ใช่ข้อมูล (ไม่ใช่ฟังก์ชั่นของพารามิเตอร์ที่ระบุว่าเป็นค่าคงที่ในสมมติฐาน) สิ่งนี้จะกลับไปที่คำถามที่คุณหมายถึงด้วย "การโกง" หากนั่นหมายความว่าผู้ทดลองทำการควบคุมเหรียญตามความประสงค์นี่จะไม่ปรากฏในสถิติทดสอบ ฉันคิดว่าคุณต้องแม่นยำยิ่งขึ้นเพื่อค้นหาตัวบ่งชี้เชิงปริมาณและทำให้คำถามคล้อยตามการทดสอบทางสถิติ

ข้อสรุปที่คุณวาดจะขึ้นอยู่กับว่าคุณเลือกความน่าจะเป็นของการโกงและความน่าจะเป็นก่อนหน้านั้นมากน้อยเพียงใดเนื่องจากเมื่อฟลิปเปอร์กำลังนอนอยู่จะมีการรายงานหัว x

การวางมวลมากที่สุดบน P (10,000 หัวที่รายงาน | การโกหก) นั้นนับได้ว่าง่าย ฉันไม่สามารถจินตนาการได้ว่าใครก็ตามที่รายงานข้อมูลเท็จประเภทนั้น (ส่วนใหญ่มาจากเหตุผลที่คุณพูดถึงในโพสต์ดั้งเดิมมันน่าสงสัยเกินไปสำหรับคนส่วนใหญ่) หากเหรียญนั้นไม่ยุติธรรมจริง ๆ และฟลิปเปอร์ต้องรายงาน ข้อมูลที่เป็นเท็จจากนั้นฉันคิดว่ามีเหตุผลมากขึ้น (และโดยประมาณมาก) ก่อนหน้านี้เกี่ยวกับผลลัพธ์ที่รายงานอาจเป็นชุดที่ไม่ต่อเนื่องก่อนหน้า P (หัว X รายงาน | โกหก) = 1/201 สำหรับจำนวนเต็ม {9900, ... , 10100} และ P (x หัวรายงาน | โกหก) = 0 สำหรับ x อื่น ๆ ทั้งหมด สมมติว่าคุณคิดว่าความน่าจะเป็นก่อนหน้าของการโกหกคือ 0.5 ดังนั้นความน่าจะเป็นหลังคือ

P (โกหก | รายงานหัว 9900 คน) = P (โกหก | รายงาน 10,100 หัว) = 0.70;

P (โกหก | รายงาน 9950 หัว) = P (โกหก | รายงาน 10050 หัว) = 0.54;

P (โกหก | รายงาน 10,000 หัว) = 0.47

จำนวนที่สมเหตุสมผลของหัวหน้ารายงานจากเหรียญยุติธรรมจะส่งผลให้เกิดความสงสัย เพียงเพื่อแสดงให้เห็นว่าความไวต่อความน่าจะเป็นหลังของนักบวชของคุณนั้นมีความละเอียดอ่อนเพียงใดหากความน่าจะเป็นก่อนหน้าของการโกงนั้นลดลงเหลือ 0.10 ดังนั้นความน่าจะเป็นหลังจะเป็นดังนี้:

P (โกหก | รายงานหัว 9900 คน) = P (โกหก | รายงาน 10,100 หัว) = 0.21;

P (โกหก | รายงาน 9950 หัว) = P (โกหก | รายงาน 10050 หัว) = 0.11;

P (โกหก | รายงาน 10,000 หัว) = 0.09

ดังนั้นฉันคิดว่าต้นฉบับ (และคำตอบที่ได้รับคะแนนสูง) สามารถขยายได้เล็กน้อย คุณไม่ควรสรุปว่าข้อมูลนั้นเป็นเท็จโดยไม่พิจารณาข้อมูลก่อนหน้าอย่างถี่ถ้วน นอกจากนี้เพียงแค่คิดเกี่ยวกับเรื่องนี้อย่างสังหรณ์ใจดูเหมือนว่าความน่าจะเป็นหลังของการโกหกมีแนวโน้มที่จะได้รับอิทธิพลมากขึ้นจากความน่าจะเป็นก่อนหน้าของการโกหกมากกว่าโดยการกระจายหัวก่อนหน้านี้รายงานว่า มวลของมันบนหัวจำนวนน้อยที่รายงานเนื่องจากกบกำลังโกหกเช่นในตัวอย่างของฉัน)

สำหรับคำอธิบายแบบเบย์คุณต้องมีการแจกแจงความน่าจะเป็นก่อนหน้านี้ในผลลัพธ์ที่รายงานโดยฟลิปเปอร์เหรียญโกหกและความน่าจะเป็นก่อนหน้าของการโกหก เมื่อคุณเห็นค่าที่น่าจะอยู่ภายใต้การกระจายการโกหกมากกว่าการสุ่มพลิกจะทำให้ค่าความน่าจะเป็นหลังของการโกหกสูงกว่ามาก