ปัญหาในการทดสอบหลังจบคืออะไร?

ศาสตราจารย์สถิติของฉันกล่าวว่าดังนั้นหนังสือทั้งหมดที่ฉันมองไปที่รัฐมันโพสต์-hoc ทดสอบเป็นตามหลักวิทยาศาสตร์ คุณต้องได้รับสมมติฐานจากทฤษฎีก่อนแล้วจึงรวบรวมข้อมูลและวิเคราะห์

แต่ฉันไม่เข้าใจจริงๆว่าปัญหาคืออะไร

สมมติว่าฉันเห็นตัวเลขยอดขายสำหรับสีรถยนต์ที่แตกต่างกันและตั้งสมมติฐานว่าจากตัวเลขของรถยนต์สีต่างๆขายกลุ่มรถยนต์ที่ใหญ่ที่สุดบนท้องถนนเป็นสีขาว ดังนั้นฉันนั่งที่ถนนวันหนึ่งและสังเกตสีทั้งหมดของรถยนต์ทุกคันที่ผ่านฉัน จากนั้นฉันทำการทดสอบและค้นหาสิ่งใด

ทีนี้สมมติว่าฉันเบื่อและนั่งอยู่ที่ถนนวันหนึ่งและสังเกตสีรถทุกคันที่ผ่านฉันไป เมื่อฉันรักกราฟฉันพล็อตฮิสโตแกรมสวยและพบว่ารถยนต์สีขาวเป็นกลุ่มที่ใหญ่ที่สุด ดังนั้นฉันคิดว่ารถยนต์ส่วนใหญ่บนถนนอาจเป็นสีขาวและทำการทดสอบบางอย่าง

ผลลัพธ์หรือการตีความผลลัพธ์ของการทดสอบหลังเหตุการณ์แตกต่างจากการทดสอบสมมติฐานตามทฤษฎีอย่างไร

_{* ชื่อตรงข้ามของการทดสอบหลังการทดสอบคืออะไร?}

ฉันต้องการจะเพิ่มความรู้ส่วนใหญ่ของเราเกี่ยวกับจักรวาล (โลกเคลื่อนที่รอบดวงอาทิตย์) ได้รับการสรุปจากการสังเกต

สำหรับฉันแล้วดูเหมือนว่าในทางฟิสิกส์มันก็โอเคอย่างสมบูรณ์แบบที่จะคิดว่ามันไม่ใช่เรื่องบังเอิญที่ดวงอาทิตย์ขึ้นทางทิศตะวันออกในช่วงพันปีที่ผ่านมา

"คุณรู้ไหมว่าสิ่งที่น่าอัศจรรย์ที่สุดเกิดขึ้นกับฉันในคืนนี้ฉันมาที่นี่ระหว่างทางไปบรรยายและฉันเข้ามาในลานจอดรถแล้วคุณจะไม่เชื่อเลยว่าเกิดอะไรขึ้นฉันเห็นรถยนต์ที่มีใบอนุญาต plate ARW 357 คุณจินตนาการได้หรือไม่ในบรรดาแผ่นป้ายทะเบียนหลายล้านใบในรัฐโอกาสที่ฉันจะได้เห็นสิ่งนั้นในคืนนี้คืออะไร? Richard Feynman

ฉันรู้สึกว่าฉันไม่สามารถอธิบายประเด็นทางเทคนิคที่ลึกซึ้งของปัญหานี้ได้ อย่างไรก็ตามฉันคิดว่าพวกเขาหลายคนสามารถลดเป็นปรีชา

ในการตั้งค่าครั้งแรกคุณเริ่มต้นด้วยสมมติฐานบางอย่างที่คุณตรวจสอบกับข้อมูลใหม่ (จากการทดสอบที่ออกแบบ) การศึกษาตัวเลขยอดขายสามารถนำคุณไปสู่การทดลองที่ออกแบบมาอย่างดีซึ่งคุณสามารถตัดสินใจได้ว่าคำตอบของคุณจะแข็งแกร่งแค่ไหน (พลังงานสถิติค่า p ขนาดตัวอย่างและอื่น ๆ อีกมากมาย)

ในการตั้งค่าครั้งที่สองก่อนอื่นคือคุณไม่ต้องตัดสินใจอะไรเกี่ยวกับความแข็งแกร่งของคำตอบ นี่คือปัญหาหนึ่ง ปัญหาที่สองคือการดึงสมมติฐานจากตัวอย่างเดียวกันที่ใช้สำหรับการทดสอบจะเพิ่มขึ้นในลักษณะที่ไม่สามารถควบคุมได้มากโอกาสที่รูปแบบการสุ่มจะถูกตีความว่าเป็นข้อมูลที่มีค่า สิ่งที่คุณทำคือการสังเกตเห็นบางสิ่งบางอย่าง (รถสีขาวนั้นมีจำนวนมาก) และถามตัวเองว่ามันสำคัญหรือไม่ ประเด็นก็คือคุณได้เลือกข้อเท็จจริงที่น่าทึ่งที่มองเห็นได้ในตัวอย่างนั้นทิ้งสมมติฐานอื่น ๆ การทำเช่นนั้นคุณได้สร้างเงื่อนไขที่เอื้ออำนวยสำหรับสมมุติฐานบางอย่างและคุณทำลายสมมุติฐานของการทดสอบทางสถิติ apriori ส่วนใหญ่

มันไม่ใช่วิทยาศาสตร์ที่จะทำตัวเหมือนที่คุณไม่รู้เกี่ยวกับการรั่วไหลนี้และแสร้งทำเป็นว่ามันเป็นการทดลองที่มีสมมติฐานทั้งหมดเมื่อมันไม่เป็นความจริง มันเป็นวิทยาศาสตร์ในกรณีนี้ที่จะใช้การวิเคราะห์หลังการตั้งสมมติฐานและออกแบบการทดลองใหม่เอี่ยมเพื่อทดสอบ

หากคุณรวบรวมข้อมูลก่อนจากนั้นจึงสร้างทฤษฎีตามข้อมูลคุณตกอยู่ในอันตรายจากการปรับเรื่องให้เหมาะกับการสังเกตของคุณ ปัญหาคือมนุษย์เราเก่งเรื่องการเขียนเป็นอย่างมาก ใส่อีกวิธีหนึ่ง: ข้อมูลใด ๆที่สามารถ "อธิบาย" โดยเนื้อเรื่องหากเรื่องราวนั้นซับซ้อนพอ

กระบวนการนี้ให้เกร็ดเล็กเกร็ดน้อยที่ดี อย่างไรก็ตามไม่มีเหตุผลว่าทำไมมันควรอธิบายความจริงและ / หรือให้การคาดการณ์ที่ดี คุณจำเป็นต้องมีการติดตั้งและตรวจสอบรูปแบบที่

xkcd ตั้งข้อสังเกตว่าปรากฏการณ์นี้แพร่กระจายกีฬา "ความเห็น" :

ที่เกี่ยวข้องคือปรากฏการณ์ของpareidolia : ดูรูปแบบที่ไม่มีอยู่ ตัวอย่างเช่นดูคน "ใบหน้า" ที่เห็นในภาพถ่ายดาวเทียมก่อนหน้าของดาวอังคาร:

นอกจากนี้เมื่อคุณรวบรวมข้อมูลเพิ่มเติมคุณต้องระวังว่าคุณไม่ได้ปรับแต่งเรื่องราวของคุณด้วยวิธีที่แปลกประหลาดกว่าเดิมเพื่อให้ "ดำเนินการต่อ" เป็น "อธิบาย" การสังเกตของคุณ :

วิทยาศาสตร์ดำเนินการโดยการสร้างสมมติฐาน (ซึ่งแน่นอนว่าเป็นแรงบันดาลใจจากประสบการณ์) ทำให้การคาดการณ์ขึ้นอยู่กับสมมติฐานเหล่านั้นแล้วทดสอบพวกเขา มันจะทำให้รู้สึกถึงการสังเกตบางสิ่งบางอย่างในอดีตโดยทั่วไปการสังเกตนี้เป็นทฤษฎี แต่จากนั้นปฏิบัติต่ออดีตที่ผ่านมาเป็นการทดลองย้อนหลังที่ตรวจสอบทฤษฎีโดยอัตโนมัติหรือไม่ ไม่เพราะคำถามทั้งหมดคือทฤษฎีของคุณพูดถึงได้ดีเพียงใดไม่ใช่ในอดีตที่ผ่านมาหรือไม่ นี่คือเหตุผลที่การทดสอบสมมติฐานที่เสนอโดยข้อมูลถือเป็นวิทยาศาสตร์ที่ไม่ดี

อาจารย์ของคุณและคำตอบอื่น ๆ นั้นถูกต้องที่การวิเคราะห์หลังเลิกเรียนมีปัญหา อย่างไรก็ตามคุณก็ยังถูกต้องที่วิทยาศาสตร์ที่ดีจำนวนมากมาจากการวิเคราะห์โพสต์เฉพาะกิจ ประเด็นสำคัญคือควรมีการทดลองที่ออกแบบมาอย่างเหมาะสมและควรทำการวิเคราะห์ด้วยความระมัดระวังและเครื่องมือพิเศษเพื่อป้องกันสิ่งประดิษฐ์ปลอมที่หายไปจากการค้นพบจริง บทความ Wikipedia เกี่ยวกับอัตราการค้นพบที่ผิดอาจให้ข้อมูลเชิงลึกเกี่ยวกับปัญหา

เพียงให้ตัวอย่างสองสามข้อ:

• หากเราใช้มาตรการตรวจสอบทางชีวภาพกับประชากรโลกทั้งหมดของวัวเราสามารถสรุปได้ว่าวัวมีรูจมูกสองอัน นั่นคือความจริงแล้วเป็นการวิเคราะห์แบบโพสต์เฉพาะกิจ แต่ส่วนใหญ่ของชีววิทยาภูเขาไฟหรือประวัติศาสตร์ได้ถูกสร้างขึ้นด้วยวิธีนี้ เหตุผลที่เราไม่ละทิ้งความจริงที่ว่าวัวมีรูจมูกสองอันเป็นหลักฐานในการสนับสนุนว่ามันครอบงำอย่างมาก
• เราใช้ข้อมูลจากน่องที่เกิดในปีที่แล้วในฟาร์มปศุสัตว์แห่งหนึ่ง เราตระหนักว่าในทุกวันอังคารภายใต้พระจันทร์เต็มดวงมากกว่า 50% ของน่องเกิดใหม่เป็นเพศหญิง - ยกเว้นวันหยุดราชการในประเทศนั้นหรือวันอังคารฤดูหนาว หากก่อนหน้านี้เราได้ตั้งสมมติฐานว่าชนิดของวันนั้นทำให้น่องผู้หญิงมากขึ้นเราสามารถทำการทดสอบสมมติฐานและยอมรับ (หรือปฏิเสธ) สมมติฐานนั้น อย่างไรก็ตามหากเราคำนึงว่ามันเป็นเพียงการวิเคราะห์หลังเหตุการณ์หลักฐานไม่เพียงพอที่จะปฏิเสธปรากฏการณ์ปลอม

มีบทความที่ถูกอ้างถึงบ่อยครั้งว่ามีหลักฐานที่บ่งบอกว่าร่มชูชีพมีประโยชน์ในฐานะที่เป็นหลักฐานซึ่งเป็นเพียงหลักฐานที่ไม่ดีโดยเฉพาะอย่างยิ่งจากการวิเคราะห์หลังเหตุการณ์

และเพื่อใช้เป็นตัวอย่างที่ดีที่คำตอบของสเตฟานโคลลาสซา: จุดด่างดำบางส่วนที่คล้ายกับใบหน้าในดาวอังคารสามารถถูกปฏิเสธในฐานะ pareidolia แต่สิ่งที่เลียนแบบLast Supper ของ Leonardo Da Vinciถึงรายละเอียดเล็ก ๆ น้อย ๆ ไม่สามารถทำได้

หากคุณไม่มีทฤษฎีที่สนับสนุนข้อเสนอของคุณแม้ว่าข้อเสนอของคุณจะผ่านการตรวจสอบแล้วก็ตามมันอาจเกิดขึ้นโดยบังเอิญและไม่ได้พิสูจน์อะไรเลย ตัวอย่างเช่นฉันพบว่าฉันไม่เต็มเต็งเมื่อดวงอาทิตย์ขึ้นและทำสิ่งนั้นในช่วง 10 ปีที่ผ่านมา - จากข้อมูลนี้การวิเคราะห์หลังจบบอกว่าฉันมีความสัมพันธ์ระหว่างกระโถนและดวงอาทิตย์ขึ้น ในขณะที่สิ่งที่มีอยู่เป็นเพียงเรื่องบังเอิญ ดวงอาทิตย์ไม่เพิ่มขึ้นเพราะคุณทำอะไรไม่ดีหรือในทางกลับกัน

ชีวิตเต็มไปด้วยความบังเอิญ ข้อเสนอที่ได้รับการสนับสนุนทฤษฎีกำจัดความบังเอิญหรือความสัมพันธ์แบบหลอก

นี่คือสัญชาตญาณที่คุณอาจพบว่ามีประโยชน์ หากคุณเบื่อและนับรถยนต์คุณต้องจำไว้ว่าสิ่งที่คุณเห็นคือผลลัพธ์ของกระบวนการสุ่ม โดยเฉพาะอย่างยิ่งรถยนต์อาจมีสีต่างกัน

ดังนั้นถ้าคุณตั้งสมมติฐานว่าสีที่พบบ่อยที่สุดคือสีขาวถ้าเป็นเพราะมันเป็นจริง แต่ก็อาจเป็นได้ว่าสีที่พบบ่อยที่สุดคือสีแดง แต่ในการทดลองนั้น ๆ บ่อยที่สุดคือสีขาว (ซึ่งเป็นไปได้เสมอ )

ทีนี้ถ้าคุณทำโพสต์เฉพาะกิจคุณจะทดสอบว่าคนผิวขาวเป็นคนที่พบบ่อยที่สุดและเนื่องจากข้อมูลแนะนำว่าสมมติฐานมากคุณอาจสรุปได้ว่าสีขาวนั้นเป็นกลุ่มที่พบได้บ่อยที่สุด ... อย่างน้อยข้อมูลจะไม่ขัดแย้งกัน สมมติฐาน (post-hoc)