ผู้ที่ใช้บ่อยในเรื่องราวของโวลต์มิเตอร์คืออะไร แนวคิดที่อยู่เบื้องหลังคือการวิเคราะห์ทางสถิติที่ดึงดูดความสนใจไปสู่เหตุการณ์สมมุติจะต้องได้รับการแก้ไขหากมีการเรียนรู้ในภายหลังว่าเหตุการณ์สมมุติเหล่านั้นไม่สามารถเกิดขึ้นได้ตามที่คาดการณ์ไว้

รุ่นของเรื่องราวเกี่ยวกับวิกิพีเดียได้ที่ด้านล่าง

วิศวกรทำการสุ่มตัวอย่างหลอดอิเล็กตรอนและวัดแรงดันไฟฟ้า ช่วงการวัดจาก 75 ถึง 99 โวลต์ นักสถิติคำนวณค่าเฉลี่ยตัวอย่างและช่วงความมั่นใจสำหรับค่าเฉลี่ยที่แท้จริง ต่อมานักสถิติค้นพบว่าโวลต์มิเตอร์อ่านได้ไกลถึง 100 เท่านั้นดังนั้นประชากรดูเหมือนจะถูกเซ็นเซอร์ สิ่งนี้จำเป็นต้องมีการวิเคราะห์ใหม่หากนักสถิติเป็นออร์โธดอกซ์ อย่างไรก็ตามวิศวกรบอกว่าเขาอ่านมิเตอร์อีก 1,000 โวลต์ซึ่งเขาจะใช้ถ้าแรงดันไฟฟ้าใด ๆ มีมากกว่า 100 นี่เป็นความโล่งใจต่อนักสถิติเพราะมันหมายความว่าประชากรไม่ถูกตรวจสอบอย่างมีประสิทธิภาพ แต่ในวันถัดไปวิศวกรแจ้งนักสถิติว่าเครื่องวัดที่สองนี้ไม่ทำงานในเวลาที่ทำการวัด นักสถิติยืนยันว่าวิศวกรจะไม่ได้ทำการตรวจวัดจนกระทั่งเครื่องวัดได้รับการแก้ไขแล้วและแจ้งให้เขาทราบว่าจำเป็นต้องมีการตรวจวัดใหม่ วิศวกรประหลาดใจ "ต่อไปคุณจะถามเกี่ยวกับสโคปของฉัน"

เห็นได้ชัดว่าเป็นเรื่องที่โง่ แต่ก็ไม่ชัดเจนสำหรับฉันว่าการใช้เสรีภาพด้วยวิธีการที่สนุก ฉันแน่ใจว่าในกรณีนี้นักสถิติสมัครเล่นที่ยุ่งจะไม่ต้องกังวลเกี่ยวกับเรื่องนี้ แต่สิ่งที่เกี่ยวกับนักวิชาการไม่ยอมใครง่ายๆนัก?

ด้วยวิธีการที่ใช้วิธีปฏิบัติบ่อยๆเราจะต้องทำการทดสอบซ้ำอีกครั้งหรือไม่? เราสามารถดึงข้อสรุปจากข้อมูลที่มีอยู่แล้วได้หรือไม่?

หากต้องการใช้ประโยชน์จากข้อมูลที่เรามีอยู่แล้วการแก้ไขผลลัพธ์สมมุติฐานที่จำเป็นสามารถทำได้เพื่อให้สอดคล้องกับกรอบบ่อย ๆ หรือไม่?

ในการอนุมานบ่อยครั้งเราต้องการพิจารณาว่าจะมีบางสิ่งเกิดขึ้นบ่อยเพียงใดหากกระบวนการสโตแคสติกที่ได้รับนั้นเกิดขึ้นซ้ำ ๆ นั่นคือจุดเริ่มต้นสำหรับทฤษฎีของค่า p ช่วงเวลาความเชื่อมั่นและไม่ชอบ อย่างไรก็ตามในหลาย ๆ โครงการที่นำไปใช้กระบวนการ "ให้" ไม่ได้รับจริง ๆ และนักสถิติต้องทำอย่างน้อยงานบางอย่างที่ระบุและสร้างแบบจำลอง นี่อาจเป็นปัญหาที่คลุมเครืออย่างน่าประหลาดใจเช่นเดียวกับในกรณีนี้

การสร้างแบบจำลองกระบวนการสร้างข้อมูล

จากข้อมูลที่ได้รับผู้สมัครที่ดีที่สุดของเราน่าจะเป็นดังต่อไปนี้:

1. หาก 100V meter อ่าน 100V วิศวกรจะทำการวัดอีกครั้งด้วย 1,000V meter หากใช้งานได้ มิฉะนั้นเขาจะทำเครื่องหมาย 100V และเดินหน้าต่อไป

แต่นี่ไม่ยุติธรรมกับวิศวกรของเราหรือ สมมติว่าเขาเป็นวิศวกรและไม่ใช่แค่ช่างเทคนิคเขาอาจเข้าใจว่าทำไมเขาต้องทำการวัดซ้ำเมื่อมิเตอร์แรกอ่านค่า 100V เป็นเพราะเครื่องวัดนั้นอิ่มตัวที่ขอบเขตสูงสุดของช่วงดังนั้นจึงไม่น่าเชื่อถืออีกต่อไป ดังนั้นสิ่งที่วิศวกรจะทำก็คือ

2. หาก 100V meter อ่าน 100 วิศวกรจะทำการวัดอีกครั้งด้วย 1,000V meter หากใช้งานได้ มิฉะนั้นเขาจะทำเครื่องหมาย 100V ต่อท้ายเครื่องหมายบวกเพื่อระบุการวัดอิ่มตัวและเดินหน้าต่อไป

กระบวนการทั้งสองนี้สอดคล้องกับข้อมูลที่เรามี แต่เป็นกระบวนการที่แตกต่างกันและให้ช่วงความมั่นใจที่แตกต่างกัน กระบวนการที่ 2 เป็นสิ่งที่เราต้องการในฐานะนักสถิติ หากแรงดันไฟฟ้ามักจะสูงกว่า 100V กระบวนการที่ 1 มีโหมดความล้มเหลวที่อาจเกิดความหายนะซึ่งการวัดนั้นมีการประเมินค่าต่ำเกินไปอย่างรุนแรงเป็นครั้งคราวเนื่องจากข้อมูลถูกเซ็นเซอร์โดยที่เราไม่รู้ตัว ช่วงความมั่นใจจะกว้างขึ้น เราสามารถลดสิ่งนี้ได้โดยขอให้วิศวกรบอกให้เราทราบเมื่อเครื่องวัด 1,000V ของเขาไม่ทำงาน แต่นี่เป็นอีกวิธีหนึ่งที่ทำให้มั่นใจได้ว่าข้อมูลของเราเป็นไปตามกระบวนการที่ 2

หากม้าออกจากโรงนาไปแล้วและเราไม่สามารถระบุได้ว่าการวัดนั้นเป็นอย่างไรและไม่ถูกเซ็นเซอร์เราสามารถลองอนุมานข้อมูลจากเวลาที่เครื่องวัด 1,000V ไม่ทำงาน ด้วยการแนะนำกฎการอนุมานในกระบวนการเราได้สร้างกระบวนการ 1.5 ใหม่ที่มีประสิทธิภาพแตกต่างจากทั้ง 1 และ 2 กฎการอนุมานของเราอาจทำงานได้และบางครั้งไม่ได้ดังนั้นช่วงความมั่นใจจากกระบวนการ 1.5 จะเป็นขนาดกลางเมื่อเทียบกับกระบวนการ 1 และ 2

ในทางทฤษฎีไม่มีอะไรผิดปกติหรือน่าสงสัยเกี่ยวกับสถิติเดียวที่มีสามช่วงความเชื่อมั่นที่แตกต่างกันที่เกี่ยวข้องกับกระบวนการสุ่มสุ่มสามที่เป็นไปได้ ในทางปฏิบัติสถิติผู้บริโภคจำนวนน้อยต้องการความมั่นใจที่แตกต่างกันสามช่วง พวกเขาต้องการหนึ่งอันที่มีพื้นฐานมาจากสิ่งที่เกิดขึ้นจริงหากมีการทดสอบซ้ำหลายครั้ง ดังนั้นโดยทั่วไปนักสถิติที่ประยุกต์ใช้จะพิจารณาความรู้เกี่ยวกับโดเมนที่เธอได้รับระหว่างโครงการทำการเดาที่มีการศึกษาและนำเสนอช่วงความมั่นใจที่เกี่ยวข้องกับกระบวนการที่เธอเดา หรือเธอทำงานกับลูกค้าเพื่อทำกระบวนการให้เป็นระเบียบดังนั้นจึงไม่จำเป็นต้องคาดเดาว่าจะดำเนินการต่อไป

วิธีตอบสนองต่อข้อมูลใหม่

แม้จะมีการเรียกร้องของนักสถิติในเรื่องการอนุมานบ่อย ๆ ไม่จำเป็นต้องให้เราวัดซ้ำเมื่อเราได้รับข้อมูลใหม่แนะนำกระบวนการสุ่มสร้างไม่ได้เป็นสิ่งที่เราคิด อย่างไรก็ตามหากกระบวนการจะเกิดขึ้นซ้ำเราจำเป็นต้องตรวจสอบให้แน่ใจว่าการทำซ้ำทั้งหมดสอดคล้องกับกระบวนการจำลองที่สันนิษฐานโดยช่วงความมั่นใจ เราสามารถทำได้โดยการเปลี่ยนกระบวนการหรือโดยการเปลี่ยนรูปแบบของเรา

หากเราเปลี่ยนกระบวนการเราอาจต้องทิ้งข้อมูลที่ผ่านมาซึ่งถูกเก็บรวบรวมอย่างไม่สอดคล้องกับกระบวนการนั้น แต่นั่นไม่ใช่ปัญหาที่นี่เพราะรูปแบบกระบวนการทั้งหมดที่เรากำลังพิจารณานั้นแตกต่างกันเฉพาะเมื่อข้อมูลบางส่วนอยู่เหนือ 100V และไม่เคยเกิดขึ้นในกรณีนี้

ไม่ว่าเราจะทำอะไรรูปแบบและความเป็นจริงจะต้องนำมาจัดตำแหน่ง จากนั้นในทางทฤษฎีจะรับประกันอัตราข้อผิดพลาดบ่อยๆเป็นสิ่งที่ลูกค้าได้รับจริง ๆ จากการทำงานซ้ำของกระบวนการ

ทางเลือก Bayesian

ในทางกลับกันถ้าสิ่งที่เราสนใจจริงๆคือช่วงที่น่าจะเป็นของค่าเฉลี่ยที่แท้จริงสำหรับตัวอย่างนี้เราควรละทิ้งความถี่ที่ใช้บ่อย ๆ และค้นหาผู้ที่ขายคำตอบสำหรับคำถามนั้น - ชาวเบย์ ถ้าเราไปตามเส้นทางนี้การทะเลาะวิวาทเพื่อต่อต้านสิ่งกีดขวางนั้นไม่เกี่ยวข้องเลย สิ่งที่สำคัญคือก่อนและโอกาส ในการแลกเปลี่ยนกับการทำให้เข้าใจง่ายนี้เราจะหมดหวังในการรับประกันอัตราข้อผิดพลาดภายใต้ประสิทธิภาพการทำงานซ้ำของ

ทำไมต้องเอะอะ?

เรื่องนี้ถูกสร้างขึ้นเพื่อให้ดูเหมือนว่านักสถิติที่มีความยุ่งยากในเรื่องไร้สาระโดยไม่มีเหตุผล ใครกันที่เป็นห่วงเรื่องการต่อต้านคนโง่ ๆ เหล่านี้ แน่นอนคำตอบคือทุกคนควรใส่ใจ ปัจจุบันเขตข้อมูลทางวิทยาศาสตร์ที่สำคัญอย่างยิ่งกำลังได้รับความทุกข์ทรมานจากวิกฤตการจำลองแบบที่รุนแรงซึ่งแสดงให้เห็นว่าความถี่ของการค้นพบที่ผิดพลาดนั้นสูงกว่าที่คาดไว้ในเอกสารทางวิทยาศาสตร์ หนึ่งในตัวขับเคลื่อนของวิกฤตนี้แม้ว่าจะไม่ได้มีเพียงวิธีเดียวเท่านั้น แต่ก็คือการแฮ็ก p-hacking ที่เพิ่มขึ้นซึ่งเมื่อนักวิจัยเล่นกับแบบจำลองหลายรูปแบบซึ่งควบคุมตัวแปรต่าง ๆ จนกระทั่งพวกเขามีความสำคัญ

การแฮ็ก P- ได้รับการกล่าวขานอย่างกว้างขวางในสื่อทางวิทยาศาสตร์ที่ได้รับความนิยมและ blogosphere แต่มีเพียงไม่กี่คนที่เข้าใจว่าเกิดอะไรขึ้นกับการแฮ็ก p-hacking และทำไม ตรงกันข้ามกับความคิดเห็นทางสถิติที่ได้รับความนิยมไม่มีอะไรผิดปกติกับการดูข้อมูลของคุณก่อนระหว่างและหลังกระบวนการสร้างแบบจำลอง มีอะไรผิดปกติคือไม่สามารถรายงานการวิเคราะห์เชิงสำรวจและวิธีที่พวกเขามีอิทธิพลต่อหลักสูตรการศึกษา โดยการดูกระบวนการทั้งหมดเท่านั้นเราสามารถกำหนดรูปแบบสุ่มซึ่งเป็นตัวแทนของกระบวนการนั้นและการวิเคราะห์ที่เหมาะสมสำหรับรูปแบบนั้นถ้ามี

การอ้างว่าการวิเคราะห์อย่างสม่ำเสมอเป็นสิ่งที่เหมาะสมเป็นการอ้างสิทธิ์ที่ร้ายแรงมาก การอ้างสิทธิ์นั้นบ่งบอกว่าคุณผูกพันตัวเองกับระเบียบวินัยของกระบวนการสโตแคสติกที่คุณเลือกซึ่งจะสร้างระบบต่อต้านการคัดค้านทั้งระบบเกี่ยวกับสิ่งที่คุณจะทำในสถานการณ์ที่แตกต่างกัน คุณต้องปฏิบัติตามระบบดังกล่าวเพื่อให้การรับประกันเป็นประจำสามารถใช้ได้กับคุณ นักวิจัยน้อยมากโดยเฉพาะในสาขาที่เน้นการสำรวจปลายเปิดสอดคล้องกับระบบและพวกเขาไม่ได้รายงานการเบี่ยงเบนอย่างระมัดระวัง นั่นคือเหตุผลที่ตอนนี้เรามีวิกฤตการจำลองแบบในมือของเรา (นักวิจัยที่เคารพนับถือบางคนแย้งว่าความคาดหวังนี้ไม่สมจริงตำแหน่งที่ฉันเห็นด้วย แต่นั่นก็เกินขอบเขตของบทความนี้)

อาจดูเหมือนไม่ยุติธรรมที่เรากำลังวิจารณ์เอกสารที่ตีพิมพ์ตามข้อเรียกร้องเกี่ยวกับสิ่งที่พวกเขาจะทำหากข้อมูลแตกต่างกัน แต่นี่เป็นลักษณะ (ค่อนข้างขัดแย้ง) ของการใช้เหตุผลบ่อยครั้ง: ถ้าคุณยอมรับแนวคิดของค่า p คุณต้องเคารพความชอบธรรมของการสร้างแบบจำลองสิ่งที่จะทำภายใต้ข้อมูลทางเลือก (Gelman & Loken, 2013)

ในการศึกษาที่ค่อนข้างง่ายและ / หรือเป็นมาตรฐานเช่นการทดลองทางคลินิกเราสามารถปรับให้เหมาะกับสิ่งต่าง ๆ เช่นการเปรียบเทียบแบบหลายครั้งหรือแบบต่อเนื่องและรักษาอัตราความผิดพลาดทางทฤษฎี ในการศึกษาที่ซับซ้อนมากขึ้นและการสำรวจเชิงสำรวจรูปแบบบ่อยครั้งอาจไม่เหมาะสมเพราะนักวิจัยอาจไม่ได้ตระหนักถึงการตัดสินใจทั้งหมดที่เกิดขึ้นอย่างเต็มที่ให้บันทึกเพียงอย่างเดียวและนำเสนออย่างชัดเจน ในกรณีเช่นนี้ผู้วิจัยควร (1) ซื่อสัตย์และตรงไปตรงมาเกี่ยวกับสิ่งที่ทำ (2) นำเสนอค่า p ทั้งที่มีข้อแม้ที่แข็งแกร่งหรือไม่เลย (3) พิจารณานำเสนอหลักฐานอื่น ๆ เช่นความน่าเชื่อถือก่อนหน้าของสมมติฐานหรือการศึกษาการจำลองแบบติดตามผล

ดูเหมือนจะมีการเข้าใจผิดตรรกะ ไม่ว่าจะใช้งานโวลต์มิเตอร์ 1,000 โวลต์หรือไม่วิศวกรก็บอกว่า "ถ้าการอ่านใด ๆ เกิน 100 ฉันจะใช้มิเตอร์อื่น ๆ " แต่เขาจะรู้ได้อย่างไรว่าแรงดันไฟฟ้าคือ> 100 โดยไม่ต้องใช้ 1,000 โวลต์มิเตอร์

ฉันไม่คิดว่าปริศนานี้เป็นสูตรที่ดีพอที่จะทำให้เป็นคำถามเชิงปรัชญาที่มีประโยชน์ ในทางปฏิบัติฉันเห็นด้วยกับคำตอบว่าสิ่งที่ถูกต้องคือทำฮิสโตแกรมและดูว่ามันถูกตัดทอนหรือไม่

แต่ในกรณีใด ๆ ไม่มีสิ่งใดในคำถามที่เกี่ยวข้องกับประเด็นที่มีความสำคัญเช่น: (1) การกระจายการอ่าน (หรือสงสัยว่า) ที่รู้จักคืออะไรและเพราะเหตุใด มีเหตุผลบางอย่างที่เชื่อว่าพวกเขากระจายตามปกติหรือไม่? (2) หากคำถามนั้นไม่ได้รับคำตอบช่วงเวลาความมั่นใจใด ๆ ที่เคยประเมิน

เพื่อนำไปสู่ความสุดขั้วจะมีการวัด 'แรงดันไฟฟ้า' บางส่วน สมมติว่าแหล่งจ่ายไฟไม่สามารถส่งได้มากกว่า 100 โวลต์ จริงหรือไม่น่าจะมีการวัดใดเกิน 100 โวลต์ดังนั้นมิเตอร์จึงไม่เกี่ยวข้อง

มีทั้งพวง - ในแง่ของนักบวชข้อ จำกัด ฯลฯ - ที่ไปสู่การประเมินและไม่ชอบคำถามที่ครอบคลุม ซึ่งแตกต่างจาก 'Monty Hall' ที่ผิดธรรมดาซึ่งสะอาดและคมชัด