วิธีการ "ไปหาข้อมูลเพิ่มเติม" ของฟิชเชอร์เมื่อใด

การอ้างอิงคำตอบที่ยอดเยี่ยมของ gung

นักวิจัยเข้าหา Fisher ด้วยผลลัพธ์ที่“ ไม่สำคัญ” เมื่อถามถึงสิ่งที่เขาควรทำและฟิชเชอร์กล่าวว่า 'ไปหาข้อมูลเพิ่มเติม'

จากมุมมองของเพียร์สัน Neyman นี้เป็นที่เห็นได้ชัด -hacking แต่มีกรณีการใช้งานที่ฟิชเชอร์ไปได้รับเพิ่มเติมข้อมูลวิธีการทำให้รู้สึก?$p$

กระบวนทัศน์ที่พบบ่อยคือการรวมมุมมองของฟิชเชอร์และเนย์แมนเพียร์สัน เฉพาะในการใช้วิธีการหนึ่งเท่านั้นและการตีความอื่นจะเกิดปัญหาขึ้น

มันน่าจะแปลกสำหรับใครก็ตามที่รวบรวมข้อมูลมากขึ้นเป็นปัญหาเนื่องจากมีข้อมูลมากขึ้นเป็นหลักฐานมากกว่า แท้จริงแล้วปัญหานั้นไม่ได้อยู่ที่การรวบรวมข้อมูลมากขึ้น แต่เป็นการใช้ค่าเพื่อตัดสินใจเมื่อมันเป็นตัววัดความสนใจด้วย การจัดเก็บข้อมูลได้มากขึ้นบนพื้นฐานของ -value เป็นเพียง -hacking ถ้าคุณคำนวณใหม่ -value$p$$p$$p$$p$

หากคุณมีหลักฐานไม่เพียงพอที่จะทำให้ข้อสรุปที่น่าพอใจเกี่ยวกับคำถามการวิจัยลองหาข้อมูลเพิ่มเติม อย่างไรก็ตามยอมรับว่าตอนนี้คุณผ่านขั้นตอน NHST ของการวิจัยของคุณและมุ่งเน้นไปที่การหาปริมาณผลกระทบที่น่าสนใจแทน

สิ่งที่น่าสนใจคือ Bayesians ไม่ได้รับผลกระทบจากภาวะที่กลืนไม่เข้าคายไม่ออกนี้ พิจารณาตัวอย่างต่อไปนี้:

• หากนักความถี่สรุปไม่แตกต่างกันอย่างมีนัยสำคัญและจากนั้นสลับไปที่การทดสอบความเท่าเทียมแน่นอนว่าอัตราการบวกผิดพลาดเพิ่มขึ้น
• Bayesian สามารถแสดงช่วงความหนาแน่นสูงสุดและภูมิภาคของความเท่าเทียมเชิงปฏิบัติของความแตกต่างพร้อมกันและนอนหลับเหมือนกันในเวลากลางคืน

กำหนดขนาดของกลุ่มตัวอย่างขนาดใหญ่พอที่การทดสอบจะแสดงผลอย่างมีนัยสำคัญเว้นแต่ขนาดของผลที่แท้จริงคือศูนย์ตรงตามที่กล่าวไว้ที่นี่ ในทางปฏิบัติขนาดของเอฟเฟ็กต์ที่แท้จริงไม่เป็นศูนย์ดังนั้นการรวบรวมข้อมูลมากขึ้นในที่สุดจะสามารถตรวจจับความแตกต่างจิ๋วที่สุด

คำตอบที่น่ากลัวจากฟิชเชอร์ (IMO) เป็นการตอบสนองต่อคำถามที่ค่อนข้างสำคัญว่าที่สถานที่ตั้งของมันกำลังพูดถึงความแตกต่างที่สำคัญกับความแตกต่างที่เกี่ยวข้องในทางปฏิบัติ

มันจะเทียบเท่ากับนักวิจัยที่เข้ามาในสำนักงานของฉันและถามว่า "ฉันชั่งน้ำหนักตะกั่วนี้ที่มีป้ายกำกับ '25 กรัม' และวัดได้ 25.0 กรัมฉันเชื่อว่าการติดฉลากผิดฉันควรทำอย่างไร ที่ฉันสามารถตอบได้

ฉันเชื่อว่าวิธี go-get-more-data มีความเหมาะสมหากการทดสอบเริ่มต้นนั้นได้รับผลกระทบอย่างรุนแรงเพื่อตรวจจับขนาดของความแตกต่างที่เกี่ยวข้องกับการปฏิบัติจริง

ขอบคุณ มีสองสิ่งที่ควรคำนึงถึงที่นี่:

1. อ้างอาจเป็นหลักฐาน
2. มันค่อนข้างสมเหตุสมผลที่จะได้รับข้อมูลมากขึ้น / ดีขึ้นหรือข้อมูลจากแหล่งข้อมูลอื่น (มาตราส่วนที่แม่นยำกว่า, คำตอบ@ @ Underminer's ; สถานการณ์หรือการควบคุมที่แตกต่างกัน ฯลฯ ) สำหรับการศึกษาครั้งที่สอง(cf. , @ ข้อคิดเห็นของ Glen_b ) . นั่นคือคุณจะไม่วิเคราะห์ข้อมูลเพิ่มเติมร่วมกับข้อมูลต้นฉบับ: บอกว่าคุณมี N = 10 ด้วยผลลัพธ์ที่ไม่สำคัญคุณสามารถรวบรวมข้อมูลอีก N = 20 และวิเคราะห์เพียงอย่างเดียว (ไม่ทดสอบเต็ม 30 ด้วยกัน) ) ถ้าคำพูดไม่ได้เป็นหลักฐานว่านั่นอาจเป็นสิ่งที่ฟิชเชอร์มีอยู่ในใจ
3. ปรัชญาฟิชเชอร์ของวิทยาศาสตร์เป็นหลักPopperian นั่นคือโมฆะไม่จำเป็นต้องมีสิ่งที่จะปฏิเสธอย่างเป็นทางการเพื่อยืนยันทฤษฎีของคุณ แต่อุดมคติอาจเป็นทฤษฎีของคุณเองเช่นการปฏิเสธหมายความว่าทฤษฎีสัตว์เลี้ยงของคุณผิดและคุณต้องกลับไปที่กระดานวาดภาพ ในกรณีเช่นนี้อัตราเงินเฟ้อที่พิมพ์ผิดพลาดจะไม่เป็นประโยชน์ต่อผู้วิจัย (ในทางกลับกันการตีความนี้ตัดกับฟิชเชอร์โดยให้คำแนะนำนี้เว้นแต่เขาจะทะเลาะวิวาทซึ่งไม่น่าจะเป็นไปได้)
4. ไม่ว่าจะด้วยเหตุผลใดก็ตามมันก็คุ้มค่าที่ชี้ให้เห็นว่าเหตุผลที่ฉันรวมความคิดเห็นนั้นคือมันแสดงให้เห็นบางสิ่งพื้นฐานเกี่ยวกับความแตกต่างในธรรมชาติของทั้งสองวิธี

สิ่งที่เราเรียกว่าการแฮ็ก P- ใช้การทดสอบที่สำคัญหลายครั้งและรายงานผลลัพธ์ที่มีนัยสำคัญเท่านั้น ไม่ว่าจะดีหรือร้ายก็ขึ้นอยู่กับสถานการณ์

เพื่ออธิบายให้ลองคิดถึงผลกระทบที่แท้จริงในคำศัพท์แบบเบย์แทนที่จะเป็นสมมติฐานว่างและทางเลือก ตราบใดที่เราเชื่อว่าผลกระทบที่เราสนใจมาจากการกระจายอย่างต่อเนื่องเราก็รู้ว่าสมมติฐานว่างเป็นเท็จ อย่างไรก็ตามในกรณีของการทดสอบแบบสองด้านเราไม่รู้ว่ามันเป็นบวกหรือลบ ภายใต้แสงนี้เราสามารถคิดค่า p สำหรับการทดสอบสองด้านเป็นการวัดว่าหลักฐานมีความแข็งแกร่งเพียงใดที่การประเมินของเรามีทิศทางที่ถูกต้อง (เช่นผลบวกหรือลบ)

$p < \alpha$

ตอนนี้ให้พิจารณาสิ่งที่เกิดขึ้นเมื่อคุณกลับไปรับข้อมูลเพิ่มเติม ทุกครั้งที่คุณรับข้อมูลเพิ่มเติมความน่าจะเป็นของการได้รับทิศทางที่ถูกต้องตามเงื่อนไขกับข้อมูลที่เพียงพอจะเพิ่มขึ้นเท่านั้น ดังนั้นภายใต้สถานการณ์นี้เราควรตระหนักว่าการได้รับข้อมูลมากขึ้นแม้ว่าเราจะเพิ่มความน่าจะเป็นของความผิดพลาดประเภทที่ 1 แต่เราก็ลดความน่าจะเป็นที่จะสรุปทิศทางผิดโดยไม่ตั้งใจ

ใช้สิ่งนี้ตรงกันข้ามกับการแฮ็ก P-hacking ที่ใช้กันทั่วไปมากกว่า เราทดสอบขนาดเอฟเฟกต์ 100 รายการที่มีความน่าจะเป็นที่จะเล็กมากและรายงานเฉพาะขนาดที่สำคัญเท่านั้น โปรดทราบว่าในกรณีนี้หากเอฟเฟกต์ทั้งหมดมีขนาดเล็กเรามีโอกาส 50% ที่จะได้รับทิศทางที่ผิดเมื่อเราประกาศความสำคัญ

แน่นอนว่าค่า p ที่สร้างจาก data-double-down นี้ควรมาพร้อมกับเม็ดเกลือ โดยทั่วไปแล้วคุณไม่ควรมีปัญหากับคนที่รวบรวมข้อมูลเพิ่มเติมเพื่อให้แน่ใจเกี่ยวกับขนาดของเอฟเฟ็กต์มากขึ้นซึ่งอาจถูกใช้ในทางอื่น ตัวอย่างเช่น PI ที่ฉลาดอาจรู้ว่าแทนที่จะเก็บรวบรวม 100 จุดข้อมูลทั้งหมดในครั้งเดียวพวกเขาสามารถประหยัดเงินจำนวนมากและเพิ่มพลังงานโดยการรวบรวมจุดข้อมูล 50 จุดแรกวิเคราะห์ข้อมูลแล้วเก็บ 50 ถัดไปหากไม่สำคัญ . ในสถานการณ์นี้พวกเขาเพิ่มความน่าจะเป็นที่จะได้รับทิศทางของผลที่ผิดตามเงื่อนไขในการประกาศความสำคัญเนื่องจากพวกเขามีแนวโน้มที่จะได้รับทิศทางของผลที่ไม่ถูกต้องกับ 50 จุดข้อมูลมากกว่า 100 จุดข้อมูล

และสุดท้ายให้พิจารณาถึงผลกระทบของการไม่ได้รับข้อมูลมากขึ้นเมื่อเรามีผลลัพธ์ที่ไม่สำคัญ นั่นหมายความว่าจะไม่รวบรวมข้อมูลเพิ่มเติมในหัวข้อซึ่งจะไม่ผลักดันวิทยาศาสตร์ไปข้างหน้าจริง ๆ ใช่ไหม? การศึกษาที่ต่ำกว่าเกณฑ์จะฆ่าสาขาทั้งหมด

หากทางเลือกมีความเป็นไปได้น้อยกว่าปกติการทดลองที่ไม่สามารถปฏิเสธค่า null จะลดลงอีกทำให้การวิจัยเพิ่มเติมใด ๆ มีความคุ้มค่าน้อยลง ตัวอย่างเช่นสมมติว่าเบื้องต้นน่าจะเป็นคือ 0.01 จากนั้นเอนโทรปีของคุณคือ. 08 บิต ถ้าความน่าจะเป็นลดลงเป็น. 001 แสดงว่าเอนโทรปีของคุณคือ 0.01 ดังนั้นการรวบรวมข้อมูลอย่างต่อเนื่องจึงไม่คุ้มค่า เหตุผลข้อหนึ่งที่ทำให้ต้นทุนคุ้มค่าคือการรู้ว่าสำคัญมากแม้กระทั่งเอนโทรปีที่เหลืออีก 0.01 บิตก็คุ้มค่าที่จะลดลง

อีกเหตุผลหนึ่งที่จะเป็นถ้าเบื้องต้นน่าจะเป็นสูงจริงๆ หากคุณเบื้องต้นน่าจะถูกกว่า 50% แล้วล้มเหลวในการปฏิเสธโมฆะเพิ่มเอนโทรปีของคุณทำให้มันมากขึ้นค่าใช้จ่ายที่มีประสิทธิภาพที่จะดำเนินการเก็บรวบรวมข้อมูล ตัวอย่างจะเป็นเมื่อคุณเกือบจะแน่ใจว่ามีผลกระทบ แต่ไม่ทราบว่าไปในทิศทางใด

ตัวอย่างเช่นหากคุณเป็นตัวแทนต่อต้านหน่วยสืบราชการลับและคุณแน่ใจว่าแผนกมีไฝและทำให้ผู้ต้องสงสัยสองรายแคบลงและกำลังทำการวิเคราะห์ทางสถิติเพื่อตัดสินใจว่าจะเลือกอันไหนผลลัพธ์ที่ไม่มีนัยสำคัญทางสถิติจะแสดงให้เห็นถึงการรวบรวม ข้อมูลเพิ่มเติม