ถ้าเราล้มเหลวในการปฏิเสธสมมติฐานว่างในการศึกษาขนาดใหญ่มันไม่ได้เป็นหลักฐานสำหรับโมฆะ?

ข้อ จำกัด พื้นฐานของการทดสอบนัยสำคัญสมมุติฐานว่างคือมันไม่อนุญาตให้นักวิจัยรวบรวมหลักฐานเพื่อสนับสนุน null ( แหล่งที่มา )

ฉันเห็นการอ้างสิทธิ์นี้ซ้ำหลายครั้ง แต่ฉันไม่สามารถหาเหตุผลได้ หากเราทำการศึกษาขนาดใหญ่และเราไม่พบหลักฐานที่มีนัยสำคัญทางสถิติต่อสมมติฐานว่างเปล่านั่นไม่ใช่หลักฐานสำหรับสมมติฐานว่างหรือไม่

ความล้มเหลวในการปฏิเสธสมมติฐานว่างเป็นหลักฐานว่าสมมติฐานว่างเป็นจริง แต่อาจไม่ใช่หลักฐานที่ดีโดยเฉพาะและแน่นอนไม่ได้พิสูจน์สมมติฐานว่าง

งั้นลองอ้อมดู พิจารณาสักครู่ความคิดโบราณ:

การขาดหลักฐานไม่ใช่หลักฐานการขาด

แม้จะมีชื่อเสียง แต่คำนี้ก็ไร้สาระ หากคุณมองหาบางสิ่งบางอย่างและล้มเหลวในการค้นหาสิ่งนั้นก็เป็นหลักฐานว่าไม่มีอยู่จริง หลักฐานนั้นดีเพียงใดนั้นขึ้นอยู่กับว่าการค้นหาของคุณนั้นละเอียดมากเพียงใด ค้นหาคร่าวๆให้หลักฐานที่อ่อนแอ การค้นหาอย่างละเอียดให้หลักฐานที่ดี

ตอนนี้กลับไปที่การทดสอบสมมติฐาน เมื่อคุณทำการทดสอบสมมติฐานคุณกำลังมองหาหลักฐานว่าสมมติฐานว่างนั้นไม่เป็นความจริง หากคุณไม่พบมันก็เป็นหลักฐานว่าสมมติฐานว่างเป็นจริง แต่หลักฐานนั้นแข็งแกร่งแค่ไหน หากต้องการทราบว่าคุณต้องรู้ว่ามีโอกาสมากที่หลักฐานที่จะทำให้คุณปฏิเสธสมมติฐานว่างอาจทำให้การค้นหาของคุณหลุดออกไป นั่นคือความน่าจะเป็นที่จะเป็นลบในการทดสอบของคุณคืออะไร? สิ่งนี้เกี่ยวข้องกับพลังงานของการทดสอบ (โดยเฉพาะมันคือส่วนเสริม, 1- )$\beta$$\beta$

ตอนนี้พลังของการทดสอบและดังนั้นอัตราการลบที่ผิดพลาดขึ้นอยู่กับขนาดของเอฟเฟกต์ที่คุณต้องการ เอฟเฟกต์ขนาดใหญ่นั้นง่ายต่อการตรวจจับมากกว่าตัวเล็ก ดังนั้นจึงไม่มีเดียวสำหรับการทดสอบและดังนั้นจึงไม่มีคำตอบที่ชัดเจนสำหรับคำถามที่ว่าหลักฐานของสมมติฐานว่างเป็นอย่างไร อีกวิธีหนึ่งคือมีเอฟเฟกต์ขนาดเล็กพอที่จะไม่ตัดออกจากการทดสอบ$\beta$

จากที่นี่มีสองวิธีในการดำเนินการ บางครั้งคุณรู้ว่าคุณไม่สนใจขนาดผลเล็กกว่าขีด จำกัด บางอย่าง ในกรณีนี้คุณอาจควรทำการทดสอบใหม่ในกรณีที่สมมติฐานว่างคือผลกระทบนั้นสูงกว่าเกณฑ์ดังกล่าวจากนั้นทดสอบสมมติฐานทางเลือกว่าผลกระทบนั้นต่ำกว่าเกณฑ์ หรือคุณอาจใช้ผลลัพธ์เพื่อกำหนดขอบเขตตามขนาดที่น่าเชื่อของเอฟเฟกต์ ข้อสรุปของคุณอาจเป็นไปได้ว่าขนาดของเอฟเฟกต์จะอยู่ในช่วงเวลาหนึ่งด้วยความน่าจะเป็น วิธีการดังกล่าวเป็นเพียงไม่กี่ก้าวจากการรักษาแบบเบย์ซึ่งคุณอาจต้องการเรียนรู้เพิ่มเติมหากคุณพบว่าตัวเองอยู่ในสถานการณ์แบบนี้บ่อยครั้ง

มีคำตอบที่ดีสำหรับคำถามที่เกี่ยวข้องที่สัมผัสกับหลักฐานการขาดการทดสอบซึ่งคุณอาจพบว่ามีประโยชน์

NHST อาศัยค่า p ซึ่งบอกกับเราว่า: เมื่อสมมติฐานว่างเป็นจริงความน่าจะเป็นที่เราสังเกตการณ์ข้อมูลของเรา (หรือข้อมูลมากขึ้น) คืออะไร

เราสมมติว่าสมมติฐานว่างเป็นจริง - มันถูกอบเข้าสู่ NHST ว่าสมมติฐานว่างนั้นถูกต้อง 100% ค่า p ขนาดเล็กบอกเราว่าหากสมมติฐานว่างเป็นจริงข้อมูลของเรา (หรือข้อมูลที่มากที่สุด) นั้นไม่น่าเป็นไปได้

แต่ค่า p ที่มีขนาดใหญ่บอกอะไรเรา มันบอกเราว่ามีแนวโน้มว่าข้อมูลของเรา (หรือข้อมูลที่มากที่สุด) จากสมมติฐานว่างเปล่า

โดยทั่วไปแล้วP (A | B) ≠ P (B | A)

ลองนึกภาพคุณต้องการที่จะใช้ค่า p ที่มีขนาดใหญ่เป็นหลักฐานสำหรับสมมติฐานว่าง คุณจะต้องใช้ตรรกะนี้:

• หากค่า NULL เป็นจริงแสดงว่ามีค่า p สูง ( อัปเดต: ไม่จริงดูความคิดเห็นด้านล่าง )
• พบค่า p สูง
• ดังนั้นค่า null จึงเป็นจริง

สิ่งนี้เกิดขึ้นในรูปแบบทั่วไปที่มากขึ้น:

• ถ้า B เป็นจริงแสดงว่ามีแนวโน้มว่า
• เกิดขึ้น
• ดังนั้น B จึงเป็นจริง

นี่เป็นความผิดพลาด แต่อย่างที่สามารถเห็นได้จากตัวอย่าง:

• หากมีฝนตกข้างนอกพื้นดินก็จะเปียก
• พื้นดินเปียก
• ดังนั้นจึงมีฝนตกนอก

พื้นดินอาจเปียกเพราะฝนตก หรืออาจเป็นเพราะสปริงเกอร์, ใครบางคนกำลังทำความสะอาดร่องน้ำของพวกเขา, สายน้ำขาด, และอื่น ๆ อีกมากตัวอย่างสามารถพบได้ในลิงค์ด้านบน

มันเป็นแนวคิดที่ยากมากที่จะเข้าใจ ถ้าเราต้องการหลักฐานว่าเป็นโมฆะจำเป็นต้องมีการอนุมานแบบเบย์ สำหรับฉันคำอธิบายที่เข้าถึงได้ง่ายที่สุดของตรรกะนี้คือโดย Rouder และคณะ (2016) ในกระดาษมีอาหารกลางวันฟรีในการอนุมาน? ตีพิมพ์ในหัวข้อวิทยาศาสตร์พุทธิปัญญา, 8, pp. 520–547

หากต้องการเข้าใจสิ่งที่ผิดปกติกับข้อสมมติโปรดดูตัวอย่างต่อไปนี้:

ลองนึกภาพสิ่งที่แนบมาในสวนสัตว์ที่คุณไม่สามารถเห็นผู้อยู่อาศัย คุณต้องการทดสอบสมมติฐานที่ลิงอาศัยอยู่โดยใส่กล้วยเข้าไปในกรงแล้วตรวจสอบว่ามันหายไปในวันถัดไปหรือไม่ นี่คือการทำซ้ำครั้งเพื่อเพิ่มนัยสำคัญทางสถิติ

ตอนนี้คุณสามารถกำหนดสมมติฐานว่างได้: เนื่องจากมีลิงอยู่ในคอกจึงมีความเป็นไปได้มากที่พวกเขาจะค้นหาและกินกล้วยดังนั้นถ้ากล้วยไม่มีการแตะต้องในแต่ละวันมันไม่น่าเป็นไปได้มากที่มีลิงอยู่

แต่ตอนนี้คุณเห็นแล้วว่ากล้วยหายไป (เกือบ) ในแต่ละวัน นั่นบอกคุณหรือไม่ว่ามีลิงอยู่ข้างใน?

ไม่แน่นอนเพราะมีสัตว์อื่น ๆ ที่ชอบกล้วยเช่นกันหรืออาจจะเป็นผู้ดูแลสวนสัตว์ที่ตั้งใจเอากล้วยออกทุกเย็น

ดังนั้นความผิดพลาดที่เกิดขึ้นในตรรกะนี้คืออะไร? ประเด็นก็คือคุณไม่รู้อะไรเลยเกี่ยวกับความน่าจะเป็นที่กล้วยจะหายไปถ้าไม่มีลิงอยู่ข้างใน หากต้องการยืนยันสมมติฐานว่างความน่าจะเป็นของกล้วยที่หายไปจะต้องมีขนาดเล็กหากสมมติฐานว่างนั้นผิด แต่สิ่งนี้ไม่จำเป็นต้องเป็นไปได้ ในความเป็นจริงเหตุการณ์อาจเป็นไปได้อย่างเท่าเทียมกัน (หรือเป็นไปได้มากขึ้น) หากสมมติฐานว่างนั้นผิด

คุณไม่สามารถพูดอะไรได้อย่างแน่นอนเกี่ยวกับความถูกต้องของสมมติฐานว่าง หากผู้ดูแลสวนนำกล้วยทั้งหมดออกทุกเย็นการทดลองนั้นไม่มีค่าอย่างสมบูรณ์แม้ว่ามันจะดูเหมือนว่าคุณได้ยืนยันสมมติฐานว่างแล้วก็ตาม

ในบทความที่มีชื่อเสียงของเขาเหตุใดผลการวิจัยที่ตีพิมพ์มากที่สุดเป็นเท็จ Ioannidis ใช้การใช้เหตุผลแบบเบย์และการผิดอัตราฐานเพื่อยืนยันว่าการค้นพบส่วนใหญ่เป็นผลบวกเท็จ ไม่นานความน่าจะเป็นหลังการศึกษาที่สมมติฐานการวิจัยเฉพาะนั้นขึ้นอยู่กับความน่าจะเป็นก่อนการศึกษาของสมมติฐานดังกล่าว (เช่นอัตราฐาน)

เป็นการตอบสนองMoonesinghe และคณะ (2007)ใช้กรอบงานเดียวกันเพื่อแสดงให้เห็นว่าการจำลองแบบช่วยเพิ่มความน่าจะเป็นหลังการศึกษาของสมมติฐานที่เป็นจริงอย่างมาก สิ่งนี้สมเหตุสมผล: หากการศึกษาหลาย ๆ ครั้งสามารถจำลองการค้นพบที่แน่นอนเรามั่นใจว่าสมมติฐานที่คาดเดานั้นเป็นจริง

$\alpha$

กราฟแสดงให้เห็นว่าหากการศึกษาอย่างน้อย 5 จาก 10 การศึกษาล้มเหลวที่จะให้ความสำคัญความน่าจะเป็นหลังการศึกษาของเราที่สมมติฐานเป็นจริงเกือบ 0 ความสัมพันธ์เดียวกันมีอยู่สำหรับการศึกษาเพิ่มเติม การค้นพบนี้ทำให้รู้สึกถึงสัญชาตญาณ: การล้มเหลวซ้ำ ๆ ในการค้นหาเอฟเฟกต์จะช่วยเพิ่มความเชื่อของเราว่า เหตุผลนี้สอดคล้องกับคำตอบที่ยอมรับโดย @RPL

ในกรณีที่สองสมมติว่าการศึกษามีพลังเพียง 50% (เท่ากันทั้งหมด)

ตอนนี้ความน่าจะเป็นหลังการศึกษาของเราลดลงช้ากว่าเพราะทุกการศึกษามีเพียงพลังงานต่ำในการค้นหาเอฟเฟกต์ถ้ามันมีอยู่จริง

คำอธิบายที่ดีที่สุดที่ฉันเคยเห็นสำหรับเรื่องนี้มาจากคนที่ฝึกวิชาคณิตศาสตร์

$H_0$$H_1$$H_1$$H_0$$H_1$$H_1$$H_0$$H_0$

หากคุณไม่ชอบผลลัพธ์ของการทดสอบสมมติฐาน แต่ไม่ได้เตรียมที่จะทำการกระโดดอย่างเต็มรูปแบบไปยังวิธีการแบบเบย์

$42078$$20913$$[0.492,0.502]$

$\frac12$$\frac12$

มันอาจจะเป็นการดีกว่าถ้าจะบอกว่าการไม่ปฏิเสธสมมติฐานว่างนั้นไม่ได้เป็นหลักฐานสำหรับสมมติฐานว่าง เมื่อเราพิจารณาความเป็นไปได้ของข้อมูลอย่างเต็มที่แล้วซึ่งพิจารณาปริมาณของข้อมูลอย่างชัดเจนมากขึ้นข้อมูลที่รวบรวมอาจให้การสนับสนุนพารามิเตอร์ที่อยู่ในสมมติฐานว่าง

อย่างไรก็ตามเราควรคิดอย่างรอบคอบเกี่ยวกับสมมติฐานของเรา โดยเฉพาะอย่างยิ่งความล้มเหลวในการปฏิเสธสมมติฐานที่เป็นโมฆะจุดนั้นไม่ได้เป็นหลักฐานที่ดีมากว่าสมมติฐานของประเด็นนั้นเป็นความจริง ในความเป็นจริงมันรวบรวมหลักฐานที่แสดงว่ามูลค่าที่แท้จริงของพารามิเตอร์นั้นอยู่ไม่ไกลจากจุดที่สงสัย จุดสมมติฐานว่างอยู่ในระดับที่ค่อนข้างประดิษฐ์สร้างและส่วนใหญ่คุณมักจะไม่เชื่อจริง ๆ ว่าพวกเขาจะเป็นจริงอย่างแน่นอน

มันมีเหตุผลมากขึ้นที่จะพูดคุยเกี่ยวกับการไม่ปฏิเสธการสนับสนุนสมมติฐานว่างถ้าคุณสามารถย้อนกลับสมมติฐานว่างเปล่าและทางเลือกและถ้าทำเช่นนั้นคุณจะปฏิเสธสมมติฐานว่างใหม่ของคุณ เมื่อคุณพยายามทำเช่นนั้นด้วยสมมติฐานว่างจุดมาตรฐานคุณจะเห็นได้ทันทีว่าคุณจะไม่สามารถปฏิเสธส่วนเติมเต็มของมันได้เพราะจากนั้นสมมติฐานว่างกลับของคุณจะมีค่าอยู่ใกล้กับจุดที่พิจารณาโดยพลการ

$H_0: |\mu| \leq \delta$$H_A: |\mu| > \delta$$\mu$$\mu$$-\delta$$+\delta$$1-\alpha$$[-\delta, +\delta]$

มันค่อนข้างขึ้นอยู่กับว่าคุณใช้ภาษาอย่างไร ภายใต้ทฤษฎีการตัดสินใจของเพียร์สันและเนย์แมนมันไม่ได้เป็นหลักฐานสำหรับโมฆะ แต่คุณต้องทำตัวเหมือนเป็นโมฆะ

ความยากลำบากมาจากวิธีการเก็บเงิน วิธีการแบบเบย์เป็นรูปแบบหนึ่งของการใช้เหตุผลเชิงอุปนัยและเป็นรูปแบบของการใช้เหตุผลที่ไม่สมบูรณ์ วิธีการตั้งสมมติฐานแบบ Null นั้นเป็นรูปแบบที่น่าจะเป็นของผู้ใช้โทมัสและเป็นส่วนหนึ่งของการใช้เหตุผลแบบนิรนัยดังนั้นจึงเป็นรูปแบบที่สมบูรณ์ของการใช้เหตุผล

Modus tollens มีรูปแบบ "ถ้า A เป็นจริงจากนั้น B เป็นจริงและ B ไม่เป็นความจริงดังนั้น A ไม่จริง" ในรูปแบบนี้ถ้าเป็นจริงแล้วข้อมูลจะปรากฏในลักษณะเฉพาะพวกเขาจะไม่ปรากฏในลักษณะนั้นดังนั้น (ในระดับความมั่นใจ) เป็นโมฆะไม่เป็นความจริง (หรืออย่างน้อยก็คือ "ปลอมแปลง" ."

ปัญหาคือคุณต้องการ "ถ้าเป็นแล้ว B และ B. " จากนี้คุณต้องการอนุมาน A แต่ไม่ถูกต้อง "ถ้าเป็น A แล้ว B" จะไม่รวม "ถ้าไม่ใช่ A B" ก็เป็นคำสั่งที่ถูกต้องเช่นกัน พิจารณาคำแถลงว่า "ถ้าเป็นหมีแล้วก็สามารถว่ายน้ำได้มันเป็นปลา (ไม่ใช่หมี)" คำกล่าวไม่ได้พูดถึงความสามารถของผู้ที่ไม่ใช่หมีว่ายน้ำ

ความน่าจะเป็นและสถิติเป็นสาขาหนึ่งของวาทศาสตร์และไม่ใช่สาขาวิชาคณิตศาสตร์ มันเป็นผู้ใช้ทางคณิตศาสตร์อย่างหนัก แต่ไม่ได้เป็นส่วนหนึ่งของคณิตศาสตร์ มันมีอยู่ด้วยหลายเหตุผลชักชวนการตัดสินใจหรือการอนุมาน มันขยายวาทศาสตร์ในการอภิปรายที่มีระเบียบวินัยของหลักฐาน

ฉันจะพยายามแสดงตัวอย่างด้วยตัวอย่าง

$\mu$$\bar{x}$$H_0:\mu=\mu_i$$\mu_i$$\mu_0$$\bar{x}$$\mu$

$H_1:\mu=M$$H_0:\mu=\mu_0$$\mu\ne\mu_0$$\mu<\mu_0$$\mu>\mu_0$

$\bar x \approx 0$$t$$H_0: \bar x = \mu$$\mu = -0.5$$p > 0.05$$H_0$$\mu = 0.5$$t$$p$$\mu = -0.5$$\mu = 0.5$

$p$$H_0$$p$$H_0$ $H_1$$\mu$$\mu$$\mu$

$\hat\mu$$\hat\mu$$\hat\mu$$f(\mu|X) \ne f(X|\mu)$$f(\mu|X)$$\hat\mu$. สิ่งนี้นำไปสู่ทฤษฎีบทของเบย์

$\mu$$\hat\mu$$\mu$

$H_1$$H_0$$H_0$เป็นต้นถ้าคุณขอหมายเลขจากเธอเธอจะให้หมายเลขนั้นกับคุณ แต่ตัวเลขนั้นจะไม่สามารถเปรียบเทียบกันได้ ปัญหาคือว่าการทดสอบสมมติฐาน / oracle ทำงานในกรอบซึ่งเธอสามารถให้คำตอบที่สรุปสำหรับคำถามที่ถามว่าข้อมูลสอดคล้องกับสมมติฐานบางอย่างไม่ใช่วิธีอื่น ๆ เนื่องจากคุณไม่ได้พิจารณาสมมติฐานอื่น ๆ

ลองทำตามตัวอย่างง่ายๆ

สมมติฐานว่างของฉันคือข้อมูลของฉันเป็นไปตามการแจกแจงแบบปกติ สมมุติฐานทางเลือกคือการแจกแจงข้อมูลของฉันไม่ปกติ

ฉันวาดตัวอย่างสุ่มสองตัวอย่างจากการแจกแจงเครื่องแบบใน [0,1] ฉันทำอะไรไม่ได้มากกับตัวอย่างเพียงสองตัวอย่างดังนั้นฉันจะไม่สามารถปฏิเสธสมมติฐานว่างได้

นั่นหมายความว่าฉันสามารถสรุปข้อมูลของฉันตามการแจกแจงปกติได้หรือไม่ ไม่มันเป็นการกระจายตัวที่สม่ำเสมอ !!

ปัญหาคือฉันได้ตั้งสมมติฐานเชิงบรรทัดฐานในสมมติฐานว่าง ดังนั้นฉันไม่สามารถสรุปได้ว่าสมมติฐานของฉันถูกต้องเพราะฉันไม่สามารถปฏิเสธได้

$H_0$$H_0$

$H_0$$H_0$$H_0$

ไม่มันไม่ใช่หลักฐานเว้นแต่คุณจะมีหลักฐานว่าเป็นหลักฐาน ฉันไม่ได้พยายามที่จะน่ารัก แต่เป็นตัวอักษร คุณมีโอกาสที่จะเห็นข้อมูลดังกล่าวเพียงอย่างเดียวเนื่องจากข้อสันนิษฐานของคุณนั้นเป็นจริง นั่นคือทั้งหมดที่คุณได้รับจากค่า p (ถ้าเป็นเช่นนั้นเนื่องจากค่า p ขึ้นอยู่กับสมมติฐานของตัวเอง)

คุณสามารถนำเสนอการศึกษาที่แสดงให้เห็นว่าสำหรับการศึกษาที่ "ล้มเหลว" เพื่อสนับสนุนสมมติฐานว่างเปล่า, สมมติฐานว่างส่วนใหญ่กลายเป็นจริงหรือไม่? หากคุณสามารถค้นหาการศึกษานั้นความล้มเหลวของคุณที่จะพิสูจน์สมมติฐานว่างอย่างน้อยสะท้อนให้เห็นถึงโอกาสที่ทั่วไปมากว่าเป็นโมฆะ ฉันพนันได้เลยว่าคุณไม่มีการศึกษา เนื่องจากคุณไม่มีหลักฐานที่เกี่ยวข้องกับสมมติฐานว่างเปล่าที่เป็นจริงโดยอิงตามค่า p คุณเพียงแค่เดินจากมือเปล่าไป

คุณเริ่มต้นด้วยการสมมติว่าค่า Null ของคุณเป็นจริงเพื่อให้ได้ค่า p ดังนั้นค่า p จึงไม่สามารถบอกอะไรคุณเกี่ยวกับค่า Null เพียงเกี่ยวกับข้อมูลเท่านั้น ลองคิดดู มันเป็นการอนุมานทิศทางเดียว - คาบ