ตัวอย่างขนาดเล็กสามารถทำให้เกิดข้อผิดพลาดประเภท 1 ได้หรือไม่

ฉันได้เรียนรู้ว่าตัวอย่างขนาดเล็กอาจนำไปสู่การใช้พลังงานไม่เพียงพอและข้อผิดพลาดประเภท 2 อย่างไรก็ตามฉันมีความรู้สึกว่าตัวอย่างขนาดเล็กอาจไม่น่าเชื่อถือโดยทั่วไปและอาจนำไปสู่ผลลัพธ์ใด ๆ โดยบังเอิญ มันเป็นเรื่องจริงเหรอ?

hypothesis-testing small-sample

— แม้
แหล่งที่มา

ฉันมีความเกลียดชังต่อสัญกรณ์ทางคณิตศาสตร์ที่ไม่จำเป็นดังนั้นฉันจึงแก้ไขชื่อคุณช่วยกรุณาตรวจสอบว่าฉันไม่ได้เปลี่ยนความหมายโดยการเปลี่ยนมันได้หรือไม่

— mpiktas

อย่าลืมพูดคุยเกี่ยวกับการทดสอบสมมติฐาน (การทดสอบ Neyman-Pearson) และไม่ทดสอบที่สำคัญ (การทดสอบแบบฟิชเชอร์) วิธีการเหล่านี้มักผสมกันแม้ว่าจะไม่มีแนวคิดเรื่องความผิดพลาดในวิธีที่สองและการใช้งานที่เหมาะสมควรแตกต่างกันเพราะนำไปสู่ข้อสรุปที่แตกต่างกัน

— Seb

หากคุณใช้การทดสอบซีมโทติคก็เป็นไปได้ มิฉะนั้นจะไม่มีการทดสอบ - เพื่อควบคุมอัตราความผิดพลาดประเภท 1 (เช่น

)

α

$\alpha$

— มาโคร

แต่ไม่เป็นความจริงหากคุณพลิกเหรียญสองครั้งคุณมีแนวโน้มที่จะทำให้เกิดผลลัพธ์ที่เบ้ (2 ด้านเดียวกัน (100%)) มากกว่าเมื่อคุณพลิก 100 ครั้งซึ่งน่าจะส่งผลประมาณ 1 / 2, 1/2 นี่ไม่ได้บ่งบอกว่าขนาดที่เล็กลงมีโอกาสมากขึ้นที่คุณจะเกิดข้อผิดพลาดประเภท I หรือไม่

คำตอบ:

ตามหลักการทั่วไปขนาดตัวอย่างขนาดเล็กจะไม่เพิ่มอัตราความผิดพลาด Type Iเนื่องจากเหตุผลง่ายๆที่การทดสอบถูกจัดเรียงเพื่อควบคุมอัตรา Type I (มีข้อยกเว้นทางเทคนิคเล็กน้อยที่เกี่ยวข้องกับผลลัพธ์ที่ไม่ต่อเนื่องซึ่งอาจทำให้อัตรา Type I เล็กน้อยไม่สามารถทำได้อย่างแน่นอนโดยเฉพาะอย่างยิ่งกับขนาดตัวอย่างขนาดเล็ก)

มีหลักการสำคัญอยู่ที่นี่: หากการทดสอบของคุณมีขนาดที่ยอมรับได้ (= อัตราประเภท I เล็กน้อย) และกำลังงานที่ยอมรับได้สำหรับเอฟเฟกต์ที่คุณกำลังมองหาแล้วแม้ว่าขนาดตัวอย่างจะเล็กก็ตามก็โอเค

อันตรายคือถ้าเรารู้สถานการณ์เล็กน้อย - อาจเป็นข้อมูลทั้งหมดที่เรามี - จากนั้นเราอาจกังวลเกี่ยวกับข้อผิดพลาด "Type III": นั่นคือตัวแบบข้อมูลผิดพลาด พวกเขาอาจตรวจสอบได้ยากด้วยชุดตัวอย่างขนาดเล็ก

เป็นตัวอย่างที่ใช้งานได้จริงของการมีอิทธิพลซึ่งกันและกันของความคิดฉันจะแบ่งปันเรื่องราว นานมาแล้วฉันถูกขอให้แนะนำขนาดตัวอย่างเพื่อยืนยันการทำความสะอาดด้านสิ่งแวดล้อม นี่เป็นช่วงก่อนการล้างข้อมูลก่อนที่เราจะมีข้อมูลใด ๆ แผนของฉันเรียกร้องให้วิเคราะห์ตัวอย่าง 1,000 ตัวอย่างเพื่อที่จะได้รับระหว่างการทำความสะอาด (เพื่อพิสูจน์ว่ามีการกำจัดดินในแต่ละตำแหน่งมากพอ) เพื่อประเมินค่าเฉลี่ยหลังการล้างและความแปรปรวนของความเข้มข้นของสารปนเปื้อน จากนั้น (เพื่อลดความซับซ้อนลงอย่างมาก) ฉันบอกว่าเราจะใช้สูตรตำรา - ตามกำลังที่ระบุและขนาดการทดสอบ - เพื่อกำหนดจำนวนตัวอย่างการยืนยันอิสระที่จะใช้ในการพิสูจน์การล้างสำเร็จ

สิ่งที่ทำให้สิ่งนี้น่าจดจำก็คือหลังจากเสร็จสิ้นการล้างสูตรบอกว่าจะใช้เพียง 3 ตัวอย่าง ทันใดนั้นคำแนะนำของฉันดูไม่น่าเชื่อถือมาก!

เหตุผลที่ต้องการเพียง 3 ตัวอย่างคือการล้างข้อมูลนั้นก้าวร้าวและทำงานได้ดี มันลดความเข้มข้นของสารปนเปื้อนเฉลี่ยลงไปประมาณ 100 ให้หรือใช้ 100 ppm ต่ำกว่าเป้าหมายที่ 500 ppm อย่างสม่ำเสมอ

ในท้ายที่สุดวิธีการนี้ใช้งานได้เพราะเราได้รับตัวอย่างก่อนหน้า 1,000 รายการ (แม้ว่าคุณภาพการวิเคราะห์ที่ต่ำกว่า: พวกเขามีข้อผิดพลาดในการวัดที่มากขึ้น) เพื่อยืนยันว่าสมมติฐานทางสถิติที่เกิดขึ้นจริงเป็นสิ่งที่ดีสำหรับเว็บไซต์นี้ นั่นคือวิธีจัดการข้อผิดพลาดที่อาจเกิดขึ้นกับ Type III

อีกหนึ่งข้อพิจารณาของคุณ: การรู้ว่าหน่วยงานกำกับดูแลจะไม่อนุมัติให้ใช้ตัวอย่างเพียง 3 ตัวอย่างฉันขอแนะนำให้คุณทำการวัด 5 รายการ สิ่งเหล่านี้จะถูกสร้างขึ้นจาก 25 ตัวอย่างแบบสุ่มของทั้งไซต์รวมกันเป็นกลุ่มที่ 5 โดยทางสถิติจะมีเพียง 5 ตัวเลขในการทดสอบสมมติฐานขั้นสุดท้าย ตัวอย่าง สิ่งนี้เน้นความสัมพันธ์ที่สำคัญระหว่างจำนวนตัวเลขที่ใช้ในการทดสอบกับวิธีการได้รับตัวเลข การตัดสินใจเชิงสถิติมีอะไรมากกว่าแค่อัลกอริธึมที่มีตัวเลข!

เพื่อการบรรเทานิรันดร์ของฉันค่าคอมโพสิตทั้งห้ายืนยันว่าเป็นเป้าหมายการล้างข้อมูล

— whuber
แหล่งที่มา

(+1) เรื่องราวที่ยอดเยี่ยมเกี่ยวกับการล้างข้อมูลเชิงรุกและข้อผิดพลาดประเภท IIIจะดีถ้าสิ่งนี้จะเกี่ยวข้องกับอนุกรมเวลาทางเศรษฐกิจด้วย สำหรับโมเดลหรือโมเดลที่กำหนดอัตราส่วนสัญญาณรบกวนต่ำขนาดเล็ก IMHO จะไม่เป็นปัญหาที่ยิ่งใหญ่ที่สุด (เมื่อเทียบกับชุดข้อมูลขนาดใหญ่ที่มีสัญญาณรบกวนสูงซึ่งมีแนวโน้มว่าจะเป็นอิสระมาก

— Dmitrij Celov

+1 สำหรับผู้ที่มีความสนใจในการทำความเข้าใจเพิ่มเติม "ข้อยกเว้นทางเทคนิคที่เกี่ยวข้องกับผลลัพธ์ที่ไม่ต่อเนื่อง" ที่กล่าวถึงในวรรคแรกฉันพูดถึงพวกเขาที่นี่: การเปรียบเทียบและความแตกต่างของค่า p ระดับนัยสำคัญและข้อผิดพลาดประเภทที่ 1

— gung - Reinstate Monica

+1 เป็นตัวอย่างที่ดีว่าทำไมคุณไม่สามารถแทงด้วยขนาดตัวอย่างที่มีประโยชน์โดยไม่มีข้อมูลคีย์

— เฟรยาแฮร์ริสัน

ผลที่ตามมาของตัวอย่างขนาดเล็กก็คือการเพิ่มข้อผิดพลาดประเภท 2

"สถานที่สถิติในด้านจิตวิทยา" ในปีพ. ศ. 2503 กลุ่มตัวอย่างขนาดเล็กโดยทั่วไปไม่สามารถปฏิเสธสมมติฐานที่เป็นจุดได้ สมมติฐานเหล่านี้เป็นสมมติฐานที่มีพารามิเตอร์บางตัวมีค่าเท่ากับศูนย์และเป็นที่รู้กันว่าเป็นเท็จในประสบการณ์ที่พิจารณา

ในทางตรงกันข้ามตัวอย่างที่มีขนาดใหญ่เกินไปจะเพิ่มข้อผิดพลาดประเภท 1 เนื่องจากค่า p ขึ้นอยู่กับขนาดของกลุ่มตัวอย่าง แต่ระดับนัยสำคัญของอัลฟาได้รับการแก้ไขแล้ว การทดสอบตัวอย่างเช่นนี้จะปฏิเสธสมมติฐานว่างเสมอ อ่าน "ความไม่สำคัญของการทดสอบนัยสำคัญทางสถิติ" โดย Johnson และ Douglas (1999) เพื่อให้เห็นภาพรวมของปัญหา

นี่ไม่ใช่คำตอบที่ตรงกับคำถาม แต่ข้อพิจารณาเหล่านี้เป็นส่วนเสริม

— Seb
แหล่งที่มา

+1 สำหรับการโทรออกปัญหาตัวอย่างที่มีขนาดใหญ่และข้อผิดพลาด Type I

— Josh Hemann

-1 ความคิดเห็นที่ "ตัวอย่างที่มีขนาดใหญ่เกินไปเพิ่มข้อผิดพลาดประเภท 1" ไม่ถูกต้อง คุณอาจจะทำให้เกิดความสับสนนัยสำคัญทางสถิติและการปฏิบัติอย่างมีนัยสำคัญในการที่สถานการณ์สามารถอยู่ที่ผลกระทบที่แท้จริงคือไม่ตรง 0 แต่มีขนาดเล็กเพื่อที่จะไม่สมเหตุผลและเราจะพิจารณาโมฆะ 'ความจริง' ในทางปฏิบัติ ในกรณีนี้โมฆะจะถูกปฏิเสธมากกว่า (เช่น) 5% ของเวลา & บ่อยขึ้น w / เพิ่ม N อย่างไรก็ตามการพูดอย่างเคร่งครัดสมมติฐานว่างว่าผลที่แท้จริงคือ 0 อย่างแน่นอนโดยข้อตกลงเท็จ ดังนั้นการปฏิเสธเหล่านี้ไม่ใช่ข้อผิดพลาดประเภทที่ 1

— gung - Reinstate Monica