การทดสอบสมมติฐานการกระจาย - มีจุดประสงค์อะไรถ้าคุณไม่สามารถ“ ยอมรับ” สมมติฐานว่างของคุณได้?

การทดสอบสมมติฐานต่าง ๆ เช่นการทดสอบ GOF, Kolmogorov-Smirnov, Anderson-Darling ฯลฯ ตามรูปแบบพื้นฐานนี้:$\chi^{2}$

$H_0$ : ข้อมูลเป็นไปตามการแจกแจงที่กำหนด

$H_1$ : ข้อมูลไม่เป็นไปตามการแจกแจงที่กำหนด

โดยทั่วไปคนหนึ่งประเมินการอ้างสิทธิ์ว่าข้อมูลที่ให้มาบางส่วนมีการแจกแจงที่ให้มาบางส่วนและหากมีใครปฏิเสธข้อมูลนั้นไม่เหมาะสมสำหรับการแจกแจงที่กำหนดในระดับ$H_0$$\alpha$

แต่ถ้าเราไม่ปฏิเสธล่ะ ฉันได้รับเสมอสอนว่าหนึ่งไม่สามารถ "ยอมรับ"ดังนั้นโดยทั่วไปเราไม่ได้มีหลักฐานที่จะปฏิเสธH_0นั่นคือไม่มีหลักฐานว่าเราปฏิเสธว่าข้อมูลเป็นไปตามการกระจายที่กำหนดH 0 H $H_0$$H_0$$H_0$

ดังนั้นคำถามของฉันคืออะไรคือจุดของการทดสอบดังกล่าวถ้าเราไม่สามารถสรุปได้ว่าข้อมูลตามการกระจายที่กำหนดหรือไม่

การพูดอย่างกว้าง ๆ (ไม่ใช่แค่ในการทดสอบความพอดี แต่ในสถานการณ์อื่น ๆ ) คุณไม่สามารถสรุปได้ว่าค่าว่างนั้นเป็นจริงเพราะมีทางเลือกอื่นที่แยกไม่ออกจากค่า null ในขนาดตัวอย่างที่กำหนดอย่างมีประสิทธิภาพ

นี่คือการแจกแจงสองแบบคือแบบมาตรฐานปกติ (เส้นทึบสีเขียว) และแบบที่คล้ายกัน (ปกติ 90% มาตรฐานและเบต้ามาตรฐาน 10% (2,2) ที่ทำเครื่องหมายด้วยเส้นประสีแดง):

สีแดงไม่ปกติ ที่พูดว่าเรามีโอกาสเล็กน้อยที่จะสังเกตเห็นความแตกต่างดังนั้นเราจึงไม่สามารถยืนยันได้ว่าข้อมูลนั้นมาจากการแจกแจงแบบปกติ - จะเป็นอย่างไรถ้ามาจากการแจกแจงแบบไม่ธรรมดาเหมือนสีแดงแทน?$n=100$

เศษส่วนที่น้อยกว่าของ betas มาตรฐานที่มีพารามิเตอร์เท่ากัน แต่ใหญ่กว่านั้นจะยากกว่าที่จะเห็นความแตกต่างจากปกติ

แต่ที่ได้รับข้อมูลจริงเกือบจะไม่เคยจากการกระจายง่ายๆถ้าเรามีคำพยากรณ์ที่สมบูรณ์แบบ (หรืออย่างมีประสิทธิภาพขนาดตัวอย่างไม่มีที่สิ้นสุด) เราจะเป็นหลักเสมอปฏิเสธสมมติฐานที่ว่าข้อมูลที่ได้จากรูปแบบการกระจายบางอย่างง่าย

ดังที่จอร์จบ็อกซ์กล่าวไว้ว่า " ทุกรุ่นผิด แต่มีประโยชน์ "

ลองพิจารณาตัวอย่างเช่นการทดสอบภาวะปกติ มันอาจจะเป็นว่าข้อมูลที่จริงมาจากสิ่งที่ใกล้เคียงกับปกติ แต่พวกเขาจะเคยเป็นว่าปกติ? พวกเขาอาจจะไม่เคย

สิ่งที่ดีที่สุดที่คุณสามารถหวังได้จากการทดสอบรูปแบบนั้นคือสถานการณ์ที่คุณอธิบาย (ดูตัวอย่างการโพสต์การทดสอบภาวะปกติเป็นสิ่งที่ไร้ประโยชน์หรือไม่แต่มีจำนวนโพสต์อื่น ๆ ที่นี่ที่สร้างประเด็นที่เกี่ยวข้อง)

นี่เป็นส่วนหนึ่งของเหตุผลที่ฉันมักจะแนะนำให้คนอื่น ๆ ว่าคำถามที่พวกเขาสนใจจริง ๆ (ซึ่งมักจะเป็นสิ่งที่ใกล้เคียงกับ 'ข้อมูลของฉันอยู่ใกล้พอที่จะเผยแพร่ที่ฉันสามารถทำการอนุมานที่เหมาะสมบนพื้นฐานนั้น') ไม่ตอบรับอย่างดีจากการทดสอบความดีพอดี ในกรณีของภาวะปกติมักจะใช้วิธีอนุมานที่พวกเขาต้องการที่จะใช้ (t- ทดสอบการถดถอย ฯลฯ ) มีแนวโน้มที่จะทำงานได้ค่อนข้างดีในกลุ่มตัวอย่างขนาดใหญ่ - บ่อยครั้งที่การกระจายตัวดั้งเดิมค่อนข้างชัดเจนไม่ใช่ปกติ - เมื่อความดีของ การทดสอบแบบที่จะมีโอกาสมากที่จะปฏิเสธปกติ การใช้เพียงเล็กน้อยมีขั้นตอนที่น่าจะบอกคุณได้ว่าข้อมูลของคุณไม่ปกติเมื่อคำถามนั้นไม่สำคัญ$F$

พิจารณาภาพด้านบนอีกครั้ง การกระจายสีแดงนั้นไม่ปกติและด้วยกลุ่มตัวอย่างที่มีขนาดใหญ่มากเราสามารถปฏิเสธการทดสอบปกติจากตัวอย่าง ... แต่ที่ขนาดตัวอย่างที่เล็กกว่าการถดถอยและการทดสอบตัวอย่างสองครั้ง (และการทดสอบอื่น ๆ อีกมากมาย นอกจากนี้) จะประพฤติตัวเป็นอย่างดีจนทำให้ไม่มีจุดหมายที่จะต้องกังวลเกี่ยวกับสิ่งที่ไม่ใช่เรื่องปกติแม้เพียงเล็กน้อย

ข้อพิจารณาที่คล้ายกันนี้ไม่เพียงขยายไปสู่การแจกแจงอื่น ๆ เท่านั้น แต่ส่วนใหญ่จะเป็นการทดสอบสมมติฐานจำนวนมากโดยทั่วไป (เช่นการทดสอบสองด้านของเป็นต้น) หนึ่งอาจถามคำถามแบบเดียวกัน - อะไรคือจุดของการทดสอบดังกล่าวถ้าเราไม่สามารถสรุปได้ว่าค่าเฉลี่ยใช้ค่าเฉพาะหรือไม่$\mu=\mu_0$

คุณอาจสามารถระบุรูปแบบเฉพาะของการเบี่ยงเบนและดูการทดสอบความเท่ากันได้ แต่มันค่อนข้างมีเล่ห์เหลี่ยมเหมาะสมเพราะมีหลายวิธีที่การกระจายจะใกล้เคียง แต่แตกต่างจากสมมุติฐานที่แตกต่างกัน รูปแบบของความแตกต่างอาจมีผลกระทบต่อการวิเคราะห์ต่างกัน หากทางเลือกนั้นเป็นตระกูลที่กว้างขึ้นซึ่งรวมถึงโมฆะเป็นกรณีพิเศษการทดสอบความเท่ากันนั้นสมเหตุสมผลมากขึ้น (เช่นการทดสอบแบบเอ็กซ์โปเนนเชียลเทียบกับแกมม่า) - และแน่นอนว่าวิธีการ "ทดสอบสองด้านเดียว" ดำเนินไป เป็นวิธีที่จะทำให้เป็นรูปธรรม "ใกล้พอ" (หรืออาจเป็นไปได้ว่าถ้าแบบจำลองแกมม่าเป็นจริง แต่ในความเป็นจริงแล้วตัวเองจะมั่นใจได้อย่างแท้จริงว่าจะถูกปฏิเสธโดยความดีสามัญของการทดสอบแบบพอดี

ความเหมาะสมของการทดสอบแบบพอดี (และบ่อยครั้งกว่านั้นคือการทดสอบสมมติฐาน) เหมาะสำหรับสถานการณ์ที่มีข้อ จำกัด คำถามที่คนมักจะต้องการคำตอบนั้นไม่แม่นยำ แต่ค่อนข้างคลุมเครือและยากที่จะตอบ - แต่อย่างที่ John Tukey กล่าวว่า " ดีกว่าคำตอบที่ถูกต้องสำหรับคำถามที่ถูกต้องซึ่งมักจะคลุมเครือกว่าคำตอบที่ถูกต้อง คำถามที่ผิดซึ่งสามารถทำให้แม่นยำเสมอ "

แนวทางที่สมเหตุสมผลในการตอบคำถามที่คลุมเครือมากขึ้นอาจรวมถึงการจำลองและการตรวจสอบซ้ำอีกครั้งเพื่อประเมินความอ่อนไหวของการวิเคราะห์ที่ต้องการกับข้อสันนิษฐานที่คุณกำลังพิจารณาเปรียบเทียบกับสถานการณ์อื่น ๆ ที่สอดคล้องกับข้อมูลที่มีอยู่

(เป็นส่วนหนึ่งของพื้นฐานสำหรับวิธีการที่แข็งแกร่งผ่าน - การปนเปื้อน - โดยดูจากผลกระทบของการอยู่ภายในระยะหนึ่งในความรู้สึก Kolmogorov-Smirnov)$\varepsilon$

ฉันที่สอง @ Glen_b คำตอบและเพิ่มว่าโดยทั่วไปปัญหา "การขาดหลักฐานไม่ใช่หลักฐานการขาด" ทำให้การทดสอบสมมติฐานและ$P$- ค่ามีประโยชน์น้อยกว่าที่พวกเขาดูเหมือน การคาดคะเนมักเป็นวิธีที่ดีกว่าแม้ในการประเมินความเหมาะสม หนึ่งสามารถใช้ระยะทาง Kolmogorov-Smirnov เป็นตัววัด มันยากที่จะใช้โดยไม่มีข้อผิดพลาด วิธีอนุรักษ์นิยมจะใช้ความเชื่อมั่นสูงสุดของระยะทาง KS เพื่อเป็นแนวทางในการสร้างแบบจำลอง สิ่งนี้จะนำไปสู่ความไม่แน่นอนอย่างมากซึ่งอาจนำไปสู่ข้อสรุปว่าการเลือกวิธีการที่มีประสิทธิภาพในสถานที่แรกเป็นที่ต้องการ ด้วยความคิดนั้นและกลับไปสู่เป้าหมายดั้งเดิมเมื่อเปรียบเทียบการกระจายเชิงประจักษ์กับรูปแบบพาราเมตริกที่เป็นไปได้มากกว่า 2 รูปแบบความแปรปรวนที่แท้จริงของการแจกแจงติดตั้งสุดท้ายนั้นไม่มีความแม่นยำที่ดีไปกว่าฟังก์ชั่นการแจกแจงเชิงประจักษ์ ดังนั้นหากไม่มีทฤษฎีเรื่องที่จะผลักดันการเลือกการแจกแจง

มุมมองผมคิดว่าการใช้ร่วมกันโดยคนส่วนใหญ่คือการทดสอบสมมติฐานคือการปรับตัวน่าจะเป็นของหลักการการทำผิด

หากสมมติฐานอยู่รอดอย่างต่อเนื่องและพยายามอย่างจริงจังที่จะปลอมแปลงมันก็มี "พิสูจน์ความกล้าหาญของ" และสามารถได้รับการยอมรับชั่วคราว แต่มันไม่สามารถที่จะสรุปได้อย่างแน่นอน

$H_0$$H_0$$H_0$

ฉันคิดว่านี่เป็นตัวอย่างที่สมบูรณ์แบบเพื่อแสดงให้เห็นถึงความแตกต่างระหว่างงานวิชาการและการตัดสินใจเชิงปฏิบัติ ในการตั้งค่าด้านการศึกษา (ฉันอยู่ที่ไหน) คุณสามารถโต้เถียงในแบบที่คุณต้องการตราบเท่าที่ผู้อื่นเห็นว่าเหมาะสม ดังนั้นโดยพื้นฐานแล้วเราจบลงด้วยการไม่มีที่สิ้นสุดบางครั้งเป็นวงกลมต่อรองราคากันได้ ในแง่นี้สิ่งนี้ช่วยให้ผู้คนสามารถทำงานได้

อย่างไรก็ตามหากคุณอยู่ในตำแหน่งที่จะตัดสินใจได้จริงคำตอบก็คือใช่หรือไม่ใช่ การไม่แน่ใจจะทำลายชื่อเสียงของคุณในฐานะผู้มีอำนาจตัดสินใจ แน่นอนว่าการเลือกนั้นไม่เพียง แต่เกี่ยวข้องกับสถิติเท่านั้น แต่บางครั้งก็เป็นองค์ประกอบของการเดิมพันและการก้าวกระโดดของความเชื่อ โดยสรุปการออกกำลังกายประเภทนี้มีประโยชน์ในการตัดสินใจ อย่างไรก็ตามการตัดสินใจของคุณเพียงอย่างเดียวในการทดสอบสมมติฐานนี้เป็นเรื่องที่แตกต่างอย่างสิ้นเชิง

ประเด็นก็คือจากมุมมองทางสถิติล้วนๆคุณไม่สามารถยอมรับได้แต่ในทางปฏิบัติคุณทำ ตัวอย่างเช่นหากคุณกำลังประเมินความเสี่ยงของพอร์ตโฟลิโอโดยใช้มาตรการที่มีความเสี่ยงหรือการวัดที่คล้ายกันการกระจายผลตอบแทนของพอร์ตโฟลิโอนั้นค่อนข้างสำคัญ นั่นเป็นเพราะความเสี่ยงถูกกำหนดโดยหางของการกระจายของคุณ

ในกรณีหนังสือข้อความการแจกแจงแบบปกติมักใช้เป็นตัวอย่าง อย่างไรก็ตามหากผลตอบแทนของคุณมีไขมันหาง (ซึ่งมักจะทำ) การประมาณการกระจายแบบปกติจะประเมินความเสี่ยงต่ำเกินไป ดังนั้นจึงเป็นสิ่งสำคัญในการตรวจสอบผลตอบแทนและตัดสินใจว่าคุณจะใช้การประมาณปกติหรือไม่ โปรดทราบว่านี่ไม่ได้หมายถึงการรันการทดสอบทางสถิติ แต่อาจเป็น QQ-plot หรือวิธีการอื่น อย่างไรก็ตามคุณต้องตัดสินใจในบางจุดจากการวิเคราะห์ผลตอบแทนและแบบจำลองการคืนสินค้าของคุณและใช้แบบปกติหรือไม่

ดังนั้นสำหรับวัตถุประสงค์ในทางปฏิบัติทั้งหมดที่ไม่ปฏิเสธจริงๆหมายถึงยอมรับแม้ว่าจะไม่ได้อยู่ในความหมายทางสถิติที่เข้มงวด คุณจะยอมรับการใช้งานปกติและใช้มันในการคำนวณของคุณซึ่งจะแสดงให้ผู้บริหารระดับสูงทราบทุกวันต่อผู้กำกับดูแลผู้สอบบัญชีและอื่น ๆ การไม่ปฏิเสธในกรณีนี้มีผลกระทบที่ไกลเกินจริงในทุกแง่มุม หรือมีประสิทธิภาพมากกว่าผลลัพธ์ทางสถิติที่งี่เง่า

ไม่มีจำเลยในศาลที่ไร้เดียงสาเลย พวกเขามีความผิด (ปฏิเสธสมมติฐานว่างของผู้บริสุทธิ์) หรือไม่ผิด (อย่าปฏิเสธข้อสันนิษฐานของความไร้เดียงสา)

การขาดหลักฐานไม่ใช่หลักฐานการขาด

ดังนั้นคำถามของฉันคืออะไรคือจุดของการทดสอบดังกล่าวถ้าเราไม่สามารถสรุปได้ว่าข้อมูลตามการกระจายที่กำหนดหรือไม่

หากคุณมีการแจกแจงทางเลือก (หรือชุดการกระจาย) ในใจเพื่อเปรียบเทียบกับมันอาจเป็นเครื่องมือที่มีประโยชน์

ฉันจะบอกว่า: ฉันมีข้อสังเกตหลายอย่างซึ่งฉันคิดว่าอาจจะเผยแพร่ได้ตามปกติ (ฉันคิดว่าเป็นเช่นนั้นเพราะฉันได้เห็นการสังเกตของตัวละครที่คล้ายกันซึ่งฉันพอใจตามด้วยเส้นโค้งปกติอย่างสมเหตุสมผล) ฉันยังคิดว่าพวกเขาอาจไม่ทำตามเส้นโค้งปกติ แต่เป็นเส้นโค้งที่ไม่ปกติ (ฉันคิดว่าอาจเป็นเพราะฉันได้เห็นแหล่งข้อมูลเช่นนี้ซึ่งไม่เป็นไปตามเส้นโค้งปกติ แต่ยกตัวอย่างเช่นความเบ้ ฯลฯ ) 3 ฉันก็ทำการสอบถามตามแนวการสังเกต: ถ้าการสังเกต มาจากการกระจายตัวแบบธรรมดาไคสแควร์ที่เกิดขึ้นบ่อยแค่ไหน บทสรุปคือ "ค่อนข้างน้อยมากเพียงสองครั้งในหนึ่งร้อย" จากนั้นฉันทำการสอบถามไม่ระบุและไม่คำนวณ แต่ฉันเชื่อว่าจำเป็นอย่างยิ่งสำหรับการโต้แย้งที่ถูกต้องดังต่อไปนี้: หากการแจกแจงนั้นไม่ปกติประสบการณ์นี้ซึ่งตัดสินโดยความแตกต่างของไคสแควร์จะเกิดขึ้นค่อนข้างบ่อย (สิ่งที่ฉันต้องทำก็คือจินตนาการว่าเส้นโค้งที่ไม่ปกติมีลักษณะเบ้กระจายของการแจกแจง) ดังนั้นฉันจึงปฏิเสธสมมติฐานปกติบนหลักการที่ฉันยอมรับว่าสมมติฐานทางเลือกหนึ่งซึ่งเหตุการณ์ที่มีประสบการณ์จะมากกว่านี้ บ่อย. ฉันพูดว่าการปฏิเสธสมมติฐานว่างจะใช้ได้เฉพาะในความเต็มใจที่จะยอมรับทางเลือกอื่น (ทางเลือกนี้ไม่จำเป็นต้องกำหนดอย่างแม่นยำในทุกประการ) ) ฉันจึงปฏิเสธสมมติฐานปกติเกี่ยวกับหลักการที่ฉันยอมรับว่าหนึ่งในสมมติฐานทางเลือกที่พิจารณาซึ่งเหตุการณ์ที่มีประสบการณ์จะบ่อยขึ้น ฉันพูดว่าการปฏิเสธสมมติฐานว่างจะใช้ได้เฉพาะในความเต็มใจที่จะยอมรับทางเลือกอื่น (ทางเลือกนี้ไม่จำเป็นต้องกำหนดอย่างแม่นยำในทุกประการ) ) ฉันจึงปฏิเสธสมมติฐานปกติเกี่ยวกับหลักการที่ฉันยอมรับว่าหนึ่งในสมมติฐานทางเลือกที่พิจารณาซึ่งเหตุการณ์ที่มีประสบการณ์จะบ่อยขึ้น ฉันพูดว่าการปฏิเสธสมมติฐานว่างจะใช้ได้เฉพาะในความเต็มใจที่จะยอมรับทางเลือกอื่น (ทางเลือกนี้ไม่จำเป็นต้องกำหนดอย่างแม่นยำในทุกประการ)

ตอนนี้แนวการให้เหตุผลที่ฉันอธิบายไว้เมื่อเทียบกับสิ่งที่ฉันอธิบายตามปกติยิ่งขึ้นจะอธิบายว่าทำไมการตัดสินใจของฉันแตกต่างจากงานประจำในกรณีที่สามและสี่

สำหรับกรณีที่สามหลังจากที่ฉันลองทดสอบไคสแควร์แล้วฉันก็มาถึงข้อสรุปว่าจากสมมติฐานที่ไม่มีความแตกต่างจากภาวะปกติการกระจายที่มีไคสแควร์ขนาดใหญ่จะไม่ค่อยเกิดขึ้น จนถึงตอนนี้เราอยู่ในตำแหน่งเดียวกับที่เราเคยมาถึงจุดนี้ในกรณีที่สอง แต่ตอนนี้ให้ฉันตรวจสอบความน่าจะเป็นที่ประสบการณ์นี้จะเกิดขึ้นหากวัสดุดั้งเดิมเป็นสิ่งที่ไม่ปกติ ประสบการณ์นี้จะเกิดขึ้นบ่อยขึ้นหรือไม่ ไม่มีเหตุผลที่จะพูดเช่นนั้น การแจกแจงสมมาตรอย่างสมบูรณ์แบบคือความเบ้เป็นศูนย์ (มีร้อยละ 50 ของคดีในแต่ละด้านของค่าเฉลี่ย) และการตรวจสอบคร่าวๆของความแตกต่างจากความถี่ที่คาดหวังในชั้นเรียนที่แตกต่างกันแสดงว่าพวกเขาไม่ใช่ อุณหภูมิคือ การเบี่ยงเบนบวกและการเบี่ยงเบนลบสลับกันตามลำดับแบบสุ่ม การแจกแจงแบบนี้ไม่ควรคาดหวังจากกราฟที่ไม่เป็นไปตามปกติ ดังนั้นเราจึงไม่มีเหตุผลที่จะปฏิเสธโค้งปกติ

มุมมองของฉันคือว่าไม่มีเหตุผลที่ถูกต้องสำหรับการปฏิเสธสมมติฐานว่างยกเว้นในความเต็มใจที่จะทำให้เป็นทางเลือกหนึ่ง

ความยากลำบากบางประการของการตีความที่พบในการประยุกต์ใช้การทดสอบ Chi-Square โจเซฟเบอร์สัน วารสารสมาคมสถิติอเมริกัน ฉบับ 33, ฉบับที่ 203 (ก.ย. , 1938), หน้า 526-536