จะตีความช่วงความเชื่อมั่นของความแตกต่างในค่าเฉลี่ยในการทดสอบ T-test หนึ่งตัวอย่างได้อย่างไร?

SPSS ให้เอาต์พุต "ช่วงความมั่นใจของความแตกต่าง" ฉันได้อ่านในบางแห่งว่ามันหมายถึง "95 ครั้งจาก 100 ตัวอย่างเฉลี่ยของเราจะแตกต่างกันระหว่างขอบเขตเหล่านี้" ฉันพบว่าไม่ชัดเจน ใครสามารถแนะนำถ้อยคำที่ชัดเจนขึ้นเพื่ออธิบาย "ช่วงความเชื่อมั่นของความแตกต่างในค่าเฉลี่ย" เอาต์พุตนี้ปรากฏขึ้นในบริบทของการทดสอบ t-test หนึ่งตัวอย่าง

นี่ไม่ใช่เรื่องง่ายแม้แต่สำหรับนักสถิติที่เคารพนับถือ ดูความพยายามล่าสุดโดยNate Silver :

... ถ้าฉันขอให้คุณบอกฉันว่าการเดินทางของคุณใช้เวลานานกว่าค่าเฉลี่ย 10 นาที - บางอย่างที่ต้องใช้ช่วงความมั่นใจ - คุณต้องคิดถึงเรื่องนั้นสักหน่อย ...

(จากบล็อกFiveThirtyEightใน New York Times, 9/29/10) นี่ไม่ใช่ช่วงความมั่นใจ ขึ้นอยู่กับว่าคุณตีความมันอย่างไรมันเป็นทั้งช่วงความอดทนหรือช่วงการทำนาย (มิฉะนั้นจะไม่มีอะไรเกี่ยวข้องกับการอภิปรายความเป็นไปได้อย่างยอดเยี่ยมในการประเมินความน่าจะเป็นของ Mr. Silver อ่านได้ดี) เว็บไซต์อื่น ๆ อีกหลายแห่ง

นิวยอร์กไทม์สได้พยายามที่จะอธิบายความหมายของผลลัพธ์ทางสถิติที่ผลิตและรายงาน การพิมพ์ที่ดีภายใต้การสำรวจหลายรายการมีดังนี้:

ในทางทฤษฎีใน 19 กรณีจาก 20 ผลลัพธ์ตามตัวอย่างของผู้ใหญ่ทุกคนจะแตกต่างกันไม่เกินสามคะแนนร้อยละในทิศทางใดทิศทางหนึ่งจากสิ่งที่จะได้รับโดยพยายามสัมภาษณ์ผู้ใหญ่ชาวอเมริกันทั้งหมด

( เช่น , วิธีโพลล์ได้ดำเนินการ , 2011/05/02.)

คำพูดเล็ก ๆ น้อย ๆ บางที แต่ชัดเจนและถูกต้อง: คำสั่งนี้เป็นลักษณะความแปรปรวนของการกระจายตัวตัวอย่างของผลการสำรวจความคิดเห็น นั่นใกล้เคียงกับแนวคิดเรื่องช่วงความมั่นใจ แต่มันก็ยังไม่ค่อยอยู่ หนึ่งอาจพิจารณาใช้ถ้อยคำดังกล่าวแทนช่วงความเชื่อมั่นในหลายกรณีอย่างไรก็ตาม

เมื่อมีความสับสนที่อาจเกิดขึ้นบนอินเทอร์เน็ตมันจะเป็นประโยชน์เมื่อต้องหันไปหาแหล่งข้อมูลที่เชื่อถือได้ หนึ่งในรายการโปรดของฉันคือ Freedman, Pisani, & Purves 'text time honoured, Statistics ตอนนี้ในรุ่นที่สี่ของมันถูกนำมาใช้ในมหาวิทยาลัยมานานกว่า 30 ปีและเป็นที่โดดเด่นสำหรับคำอธิบายที่ชัดเจนธรรมดาและมุ่งเน้นไปที่วิธีการ "บ่อย" คลาสสิก เรามาดูสิ่งที่กล่าวเกี่ยวกับการตีความช่วงความเชื่อมั่น:

ระดับความมั่นใจ 95% พูดถึงบางอย่างเกี่ยวกับขั้นตอนการสุ่มตัวอย่าง ...

[ที่หน้า 384; ใบเสนอราคาทั้งหมดมาจากรุ่นที่สาม (1998)] มันยังคง

หากตัวอย่างออกมาต่างกันช่วงความเชื่อมั่นจะแตกต่างกัน ... ประมาณ 95% ของตัวอย่างทั้งหมดช่วงเวลา ... ครอบคลุมถึงเปอร์เซ็นต์ของประชากรและอีก 5% นั้นไม่ได้

[p 384] ข้อความกล่าวถึงช่วงเวลาของความมั่นใจมากขึ้น แต่นี่ก็เพียงพอที่จะช่วย: แนวทางของมันคือการย้ายจุดเน้นของการสนทนาไปยังกลุ่มตัวอย่างทันทีพร้อมนำความแม่นยำและความชัดเจนมาสู่ข้อความ ดังนั้นเราอาจลองทำสิ่งเดียวกันในการรายงานของเราเอง ตัวอย่างเช่นลองใช้วิธีนี้เพื่ออธิบายช่วงความมั่นใจ [34%, 40%] รอบความแตกต่างเปอร์เซ็นต์ที่รายงานในการทดลองสมมุติ:

"การทดลองนี้ใช้กลุ่มตัวอย่างที่เลือกแบบสุ่มและการเลือกการควบคุมแบบสุ่มเรารายงานช่วงความเชื่อมั่นจาก 34% ถึง 40% สำหรับความแตกต่างซึ่งจะทำการตรวจสอบความน่าเชื่อถือของการทดลอง: หากการเลือกวิชาและการควบคุมแตกต่างกัน ช่วงความเชื่อมั่นนี้จะเปลี่ยนไปเพื่อสะท้อนผลลัพธ์ของตัวแบบและตัวควบคุมที่เลือกใน 95% ของกรณีดังกล่าวช่วงความเชื่อมั่นจะรวมถึงความแตกต่างที่แท้จริง (ระหว่างทุกวิชาและตัวควบคุมทั้งหมด ) และอีก 5% ของกรณีนั้น ดังนั้นจึงเป็นไปได้ - แต่ไม่แน่ใจ - ว่าช่วงความเชื่อมั่นนี้รวมถึงความแตกต่างที่แท้จริง: นั่นคือเราเชื่อว่าความแตกต่างที่แท้จริงอยู่ระหว่าง 34% ถึง 40% "

(นี่คือเนื้อหาของฉันซึ่งสามารถปรับปรุงได้อย่างแน่นอน: ฉันเชิญผู้แก้ไขให้ทำงาน)

คำแถลงแบบยาว ๆ แบบนี้ค่อนข้างไม่แน่นอน ในรายงานจริงบริบทส่วนใหญ่ - การสุ่มตัวอย่างแบบสุ่มเรื่องและการควบคุมความเป็นไปได้ของความแปรปรวน - จะได้รับการสร้างขึ้นแล้วทำให้ครึ่งหนึ่งของคำสั่งก่อนหน้านี้ไม่จำเป็น เมื่อรายงานพบว่ามีการสุ่มตัวอย่างความแปรปรวนและแสดงแบบจำลองความน่าจะเป็นสำหรับผลลัพธ์ตัวอย่างมักจะไม่ยากที่จะอธิบายช่วงความเชื่อมั่น (หรือช่วงการสุ่มอื่น ๆ ) อย่างชัดเจนและจริงจังตามที่ผู้ชมต้องการ

จากมุมมองทางด้านเทคนิคของคนอวดดีฉันไม่คิดว่าจะมี "ถ้อยคำที่ชัดเจน" ในการตีความช่วงความเชื่อมั่น

ฉันจะตีความช่วงความมั่นใจเมื่อ: มีความน่าจะเป็น 95% ที่ช่วงความมั่นใจ 95% ครอบคลุมความแตกต่างเฉลี่ยที่แท้จริง

การตีความของสิ่งนี้คือถ้าเราต้องทำซ้ำการทดลองทั้งหมดครั้งภายใต้เงื่อนไขเดียวกันเราจะมีช่วงความมั่นใจที่แตกต่างกันครั้ง ระดับความเชื่อมั่นคือสัดส่วนของช่วงเวลาเหล่านี้ซึ่งมีความแตกต่างของค่าเฉลี่ยที่แท้จริง$N$$N$

การเล่นโวหารส่วนบุคคลของฉันเองด้วยตรรกะของการให้เหตุผลเช่นนี้คือคำอธิบายของช่วงความมั่นใจนี้ทำให้เราต้องเพิกเฉยตัวอย่างอื่น ๆเมื่อคำนวณช่วงความมั่นใจของเรา ตัวอย่างเช่นหากคุณมีขนาดตัวอย่าง 100 คุณจะไปและคำนวณช่วงความเชื่อมั่น 95% "ตัวอย่าง 1" 95% หรือไม่$N-1$

แต่โปรดทราบว่านี่คือทั้งหมดที่อยู่ในปรัชญา ช่วงความเชื่อมั่นเป็นสิ่งที่คลุมเครือที่สุดในคำอธิบายที่ฉันคิด พวกเขาให้ผลลัพธ์ที่ดีเมื่อใช้อย่างถูกต้อง

คำตอบคร่าวๆสำหรับคำถามคือช่วงความมั่นใจ 95% ช่วยให้คุณมั่นใจ 95% ว่าค่าพารามิเตอร์จริงตั้งอยู่ภายในช่วงเวลา อย่างไรก็ตามคำตอบที่คร่าวๆนั้นไม่สมบูรณ์และไม่ถูกต้อง

ความไม่สมบูรณ์อยู่ในความจริงที่ว่ายังไม่ชัดเจนว่า "95% มั่นใจ" หมายถึงสิ่งใดก็ตามที่เป็นรูปธรรมหรือถ้าเป็นเช่นนั้นความหมายที่เป็นรูปธรรมจะไม่ได้รับการยอมรับในระดับสากลโดยแม้แต่ตัวอย่างเล็ก ๆ ของนักสถิติ ความหมายของความมั่นใจขึ้นอยู่กับวิธีการที่ใช้ในการรับช่วงเวลาและรูปแบบการอนุมานที่ใช้ (ซึ่งฉันหวังว่าจะชัดเจนขึ้นด้านล่าง)

ความไม่ถูกต้องอยู่ที่ความจริงที่ว่าช่วงความเชื่อมั่นจำนวนมากไม่ได้ออกแบบมาเพื่อบอกอะไรคุณเกี่ยวกับที่ตั้งของค่าพารามิเตอร์ที่แท้จริงสำหรับกรณีทดลองเฉพาะที่ให้ช่วงความมั่นใจ! ที่จะน่าแปลกใจสำหรับหลาย ๆ คน แต่มันดังต่อไปนี้โดยตรงจากปรัชญา Neyman-Pearson ที่ระบุไว้อย่างชัดเจนในคำพูดนี้จากกระดาษของพวกเขา 1933 "ในปัญหาของการทดสอบที่มีประสิทธิภาพมากที่สุดของสมมติฐานสถิติ":

เรามีความโน้มเอียงที่จะคิดว่าเท่าที่มีการตั้งสมมติฐานโดยเฉพาะการทดสอบตามทฤษฎีความน่าจะเป็นนั้นไม่สามารถให้หลักฐานที่มีค่าใด ๆ เกี่ยวกับความจริงหรือความเท็จของสมมติฐานนั้น

แต่เราอาจดูวัตถุประสงค์ของการทดสอบจากมุมมองอื่น โดยปราศจากความหวังที่จะรู้ว่าสมมติฐานที่แยกกันแต่ละข้อเป็นจริงหรือเท็จเราอาจค้นหากฎเพื่อควบคุมพฤติกรรมของเราเกี่ยวกับพวกเขาในการติดตามซึ่งเรามั่นใจว่าในประสบการณ์ระยะยาวเราจะไม่ผิดเกินไป

ช่วงเวลาที่เป็นไปตาม 'การผกผัน' ของการทดสอบสมมติฐาน NP จึงจะสืบทอดมาจากการทดสอบนั้นธรรมชาติของการมีคุณสมบัติข้อผิดพลาดที่รู้จักกันในระยะยาวโดยไม่อนุญาตให้อนุมานเกี่ยวกับคุณสมบัติของการทดสอบที่ให้ผล! ความเข้าใจของฉันคือสิ่งนี้ช่วยป้องกันการอนุมานแบบอุปนัยซึ่งเห็นได้ชัดว่าเนย์แมนถือว่าเป็นสิ่งที่น่ารังเกียจ

Neyman ได้วางคำเรียกร้องอย่างชัดเจนในคำว่า 'ช่วงความมั่นใจ' และที่มาของทฤษฎีความเชื่อมั่นในกระดาษ Biometrika ของเขาในปีพ. ศ. 2484“ การโต้แย้งความไว้วางใจและทฤษฎีของช่วงความเชื่อมั่น” ในแง่หนึ่งสิ่งใดก็ตามที่เป็นช่วงความเชื่อมั่นอย่างถูกต้องเล่นตามกฎของเขาและดังนั้นความหมายของแต่ละช่วงเวลาสามารถแสดงได้ในรูปของอัตราระยะยาวที่ช่วงเวลาที่คำนวณโดยวิธีนั้นมี (ครอบคลุม) จริงที่เกี่ยวข้อง ค่าพารามิเตอร์

ตอนนี้เราต้องแยกการอภิปราย หนึ่งสายตามความคิดของ 'ความครอบคลุม' และอีกกลุ่มหนึ่งติดตามช่วงเวลาที่ไม่ใช่ Neymanian ที่เป็นเหมือนช่วงความมั่นใจ ฉันจะเลื่อนอดีตเพื่อให้ฉันสามารถโพสต์นี้ให้เสร็จสมบูรณ์ก่อนที่จะยาวเกินไป

มีวิธีการที่แตกต่างกันมากมายที่ให้ช่วงเวลาที่เรียกว่าช่วงความเชื่อมั่นที่ไม่ใช่ Neymanian ครั้งแรกของเหล่านี้คือช่วงเวลา fiducial ของชาวประมง (คำว่า 'fiducial' อาจทำให้ผู้คนจำนวนมากและหลุดพ้นจากคนอื่น แต่ฉันจะทิ้งมันไว้ ... ) สำหรับข้อมูลบางประเภท (เช่นปกติกับความแปรปรวนของประชากรที่ไม่รู้จัก) ช่วงเวลาที่คำนวณโดยวิธีฟิชเชอร์จะเหมือนกับตัวเลข ช่วงเวลาที่จะคำนวณโดยวิธีของ Neyman อย่างไรก็ตามพวกเขาเชิญตีความที่ตรงกันข้ามกับ diametrically ช่วงเวลา Neymanian สะท้อนให้เห็นถึงคุณสมบัติการครอบคลุมระยะยาวของวิธีการเท่านั้นในขณะที่ช่วงเวลาของ Fisher มีวัตถุประสงค์เพื่อสนับสนุนการอนุมานแบบอุปนัยที่เกี่ยวข้องกับค่าพารามิเตอร์ที่แท้จริงสำหรับการทดลองเฉพาะที่ดำเนินการ

ความจริงที่ว่าขอบเขตของช่วงเวลาหนึ่งชุดอาจมาจากวิธีการที่ขึ้นอยู่กับกระบวนทัศน์ที่แตกต่างกันของปรัชญาสองอันนำไปสู่สถานการณ์ที่สับสนจริงๆ - ผลลัพธ์สามารถตีความได้ในสองวิธีที่ขัดแย้งกัน จากการโต้แย้ง fiducial มีโอกาส 95% ที่ช่วงเวลา fiducial 95% เฉพาะจะมีค่าพารามิเตอร์ที่แท้จริง จากวิธีการของ Neyman เรารู้เพียงว่า 95% ของช่วงเวลาที่คำนวณในลักษณะนั้นจะมีค่าพารามิเตอร์จริงและต้องบอกสิ่งที่สับสนเกี่ยวกับความน่าจะเป็นของช่วงเวลาที่มีค่าพารามิเตอร์จริงที่ไม่รู้จัก แต่อย่างใดอย่างหนึ่งหรือ 0

ในระดับใหญ่วิธีการของ Neyman ได้ส่งผลกระทบต่อฟิชเชอร์ ที่โชคร้ายที่สุดในความคิดของฉันเพราะมันไม่ได้นำไปสู่การตีความตามธรรมชาติของช่วงเวลา (อ่านข้อความอ้างอิงข้างต้นจาก Neyman และ Pearson และดูว่าตรงกับการตีความตามธรรมชาติของผลการทดลองหรือไม่น่าจะเป็นไปได้)

หากช่วงเวลาสามารถตีความได้อย่างถูกต้องในแง่ของอัตราความผิดพลาดทั่วโลก แต่ยังถูกต้องในเงื่อนไขการอนุมานในพื้นที่ฉันไม่เห็นเหตุผลที่ดีที่ผู้ใช้ช่วงเวลาแถบจากการตีความที่เป็นธรรมชาติมากขึ้นโดยหลัง ดังนั้นข้อเสนอแนะของฉันคือการตีความที่เหมาะสมของช่วงความเชื่อมั่นทั้งสองต่อไปนี้:

• Neymanian: ช่วง 95% นี้ถูกสร้างขึ้นโดยวิธีการที่ให้ช่วงเวลาที่ครอบคลุมค่าพารามิเตอร์ที่แท้จริงใน 95% ของโอกาสในระยะยาว (... จากประสบการณ์เชิงสถิติของเรา)

• ฟิชเชอร์: ช่วง 95% นี้มีโอกาส 95% ที่จะครอบคลุมค่าพารามิเตอร์จริง

(วิธีการแบบเบย์และความน่าจะเป็นยังให้ผลเป็นระยะด้วยคุณสมบัติที่ต้องการบ่อยครั้งเช่นช่วงนั้นเชิญการตีความที่แตกต่างกันเล็กน้อยซึ่งทั้งสองอาจจะรู้สึกเป็นธรรมชาติมากกว่า Neymanian)

ความหมายของช่วงความมั่นใจคือ: หากคุณต้องทำการทดสอบซ้ำในลักษณะเดียวกัน (เช่น: จำนวนการสังเกตที่เหมือนกันการวาดจากประชากรเดียวกัน ฯลฯ ) และหากสมมติฐานของคุณถูกต้องและคุณจะคำนวณ ช่วงเวลานั้นอีกครั้งในการทำซ้ำแต่ละครั้งดังนั้นช่วงความมั่นใจนี้จะมีความชุกที่แท้จริงใน 95% ของการทำซ้ำ (โดยเฉลี่ย)

ดังนั้นคุณอาจพูดได้ว่าคุณมั่นใจ 95% (หากสมมติฐานของคุณถูกต้อง ฯลฯ ) ซึ่งคุณได้สร้างช่วงเวลาที่มีความชุกที่แท้จริง

โดยทั่วไปแล้วจะกล่าวว่า: ด้วยความมั่นใจ 95% ระหว่าง 4.5 และ 8.3% ของเด็กของแม่ที่สูบบุหรี่ตลอดการตั้งครรภ์จะอ้วน

โปรดทราบว่าโดยทั่วไปแล้วสิ่งนี้ไม่น่าสนใจ: คุณอาจต้องการเปรียบเทียบสิ่งนี้กับความชุกในเด็กของมารดาที่ไม่สูบบุหรี่ (อัตราต่อรองความเสี่ยงสัมพัทธ์ ฯลฯ )

หากความแตกต่างเฉลี่ยที่แท้จริงอยู่นอกช่วงเวลานี้มีโอกาสเพียง 5% เท่านั้นที่ความแตกต่างเฉลี่ยจากการทดสอบของเราจะห่างไกลจากความแตกต่างเฉลี่ยที่แท้จริง

การตีความของฉัน: หากคุณทำการทดลอง N ครั้ง (โดยที่ N มีแนวโน้มที่จะไม่มีที่สิ้นสุด) จากการทดลองจำนวนมากเหล่านี้ 95% ของการทดลองจะมีช่วงความมั่นใจซึ่งอยู่ภายในขีด จำกัด 95% เหล่านี้ ชัดเจนยิ่งขึ้นสมมติว่าขีด จำกัด เหล่านั้นคือ "a" และ "b" จากนั้น 95 จาก 100 เท่าค่าเฉลี่ยตัวอย่างของคุณจะอยู่ระหว่าง "a" และ "b" ฉันคิดว่าคุณเข้าใจว่าการทดสอบที่แตกต่างกันอาจมีตัวอย่างที่แตกต่างกัน จากประชากรทั้งหมด

"95 ครั้งจาก 100 ค่าของคุณจะตกอยู่ภายในค่าเบี่ยงเบนมาตรฐานเดียวของค่าเฉลี่ย"