ที่มา:
ฉันต้องทำการวิเคราะห์ข้อมูลสำหรับลูกค้า (ทนายความบางประเภท) ซึ่งเป็นผู้เริ่มต้นแน่นอนในสถิติ เขาถามฉันว่าคำว่า "นัยสำคัญทางสถิติ" หมายถึงอะไรและฉันพยายามอธิบายจริงๆ ... แต่เนื่องจากฉันไม่เก่งในการอธิบายสิ่งที่ฉันล้มเหลว;)
ที่มา:
ฉันต้องทำการวิเคราะห์ข้อมูลสำหรับลูกค้า (ทนายความบางประเภท) ซึ่งเป็นผู้เริ่มต้นแน่นอนในสถิติ เขาถามฉันว่าคำว่า "นัยสำคัญทางสถิติ" หมายถึงอะไรและฉันพยายามอธิบายจริงๆ ... แต่เนื่องจากฉันไม่เก่งในการอธิบายสิ่งที่ฉันล้มเหลว;)
คำตอบ:
ความแตกต่างเกิดขึ้นจากโอกาส
เมื่อเราเชื่อว่าบางสิ่งมีความสำคัญทางสถิติเราเชื่อว่าความแตกต่างนั้นใหญ่กว่าสามารถอธิบายได้อย่างสมเหตุสมผลว่าเป็นโอกาสที่เกิดขึ้น
หมายเหตุ: สิ่งที่ฉันต้องการเน้นในคำตอบนี้คือความสำคัญทางสถิติเป็นเครื่องมือที่มีประโยชน์ แต่ก็แตกต่างจากความจริง
รับไพ่ 52 ใบ หากลูกค้าของฉันไร้เดียงสามันเป็นไพ่ธรรมดา 13 ดวง หากลูกค้าของฉันกำลังโกหกมันเป็นแพ็คคงที่และไพ่ 52 ใบทั้งหมดเป็นหัวใจ
ฉันวาดไพ่ใบแรกและมันก็เป็นหัวใจ อ้ามีความผิด! เห็นได้ชัดว่าสามัญสำนึกบอกเราว่าไม่ใช่กรณี: มีโอกาสหนึ่งในสี่ที่จะเกิดขึ้นแม้ว่าเขาจะไร้เดียงสาก็ตาม เราไม่ได้มีนัยสำคัญทางสถิติเพียงแค่ดูจากการ์ดใบเดียว
เราวาดไพ่ใบที่สอง หัวใจอีกดวง หืมมมมมมมมมมมมมมมมม) หืม ... ยังมีหัวใจ 12 ดวงในไพ่ 51 ใบที่เหลืออยู่ดังนั้นจึงเป็นไปไม่ได้ คณิตศาสตร์ (13/52 * 12/51 = 0.0588) บอกเราว่าสิ่งนี้เกิดขึ้นประมาณ 6% ของเวลาแม้ว่าจะไร้เดียงสาก็ตาม สำหรับนักวิทยาศาสตร์ส่วนใหญ่เรื่องนี้คงไม่นับ
จั่วไพ่ใบที่สามหัวใจอีกอัน! สามในแถว โอกาสที่จะเกิดเหตุการณ์เช่นนี้คือ (13/52 * 12/51 * 11/50 = 0.01294) ดังนั้นเพียง 1% ของเวลาที่เกิดขึ้นโดยบังเอิญ
ในทางวิทยาศาสตร์จำนวนมาก 5% ใช้เป็นจุดตัด ดังนั้นหากคุณไม่มีหลักฐานอื่นนอกเหนือจากไพ่สามใบนั้นคุณจะได้ผลลัพธ์ที่มีนัยสำคัญทางสถิติว่าเขามีความผิด
จุดสำคัญคือยิ่งคุณได้รับอนุญาตให้ดูความมั่นใจของคุณในความผิดของเขามากขึ้นซึ่งเป็นอีกวิธีหนึ่งในการบอกว่ายิ่งมีนัยสำคัญทางสถิติมากขึ้นเท่าใด
หมายเหตุ: คุณไม่เคยมีหลักฐานความผิดของเขาเว้นแต่คุณจะได้รับอนุญาตให้ดูการ์ด 14 ใบ ด้วยแพ็คการ์ดตามปกติมันเป็นไปได้ในทางทฤษฎีที่จะดึงหัวใจ 13 ดวงติดต่อกัน แต่เป็นไปไม่ได้ที่ 14 [ช่วยเหลือคนเดินเท้า: สมมติว่าตัวเลขบนการ์ดไม่สามารถมองเห็นได้ บัตรทั้งหมดเป็นหนึ่งในสี่ชุดที่เป็นไปได้และนั่นคือมัน]
หมายเหตุ: คุณมีหลักฐานการไร้เดียงสาของเขาในขณะที่คุณจั่วไพ่ใด ๆ นอกจากหัวใจ นี่เป็นเพราะมีเพียงสองชุดที่เป็นไปได้: ปกติหรือหัวใจทั้งหมด ชีวิตจริงมีความซับซ้อนมากขึ้นและคณิตศาสตร์ก็ซับซ้อนขึ้นเช่นกัน
ถ้าลูกค้าของคุณไม่ใช่ผู้เล่นการ์ดให้ลองใช้เกม Monopoly: ทุกคนใช้เวลาสองหกครั้ง แต่ถ้ามีคนกลิ้งสอง - หกทุกครั้งที่คุณสงสัย สถิติอนุญาตให้เราใส่จำนวนที่แน่นอนว่าเราควรเป็นอย่างไร
คำแนะนำของฉันคือไม่พูดเกี่ยวกับสิ่งต่อไปนี้:
อย่ากังวลกับตัวเองมากเกินไปเกี่ยวกับทนาย นี่คือคนที่มีการศึกษาซึ่งใช้เวลาอย่างน้อยหนึ่งภาคการศึกษาในชั้นเรียนสถิติของมหาวิทยาลัยและไม่ได้ติดอยู่กับเขาเลย มันเป็นเรื่องเดียวกันสำหรับแทบทุกที่ไม่ใช่นักวิทยาศาสตร์อื่น ๆ ที่ผมเคยทำงานกับ - นัยสำคัญทางสถิติไม่ติด มันเป็นแนวคิดที่ผิดธรรมชาติเกินไป
ผมแนะนำให้คุณที่จะอธิบายนัยสำคัญทางสถิติในแง่ของหลักฐาน นักสถิติคลาสสิกมีการเข้ารหัสหลักฐานในระดับ 0 ถึง 1 โดยที่ค่าที่น้อยกว่าถือเป็นหลักฐานที่มากขึ้นและ 0.05 คือที่ที่วาดเส้นตามอัตภาพ
"นัยสำคัญทางสถิติ" หมายความว่าบางสิ่งอาจเกิดขึ้นแบบสุ่ม แต่ไม่น่าเป็นไปได้ แต่มีแนวโน้มมากกว่าที่จะมีสาเหตุบางอย่าง คุณควรทำให้เป็นรูปธรรมมากขึ้นด้วยตัวอย่างที่เกี่ยวข้องกับลูกค้าของคุณเนื่องจากคำอธิบายนั้นเป็นนามธรรม
ตัวอย่างเช่นหากทนายแอนชนะคดีโดยเฉลี่ยมากกว่าบิลจำนวนมากสิ่งนี้อาจเกิดขึ้นแบบสุ่ม อย่างไรก็ตามหากแอนชนะคดีที่มีนัยสำคัญทางสถิติมีแนวโน้มว่ามีบางอย่างที่สามารถช่วยอธิบายได้ว่าทำไมแอนชนะคดีมากกว่าบิล เราไม่ทราบสาเหตุ บางทีแอนอาจเป็นทนายความที่ดีกว่าหรือเลือกที่จะเลือกกรณีที่ยากกว่า
ทำให้มันง่ายและรัดกุม!
ค่า p ถูกกำหนดให้เป็นความน่าจะเป็นที่จะได้รับผลลัพธ์อย่างมากหรือมากเกินกว่าที่เราสังเกตเห็นว่ามีค่าเป็นจริง หากค่า p มีขนาดเล็กพอค่า null จะไม่เป็นจริง เราเลือก cut-off โดยพลการสำหรับสิ่งที่เราพิจารณาว่าเป็น "เล็กพอ" (อัลฟา) และสำหรับค่า p ทั้งหมดที่อยู่ต่ำกว่าอัลฟาเราปฏิเสธโมฆะ
นั่นคือวิธีที่ฉันอธิบายให้กับชั้นเรียนอินโทรของฉัน
ฉันจะพยายาม.
ก่อนอื่นให้คุณคำนวณค่า p โดยพิจารณาจากข้อมูลเฉลี่ยและตัวแปรคือข้อมูล ยิ่งตัวแปรมีโอกาสน้อยที่จะได้ค่า p น้อย ในอีกทางหนึ่งตัวอย่างเช่นหากคุณกำลังเปรียบเทียบสองกลุ่มความแตกต่างระหว่างค่าเฉลี่ยของพวกเขายิ่งมากขึ้นค่า p ที่น้อยลง
นอกจากนี้ความแปรปรวนของข้อมูลสามารถยกเลิกได้บ้างโดยมีข้อมูลมากขึ้น การถ่ายภาพชุดข้อมูลสองชุดที่มีความแตกต่างกันระหว่างค่าเฉลี่ยสองค่าและจำนวนความแปรปรวนเท่ากัน ในกรณีนี้ชุดที่มีขนาดตัวอย่างใหญ่กว่าจะมีค่า p น้อยกว่า
ส่วนการทดสอบจะเห็นว่าค่า p ต่ำกว่าจำนวนใด ๆ หรือไม่ โดยปกติแล้วคนใช้. 05 แต่นี่เป็นประเพณีทางสังคมโดยพลการ ผู้คนจำนวนมากคิดว่ามันไม่สมเหตุสมผลเลยที่จะใช้หมายเลขที่กำหนดเอง แต่มันก็เป็นเรื่องธรรมดามากสำหรับเหตุผลทางประวัติศาสตร์
โปรดจำไว้ว่าเพียงเพราะการทดสอบความสำคัญของคุณบอกว่ามีความแตกต่างระหว่างสองกลุ่มไม่ได้หมายความว่าคุณรู้ว่าทำไมถึงมีความแตกต่างนั้น ในทางกลับกันหากการทดสอบบอกว่าไม่มีความแตกต่างอย่างมีนัยสำคัญอาจเป็นเพราะความแปรปรวนของคุณใหญ่เกินไปและคุณไม่มีข้อมูลเพียงพอที่จะได้รับค่า p ต่ำนั่นไม่ได้หมายความว่าไม่มีความแตกต่างที่แท้จริง
แก้ไข:
ในการสรุปค่า p ที่ต่ำกว่าหมายถึงหลักฐานที่มากกว่าการทำนาย:
ความแตกต่างจากผลลัพธ์ที่คาดการณ์ -> ลง p-value
ข้อมูลเพิ่มเติม -> ค่า p ลง
ความแปรปรวนเพิ่มเติม -> ค่า p มากขึ้น
ค่า p ลงหมายถึงหลักฐานเพิ่มเติมที่บอกว่าการทำนายเป็นเท็จ การคาดคะเนในประวัติศาสตร์ทุกครั้งแสดงให้เห็นว่าเป็นเท็จกับบางตำแหน่งทศนิยม
นัยสำคัญทางสถิติเป็นแนวคิดที่ใช้เพื่อให้เหตุผลสำหรับการยอมรับหรือปฏิเสธสมมติฐานที่กำหนด เมื่อได้รับชุดข้อมูลนักวิเคราะห์สามารถคำนวณสถิติและกำหนดขนาดของความสัมพันธ์ต่าง ๆ ระหว่างตัวแปรที่แตกต่างกัน
งานของสถิติคือการตรวจสอบว่าข้อมูลมีหลักฐานเพียงพอที่จะช่วยให้คุณสามารถสรุปได้ว่าสถิติที่คำนวณหรือความสัมพันธ์ระหว่างตัวแปรสามารถตีความได้ว่าเป็นงบจริงหรือถ้าผลลัพธ์ที่พบในข้อมูลตัวอย่างของคุณเป็นเพราะโอกาส สิ่งนี้ทำได้โดยการกำหนดสถิติตัวอย่างที่จะแสดงลักษณะบางอย่างถ้าสมมติฐานว่างเป็นจริง แต่ไม่ใช่ถ้าสมมติฐานว่างเป็นเท็จ ยิ่งสถิติตัวอย่างที่เกี่ยวข้องปรากฏขึ้นแสดงให้เห็นถึงลักษณะที่คาดหวังภายใต้สมมติฐานว่างมากเท่าไรหลักฐานทางสถิติที่พิสูจน์ว่าสมมติฐานว่างนั้นมีความถูกต้องมากขึ้น ในทำนองเดียวกันสถิติตัวอย่างที่น้อยกว่านั้นก็แสดงให้เห็นถึงลักษณะที่คาดหวังภายใต้สมมติฐานว่าง, ยิ่งอ่อนแอหลักฐานทางสถิติว่าสมมติฐานว่างนั้นถูกต้อง
จำนวนที่สถิติตัวอย่างแสดงให้เห็นถึงลักษณะที่คาดหวังภายใต้ค่า null นั้นเป็นเรื่องของระดับ แต่เพื่อที่จะสรุปได้ว่าสมมติฐานว่างนั้นเป็นที่ยอมรับหรือปฏิเสธนั้นจะต้องมีการตัดออกโดยพลการ ดังนั้นค่า cutoff จะถูกเลือก หากสถิติตัวอย่างอยู่ภายในหรือด้านหนึ่งของค่าการตัดออกจะมีการกล่าวเพื่อให้สอดคล้องกับลักษณะที่คาดหวังภายใต้สมมติฐานว่างดังนั้นผลลัพธ์ที่ได้รับการพิจารณาอย่างมีนัยสำคัญทางสถิติสำหรับค่าการตัดที่กำหนด (เช่นที่ 5% alpha ระดับ) หากสถิติตัวอย่างที่เกี่ยวข้องตรงกับอีกด้านหนึ่งของค่าการตัดออกจะมีการกล่าวว่าไม่สอดคล้องกับลักษณะที่คาดหวังภายใต้สมมติฐานว่างดังนั้นผลลัพธ์จะไม่ถือว่ามีนัยสำคัญทางสถิติสำหรับค่าการตัดที่กำหนด