คุณจะอธิบายความสำคัญทางสถิติต่อผู้ที่ไม่มีพื้นฐานทางสถิติได้อย่างไร


11

ที่มา:
ฉันต้องทำการวิเคราะห์ข้อมูลสำหรับลูกค้า (ทนายความบางประเภท) ซึ่งเป็นผู้เริ่มต้นแน่นอนในสถิติ เขาถามฉันว่าคำว่า "นัยสำคัญทางสถิติ" หมายถึงอะไรและฉันพยายามอธิบายจริงๆ ... แต่เนื่องจากฉันไม่เก่งในการอธิบายสิ่งที่ฉันล้มเหลว;)

คำตอบ:


15

ความแตกต่างเกิดขึ้นจากโอกาส

เมื่อเราเชื่อว่าบางสิ่งมีความสำคัญทางสถิติเราเชื่อว่าความแตกต่างนั้นใหญ่กว่าสามารถอธิบายได้อย่างสมเหตุสมผลว่าเป็นโอกาสที่เกิดขึ้น


ฉันชอบการใช้โอกาส แต่คิดว่ามันทำให้เข้าใจผิดอย่างมากในแง่ของการทดสอบความสำคัญที่ใช้กันทั่วไป ตัวอย่างเช่นขนาดตัวอย่างขนาดใหญ่หมายความว่าคุณจะได้รับความสำคัญเกือบทุกครั้งเนื่องจากความแตกต่างพื้นฐาน "โอกาส" เป็นที่ยอมรับกันอย่างกว้างขวางว่าผลลัพธ์เหล่านั้นสามารถเรียกว่า "นัยสำคัญทางสถิติ" แม้จะถูกอธิบายอย่างสมเหตุสมผลโดยบังเอิญ
กระติกน้ำ

@Flask: ความแตกต่างพื้นฐานเหล่านี้มีเหตุผลเพราะโอกาส?
Scortchi - Reinstate Monica

@Scortchi หากมีการสุ่มการสุ่มตัวอย่างอาจเป็นเพราะความแตกต่าง ดูที่นี่ แม้ว่าจะได้รับการดำเนินการสิ่งที่อาจแนะนำอคติในภายหลัง ดูที่นี่ หากการสุ่มยังไม่ได้ดำเนินการอาจเกิดจากโอกาสหรือความลำเอียงของผู้ตรวจสอบหรือสาเหตุหลายประการ
ขวด

1
คำตอบที่มีประโยชน์ยกเว้นว่าจะใช้กับการทดสอบความแตกต่างเท่านั้น
rolando2

2
+1 นี่คือคำตอบที่ยอดเยี่ยมเพราะมันหลีกเลี่ยงอาร์คานาของค่า p, ความน่าจะเป็น, การแจกแจง, สมมติฐานว่าง ฯลฯ และได้รับสิทธิในจุดที่สามารถใช้ได้กับสิ่งที่นักกฎหมายส่วนใหญ่จะเกี่ยวข้องกับ ว่ามันอาจจะไม่ครอบคลุมอยู่ข้างจุด: รายละเอียดและรูปแบบที่สามารถจัดการได้ในภายหลัง หากกดเพื่อปรับปรุงสิ่งนี้การเปลี่ยนแปลงหลักที่ฉันจะทำคือการเน้นว่าความเชื่อเกี่ยวกับนัยสำคัญทางสถิตินั้นขึ้นอยู่กับข้อมูล : ซึ่งจะแยกความแตกต่างของคำอธิบายนี้จากการพูดความเชื่อทางเทววิทยา
whuber

3

หมายเหตุ: สิ่งที่ฉันต้องการเน้นในคำตอบนี้คือความสำคัญทางสถิติเป็นเครื่องมือที่มีประโยชน์ แต่ก็แตกต่างจากความจริง

รับไพ่ 52 ใบ หากลูกค้าของฉันไร้เดียงสามันเป็นไพ่ธรรมดา 13 ดวง หากลูกค้าของฉันกำลังโกหกมันเป็นแพ็คคงที่และไพ่ 52 ใบทั้งหมดเป็นหัวใจ

ฉันวาดไพ่ใบแรกและมันก็เป็นหัวใจ อ้ามีความผิด! เห็นได้ชัดว่าสามัญสำนึกบอกเราว่าไม่ใช่กรณี: มีโอกาสหนึ่งในสี่ที่จะเกิดขึ้นแม้ว่าเขาจะไร้เดียงสาก็ตาม เราไม่ได้มีนัยสำคัญทางสถิติเพียงแค่ดูจากการ์ดใบเดียว

เราวาดไพ่ใบที่สอง หัวใจอีกดวง หืมมมมมมมมมมมมมมมมม) หืม ... ยังมีหัวใจ 12 ดวงในไพ่ 51 ใบที่เหลืออยู่ดังนั้นจึงเป็นไปไม่ได้ คณิตศาสตร์ (13/52 * 12/51 = 0.0588) บอกเราว่าสิ่งนี้เกิดขึ้นประมาณ 6% ของเวลาแม้ว่าจะไร้เดียงสาก็ตาม สำหรับนักวิทยาศาสตร์ส่วนใหญ่เรื่องนี้คงไม่นับ

จั่วไพ่ใบที่สามหัวใจอีกอัน! สามในแถว โอกาสที่จะเกิดเหตุการณ์เช่นนี้คือ (13/52 * 12/51 * 11/50 = 0.01294) ดังนั้นเพียง 1% ของเวลาที่เกิดขึ้นโดยบังเอิญ

ในทางวิทยาศาสตร์จำนวนมาก 5% ใช้เป็นจุดตัด ดังนั้นหากคุณไม่มีหลักฐานอื่นนอกเหนือจากไพ่สามใบนั้นคุณจะได้ผลลัพธ์ที่มีนัยสำคัญทางสถิติว่าเขามีความผิด

จุดสำคัญคือยิ่งคุณได้รับอนุญาตให้ดูความมั่นใจของคุณในความผิดของเขามากขึ้นซึ่งเป็นอีกวิธีหนึ่งในการบอกว่ายิ่งมีนัยสำคัญทางสถิติมากขึ้นเท่าใด

หมายเหตุ: คุณไม่เคยมีหลักฐานความผิดของเขาเว้นแต่คุณจะได้รับอนุญาตให้ดูการ์ด 14 ใบ ด้วยแพ็คการ์ดตามปกติมันเป็นไปได้ในทางทฤษฎีที่จะดึงหัวใจ 13 ดวงติดต่อกัน แต่เป็นไปไม่ได้ที่ 14 [ช่วยเหลือคนเดินเท้า: สมมติว่าตัวเลขบนการ์ดไม่สามารถมองเห็นได้ บัตรทั้งหมดเป็นหนึ่งในสี่ชุดที่เป็นไปได้และนั่นคือมัน]

หมายเหตุ: คุณมีหลักฐานการไร้เดียงสาของเขาในขณะที่คุณจั่วไพ่ใด ๆ นอกจากหัวใจ นี่เป็นเพราะมีเพียงสองชุดที่เป็นไปได้: ปกติหรือหัวใจทั้งหมด ชีวิตจริงมีความซับซ้อนมากขึ้นและคณิตศาสตร์ก็ซับซ้อนขึ้นเช่นกัน

ถ้าลูกค้าของคุณไม่ใช่ผู้เล่นการ์ดให้ลองใช้เกม Monopoly: ทุกคนใช้เวลาสองหกครั้ง แต่ถ้ามีคนกลิ้งสอง - หกทุกครั้งที่คุณสงสัย สถิติอนุญาตให้เราใส่จำนวนที่แน่นอนว่าเราควรเป็นอย่างไร


3

คำแนะนำของฉันคือไม่พูดเกี่ยวกับสิ่งต่อไปนี้:

  1. P-ค่า
  2. การทดสอบสถิติ
  3. โอกาสของสิ่งต่าง ๆ ที่เกิดขึ้นโดยบังเอิญเพียงอย่างเดียว

อย่ากังวลกับตัวเองมากเกินไปเกี่ยวกับทนาย นี่คือคนที่มีการศึกษาซึ่งใช้เวลาอย่างน้อยหนึ่งภาคการศึกษาในชั้นเรียนสถิติของมหาวิทยาลัยและไม่ได้ติดอยู่กับเขาเลย มันเป็นเรื่องเดียวกันสำหรับแทบทุกที่ไม่ใช่นักวิทยาศาสตร์อื่น ๆ ที่ผมเคยทำงานกับ - นัยสำคัญทางสถิติไม่ติด มันเป็นแนวคิดที่ผิดธรรมชาติเกินไป

ผมแนะนำให้คุณที่จะอธิบายนัยสำคัญทางสถิติในแง่ของหลักฐาน นักสถิติคลาสสิกมีการเข้ารหัสหลักฐานในระดับ 0 ถึง 1 โดยที่ค่าที่น้อยกว่าถือเป็นหลักฐานที่มากขึ้นและ 0.05 คือที่ที่วาดเส้นตามอัตภาพ


imo ความคิดของ sig สามารถติดกับผู้ที่ไม่ใช่นักวิทยาศาสตร์; สิ่งที่มักถูกมองว่าผิดธรรมชาติคือคำจำกัดความทางเทคนิคหากผู้คนเข้าใจได้ไกล เท่าที่มีหลักฐานแน่นอนว่าเรื่องนี้เกี่ยวกับหลักฐาน: คำถามคือวิธีหนึ่งที่เกี่ยวข้องกับหลักฐานทางสถิติเพื่อที่จะได้ตัดสินใจเกี่ยวกับ sig
rolando2

ฉันชอบการมองโลกในแง่ดีของคุณ แต่ฉันไม่เห็นด้วยกับคนทั่วไปที่ชัดเจนว่านัยสำคัญทางสถิตินั้นเกี่ยวกับหลักฐาน ฉันคิดว่าพวกเขาเห็นว่ามันเป็นสวิตช์ที่พลิกเมื่อชุดข้อมูลของคุณมีขนาดใหญ่พอและตัวเลขทั้งหมดที่คำนวณได้ตอนนี้ "ถูกต้อง" คุณกำลังยืนยันว่ามันเป็นสิ่งสำคัญสำหรับคนธรรมดาที่จะรู้ว่าหลักฐานนั้นถูกวัดปริมาณอย่างไรดังนั้นเตรียมพร้อมที่จะพูดคุยเกี่ยวกับความน่าจะเป็นที่คำนวณภายใต้สมมติฐานที่คุณอาจไม่เชื่อว่าเป็นจริงในตอนแรก
Ben Ogorek

อ้า แต่ถ้าคุณพูดถึงหลักฐานคุณเข้าไปในดินแดนเบย์
Arthur B.

1
ฉันไม่คิดว่า Bayesians มี "หลักฐาน" (แนวคิด) แม้ว่าพวกเขาจะทำให้เป็นทางการแน่นอน ฉันจะยืนยันว่าค่า p ขนาดเล็กเป็นหลักฐานของบางสิ่งบางอย่าง
Ben Ogorek

1

"นัยสำคัญทางสถิติ" หมายความว่าบางสิ่งอาจเกิดขึ้นแบบสุ่ม แต่ไม่น่าเป็นไปได้ แต่มีแนวโน้มมากกว่าที่จะมีสาเหตุบางอย่าง คุณควรทำให้เป็นรูปธรรมมากขึ้นด้วยตัวอย่างที่เกี่ยวข้องกับลูกค้าของคุณเนื่องจากคำอธิบายนั้นเป็นนามธรรม

ตัวอย่างเช่นหากทนายแอนชนะคดีโดยเฉลี่ยมากกว่าบิลจำนวนมากสิ่งนี้อาจเกิดขึ้นแบบสุ่ม อย่างไรก็ตามหากแอนชนะคดีที่มีนัยสำคัญทางสถิติมีแนวโน้มว่ามีบางอย่างที่สามารถช่วยอธิบายได้ว่าทำไมแอนชนะคดีมากกว่าบิล เราไม่ทราบสาเหตุ บางทีแอนอาจเป็นทนายความที่ดีกว่าหรือเลือกที่จะเลือกกรณีที่ยากกว่า


0

ทำให้มันง่ายและรัดกุม!

ค่า p ถูกกำหนดให้เป็นความน่าจะเป็นที่จะได้รับผลลัพธ์อย่างมากหรือมากเกินกว่าที่เราสังเกตเห็นว่ามีค่าเป็นจริง หากค่า p มีขนาดเล็กพอค่า null จะไม่เป็นจริง เราเลือก cut-off โดยพลการสำหรับสิ่งที่เราพิจารณาว่าเป็น "เล็กพอ" (อัลฟา) และสำหรับค่า p ทั้งหมดที่อยู่ต่ำกว่าอัลฟาเราปฏิเสธโมฆะ

นั่นคือวิธีที่ฉันอธิบายให้กับชั้นเรียนอินโทรของฉัน


แต่ถ้าคุณไม่มีวิธีเลือกสมมติฐานว่างเปล่าที่เป็นไปได้ (เช่นไม่มีกลุ่มคนสองกลุ่มเท่ากันเสมอไป แต่คุณไม่มีข้อมูลเพียงพอที่จะทำนายสิ่งที่ดีกว่าค่าเฉลี่ย 1 = ค่าเฉลี่ย 2) การอธิบายนัยสำคัญทางสถิติโดยไม่กล่าวถึงข้อ จำกัด สามารถทำอันตรายได้
ขวด

0

ฉันจะพยายาม.

ก่อนอื่นให้คุณคำนวณค่า p โดยพิจารณาจากข้อมูลเฉลี่ยและตัวแปรคือข้อมูล ยิ่งตัวแปรมีโอกาสน้อยที่จะได้ค่า p น้อย ในอีกทางหนึ่งตัวอย่างเช่นหากคุณกำลังเปรียบเทียบสองกลุ่มความแตกต่างระหว่างค่าเฉลี่ยของพวกเขายิ่งมากขึ้นค่า p ที่น้อยลง

นอกจากนี้ความแปรปรวนของข้อมูลสามารถยกเลิกได้บ้างโดยมีข้อมูลมากขึ้น การถ่ายภาพชุดข้อมูลสองชุดที่มีความแตกต่างกันระหว่างค่าเฉลี่ยสองค่าและจำนวนความแปรปรวนเท่ากัน ในกรณีนี้ชุดที่มีขนาดตัวอย่างใหญ่กว่าจะมีค่า p น้อยกว่า

ส่วนการทดสอบจะเห็นว่าค่า p ต่ำกว่าจำนวนใด ๆ หรือไม่ โดยปกติแล้วคนใช้. 05 แต่นี่เป็นประเพณีทางสังคมโดยพลการ ผู้คนจำนวนมากคิดว่ามันไม่สมเหตุสมผลเลยที่จะใช้หมายเลขที่กำหนดเอง แต่มันก็เป็นเรื่องธรรมดามากสำหรับเหตุผลทางประวัติศาสตร์

โปรดจำไว้ว่าเพียงเพราะการทดสอบความสำคัญของคุณบอกว่ามีความแตกต่างระหว่างสองกลุ่มไม่ได้หมายความว่าคุณรู้ว่าทำไมถึงมีความแตกต่างนั้น ในทางกลับกันหากการทดสอบบอกว่าไม่มีความแตกต่างอย่างมีนัยสำคัญอาจเป็นเพราะความแปรปรวนของคุณใหญ่เกินไปและคุณไม่มีข้อมูลเพียงพอที่จะได้รับค่า p ต่ำนั่นไม่ได้หมายความว่าไม่มีความแตกต่างที่แท้จริง

แก้ไข:

ในการสรุปค่า p ที่ต่ำกว่าหมายถึงหลักฐานที่มากกว่าการทำนาย:

ความแตกต่างจากผลลัพธ์ที่คาดการณ์ -> ลง p-value

ข้อมูลเพิ่มเติม -> ค่า p ลง

ความแปรปรวนเพิ่มเติม -> ค่า p มากขึ้น

ค่า p ลงหมายถึงหลักฐานเพิ่มเติมที่บอกว่าการทำนายเป็นเท็จ การคาดคะเนในประวัติศาสตร์ทุกครั้งแสดงให้เห็นว่าเป็นเท็จกับบางตำแหน่งทศนิยม


0

นัยสำคัญทางสถิติเป็นแนวคิดที่ใช้เพื่อให้เหตุผลสำหรับการยอมรับหรือปฏิเสธสมมติฐานที่กำหนด เมื่อได้รับชุดข้อมูลนักวิเคราะห์สามารถคำนวณสถิติและกำหนดขนาดของความสัมพันธ์ต่าง ๆ ระหว่างตัวแปรที่แตกต่างกัน

งานของสถิติคือการตรวจสอบว่าข้อมูลมีหลักฐานเพียงพอที่จะช่วยให้คุณสามารถสรุปได้ว่าสถิติที่คำนวณหรือความสัมพันธ์ระหว่างตัวแปรสามารถตีความได้ว่าเป็นงบจริงหรือถ้าผลลัพธ์ที่พบในข้อมูลตัวอย่างของคุณเป็นเพราะโอกาส สิ่งนี้ทำได้โดยการกำหนดสถิติตัวอย่างที่จะแสดงลักษณะบางอย่างถ้าสมมติฐานว่างเป็นจริง แต่ไม่ใช่ถ้าสมมติฐานว่างเป็นเท็จ ยิ่งสถิติตัวอย่างที่เกี่ยวข้องปรากฏขึ้นแสดงให้เห็นถึงลักษณะที่คาดหวังภายใต้สมมติฐานว่างมากเท่าไรหลักฐานทางสถิติที่พิสูจน์ว่าสมมติฐานว่างนั้นมีความถูกต้องมากขึ้น ในทำนองเดียวกันสถิติตัวอย่างที่น้อยกว่านั้นก็แสดงให้เห็นถึงลักษณะที่คาดหวังภายใต้สมมติฐานว่าง, ยิ่งอ่อนแอหลักฐานทางสถิติว่าสมมติฐานว่างนั้นถูกต้อง

จำนวนที่สถิติตัวอย่างแสดงให้เห็นถึงลักษณะที่คาดหวังภายใต้ค่า null นั้นเป็นเรื่องของระดับ แต่เพื่อที่จะสรุปได้ว่าสมมติฐานว่างนั้นเป็นที่ยอมรับหรือปฏิเสธนั้นจะต้องมีการตัดออกโดยพลการ ดังนั้นค่า cutoff จะถูกเลือก หากสถิติตัวอย่างอยู่ภายในหรือด้านหนึ่งของค่าการตัดออกจะมีการกล่าวเพื่อให้สอดคล้องกับลักษณะที่คาดหวังภายใต้สมมติฐานว่างดังนั้นผลลัพธ์ที่ได้รับการพิจารณาอย่างมีนัยสำคัญทางสถิติสำหรับค่าการตัดที่กำหนด (เช่นที่ 5% alpha ระดับ) หากสถิติตัวอย่างที่เกี่ยวข้องตรงกับอีกด้านหนึ่งของค่าการตัดออกจะมีการกล่าวว่าไม่สอดคล้องกับลักษณะที่คาดหวังภายใต้สมมติฐานว่างดังนั้นผลลัพธ์จะไม่ถือว่ามีนัยสำคัญทางสถิติสำหรับค่าการตัดที่กำหนด


แต่บ่อยครั้งที่มีจำนวนประชากรที่แตกต่างกันจริง ๆที่กำหนดไว้ล่วงหน้าว่าผลลัพธ์ควรจะนำไปใช้กับ โดยปกติจะมีการโต้แย้งเพื่อใช้ผลลัพธ์ที่เกินกว่าจำนวนประชากรที่ศึกษาจริงซึ่งเป็นตัวอย่างที่ไม่ซ้ำกัน ความโดดเด่นของวิชานี้มากน้อยเพียงใด / ไม่ว่าเรื่องอะไรจะเกิดขึ้นในหลาย ๆ สถานการณ์ ยกเว้นอาจจะมีการผลิตการควบคุมคุณภาพการทดสอบอย่างมีนัยสำคัญ แต่ถูกนำมาใช้อย่างกว้างขวางมากขึ้นกว่านั้น ฉันตั้งใจจะเน้นย้ำข้อ จำกัด ของกระบวนการซึ่งถูกละเว้นจากการศึกษาของฉันเอง
ขวด

@ ขวดนั่นเป็นจุดที่ดี ฉันได้แก้ไขคำตอบของฉันเพื่อพยายามทำให้เป็นเรื่องทั่วไปมากขึ้น
tjnel
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.