เหตุใดจึงไม่ดีที่จะสอนนักเรียนว่าค่า p เป็นความน่าจะเป็นที่การค้นพบเกิดขึ้นเนื่องจากโอกาส

34

ใครช่วยได้โปรดอธิบายสั้น ๆ ว่าทำไมมันไม่ดีที่จะสอนนักเรียนว่าค่า p เป็นค่าโพรบ (การค้นพบของพวกเขาเกิดจาก [สุ่ม] โอกาส) ความเข้าใจของฉันคือว่า p-value เป็นโพรบ (รับข้อมูลที่มากขึ้น | สมมติฐานว่างเป็นจริง)

ความสนใจที่แท้จริงของฉันคือสิ่งที่อันตรายจากการบอกพวกเขาว่ามันคืออดีต (นอกเหนือจากความจริงที่ว่ามันไม่ได้เป็นเช่นนั้น)

p-value randomness teaching

— แพทริค
แหล่งที่มา

43

เพราะมันผิด

— whuber

6

บางทีสิ่งที่คุณต้องการเป็นตัวอย่างง่ายๆในการแสดงว่ามันไม่ได้เป็นเพียงแค่ความผิดพลาด แต่ไม่ดี?

— Karl

2

บางสิ่งเป็นเพียงเรื่องของความจริงแพทริคไม่ใช่ความเห็น: Pi ไม่เท่ากับสาม (แม้จะพยายามออกกฎหมายเป็นอย่างนั้น ) เช่น แต่ความคิดเห็นของคุณเป็นคำชี้แจงที่มีประโยชน์จริง ๆ : มันแสดงให้เห็นว่าคุณไม่ได้ถามถึงอันตรายของการสอนสิ่งที่ผิด แต่กำลังหาเหตุผลจริงๆเพื่ออธิบายความแตกต่างให้กับผู้คน

— whuber

2

มีการอภิปรายที่ดีเกี่ยวกับปัญหาเหล่านี้ที่stats.stackexchange.com/questions/5591/…แม้ในการตอบกลับที่โหวตต่ำกว่า (IMHO)

— whuber

1

ใช่คาร์ลฉันคิดว่าฉันกำลังมองหาตัวอย่างในโลกแห่งความเป็นจริง ผู้ที่เกี่ยวข้องกับการศึกษาเชิงสังเกตการณ์ (เช่นวิทยาศาสตร์สิ่งแวดล้อมนิเวศวิทยาวิทยาศาสตร์สัตว์ป่า) จะดีมาก ฉันอ่านกระทู้นั้นก่อนที่จะโพสต์ข้อความนี้พร้อมกับผับหลายแห่ง ขอบคุณที่แม้ว่า

— Patrick

25

ฉันมีการตีความที่แตกต่างของความหมายของคำสั่งที่ผิดมากกว่าที่ @Karl ทำ ฉันคิดว่ามันเป็นคำสั่งเกี่ยวกับข้อมูลมากกว่าที่จะเป็นโมฆะ ฉันเข้าใจว่าเป็นการขอความน่าจะเป็นที่จะได้รับการประเมินของคุณเนื่องจากโอกาส ฉันไม่รู้ว่ามันหมายถึงอะไร - มันไม่ใช่การกล่าวอ้างที่เจาะจง

แต่ฉันเข้าใจว่าความน่าจะเป็นที่จะได้รับการประมาณของฉันโดยบังเอิญเนื่องจากการประมาณการที่แท้จริงนั้นมีค่าเท่ากับค่าใดค่าหนึ่ง ตัวอย่างเช่นฉันสามารถเข้าใจความหมายของการได้รับความสูงเฉลี่ยที่แตกต่างกันมากระหว่างชายและหญิงเนื่องจากความสูงเฉลี่ยของพวกเขานั้นเท่ากัน ที่ระบุไว้อย่างดี และนั่นคือสิ่งที่ค่า p ให้ สิ่งที่ขาดหายไปในคำสั่งที่ไม่ถูกต้องเป็นเงื่อนไขที่ null เป็นจริง

ตอนนี้เราอาจโต้แย้งว่านี่ไม่ใช่คำสั่งที่สมบูรณ์แบบ (โอกาสที่จะได้รับค่าที่แน่นอนสำหรับตัวประมาณคือ 0 เช่น) แต่มันก็ยังดีกว่าวิธีที่คนส่วนใหญ่ตีความค่า p

จุดสำคัญที่ฉันพูดซ้ำแล้วซ้ำอีกเมื่อฉันสอนการทดสอบสมมติฐานคือ "ขั้นตอนที่หนึ่งคือการสมมติว่าสมมติฐานว่างเป็นจริงทุกอย่างคำนวณตามสมมติฐานนี้" ถ้าคนจำได้นั่นก็ค่อนข้างดี

— ชาร์ลี
แหล่งที่มา

โอ้นั่นดูดีสำหรับฉัน ฉันเห็นว่าฉันกำลังทำจุดเดียวกันโดยไม่สังเกตเห็น [ถอนหายใจ] (+1)

— conjugateprior

แต่สิ่งที่ "อันตรายคืออะไร"?

— rolando2

15

ฉันเคยเห็นการตีความนี้มาก (อาจบ่อยกว่าที่ถูกต้อง) ฉันตีความ "การค้นพบของพวกเขาเกิดจาก [สุ่ม] โอกาส" เป็น "เป็นจริง" และดังนั้นสิ่งที่พวกเขากำลังพูดคือ [ซึ่งจริง ๆ แล้วควรจะเป็น ; พูดว่า "จากสิ่งที่เราได้เห็น (ข้อมูล) ความน่าจะเป็นที่โอกาสมีเพียงปฏิบัติการคืออะไร"] นี่อาจเป็นข้อความที่มีความหมาย (ถ้าคุณเต็มใจมอบหมายให้นักบวชและเบย์) แต่มันไม่ใช่ p -value $\text{H}_0$ $\Pr(\text{H}_0)$ $\Pr(\text{H}_0 | \text{data})$

$\Pr(\text{H}_0 | \text{data})$ อาจแตกต่างจาก p-value มากและการตีความ p-value ในทางนั้นอาจทำให้เข้าใจผิดได้

ภาพประกอบที่ง่ายที่สุด: พูดก่อนหน้าค่อนข้างเล็ก แต่มีข้อมูลค่อนข้างน้อยดังนั้นค่า p จึงมีค่ามาก (พูด 0.3) แต่ด้านหลังจะยังเล็กอยู่ [แต่บางทีตัวอย่างนี้อาจไม่น่าสนใจ] $\Pr(H_0)$ $\Pr(\text{H}_0|\text{data})$

— คาร์ล
แหล่งที่มา

ดังนั้น Pr (H0 | data) == ถึง prob (การค้นพบของพวกเขาเกิดจาก [สุ่ม] โอกาส)?

— Patrick

@ แพทริค - ใช่

— Karl

1

@ แพทริค - ไม่ไม่แน่นอน ในการทดสอบสมมติฐานดั้งเดิมไม่สมเหตุสมผล

Pr (H_{0} | anything)

$\Pr(H_0|\text{anything})$

— whuber

@whuber - แต่นั่นคือประเด็น "prob (ผลการวิจัยของพวกเขาเนื่องจาก [สุ่ม] โอกาส)" เป็นจริงซึ่งผมคิดว่าควรจะเขียนเป็น{ข้อมูล}) มันสมเหตุสมผลแล้ว (กับ Priors + Bayes) แต่มันไม่ใช่ค่า p

Pr (H_{0})

$\Pr(H_0)$

Pr (H_{0} | data)

$\Pr(H_0 | \text{data})$

— Karl

2

อืมฉันคิดว่าฉันยังไม่ได้ทำตามแม้ว่าฉันจะขอบคุณที่คุณเรียกใช้ Bayes และการแจกแจงก่อนหน้าเพื่อให้บริบทกับการตอบและความคิดเห็นของคุณ อาจเป็นเพราะฉันตีความ "การค้นพบ" ให้หมายถึง "ข้อมูล" ไม่ใช่ " " มันยากที่จะสรุปความคิดของฉันเกี่ยวกับแนวคิด "สมมติฐานว่างเนื่องจากโอกาส" แม้แต่ในตัวแบบเบย์ (ในการตั้งค่าแบบเบส์คำสั่งนั้นจะไม่เพิ่มข้อมูลใด ๆ ที่ยังไม่ได้สันนิษฐานไว้ตั้งแต่ต้น: สมมติฐานทั้งหมดเป็นตัวแปรสุ่ม)

H_{0}

$H_0$

— whuber

14

ฉันจะเพิ่มคำตอบช้าจากมุมมองของนักเรียน (อดีต): IMHO อันตรายไม่สามารถแยกออกจากความผิด

"การประมาณ / การสอนทางลัด" แบบผิดประเภทนี้สามารถสร้างความสับสนอย่างมากสำหรับนักเรียนที่ตระหนักว่าพวกเขาไม่สามารถเข้าใจคำสั่งได้อย่างมีเหตุผล แต่สมมติว่าสิ่งที่สอนให้พวกเขานั้นถูกต้องพวกเขาไม่รู้ว่าพวกเขาไม่เข้าใจเพราะมันไม่ถูกต้อง

สิ่งนี้ไม่ส่งผลกระทบต่อนักเรียนที่เพิ่งท่องจำกฎที่นำเสนอ แต่มันต้องการให้นักเรียนที่เรียนรู้โดยการทำความเข้าใจดีพอที่จะ

มาถึงทางออกที่ถูกต้องด้วยตัวเองและ
ดีพอเพื่อให้พวกเขามั่นใจได้ว่าถูกต้อง
และสรุปว่าพวกเขาได้รับการสอนเรื่องไร้สาระ (ด้วยเหตุผลบางประการเกี่ยวกับการสอนที่ถูกกล่าวหา)

ฉันไม่ได้บอกว่าไม่มีทางลัดการสอนที่ถูกต้อง แต่ IMHO เมื่อมีการใช้ช็อตคัทเราควรพูดถึงเรื่องนี้ (เช่น "เพื่อความสะดวกในการโต้แย้งเราถือว่า / ประมาณว่า ... ")
อย่างไรก็ตามในกรณีนี้ฉันคิดว่ามันเป็นเรื่องเข้าใจผิดเกินกว่าที่จะนำไปใช้ประโยชน์ใด ๆ

— cbeleites รองรับโมนิก้า
แหล่งที่มา

1

+1 นี่เป็นจุดที่ดีมากถ้าคุณสอนนักเรียนบางอย่างที่ไม่ถูกต้องคุณสนับสนุนให้พวกเขาสร้างแบบจำลองว่าสถิติทำงานผิดพลาดอย่างไรและอาจทำให้พวกเขาเข้าใจองค์ประกอบอื่น ๆ ของสถิติที่อยู่ในหลักสูตร ( เช่นช่วงความมั่นใจ - ถ้าคุณสนับสนุนให้นักเรียนคิดว่าความน่าจะเป็นประจำสามารถยึดติดกับสมมติฐานได้แล้วทำไมจึงไม่สามารถนำไปใช้กับสมมติฐานที่ว่ามูลค่าที่แท้จริงอยู่ในช่วงเวลาใดช่วงหนึ่ง) การทำความเข้าใจเป็นเป้าหมายที่แท้จริงของการศึกษาและสิ่งนี้ต้องการความแม่นยำ

— Dikran Marsupial

8

อ้างอิงโดยตรงกับคำถาม: อันตรายอยู่ที่ไหน?

ในความคิดของฉันคำตอบสำหรับคำถามนี้อยู่ในการสนทนาของคำว่า "ค่า p คือความน่าจะเป็นที่การค้นพบเกิดจากการสุ่มโอกาส" ถ้าใครเชื่อในเรื่องนี้ก็เชื่อว่าสิ่งต่อไปนี้: "[1- (p-value)] คือความน่าจะเป็นที่การค้นพบไม่ได้เกิดจากการสุ่มโอกาส"

ความเสียหายนั้นอยู่ในคำแถลงที่สองเพราะด้วยวิธีที่สมองของคนส่วนใหญ่ทำงานคำแถลงนี้จึงประเมินค่ามากเกินไปว่าเรามั่นใจได้อย่างไรในค่าเฉพาะของพารามิเตอร์โดยประมาณ

— DL Dahly
แหล่งที่มา

6

นี่เป็นตัวอย่างง่ายๆที่ฉันใช้:

สมมติว่าสมมุติฐานว่างของเราคือเรากำลังโยนเหรียญ 2 หัว (ดังนั้นปัญหา (หัว) = 1) ทีนี้เราพลิกเหรียญหนึ่งครั้งแล้วรับหัวค่า p สำหรับนี่คือ 1 นั่นหมายความว่าเรามีโอกาส 100% ที่มีเหรียญ 2 หัว?

สิ่งที่ยุ่งยากคือถ้าเราพลิกก้อยแล้วค่า p จะเป็น 0 และความน่าจะเป็นที่จะได้เหรียญ 2 หัวน่าจะเป็น 0 ดังนั้นพวกเขาจึงจับคู่กันในกรณีนี้ แต่ไม่ใช่ข้างบน ค่า p ของ 1 ข้างต้นนั้นหมายความว่าสิ่งที่เราสังเกตเห็นนั้นสอดคล้องกับสมมติฐานของเหรียญ 2 หัว แต่ก็ไม่ได้พิสูจน์ว่าเหรียญนั้นเป็น 2 หัว

นอกจากนี้หากเรากำลังทำสถิติอยู่บ่อย ๆ สมมติฐานว่างเป็นจริงหรือเท็จ (เราแค่ไม่รู้ว่าอะไร) และการสร้างความน่าจะเป็น (บ่อยครั้ง) เกี่ยวกับสมมติฐานว่างนั้นไม่มีความหมาย หากคุณต้องการพูดคุยเกี่ยวกับความน่าจะเป็นของสมมติฐานจากนั้นทำสถิติ Bayesian ที่เหมาะสมใช้คำจำกัดความความน่าจะเป็นแบบ Bayesian เริ่มต้นด้วยค่าก่อนหน้าและคำนวณความน่าจะเป็นด้านหลังที่สมมติฐานนั้นเป็นจริง อย่าเพิ่งสับสนค่า p กับคนหลังเบย์

— เกร็กสโนว์
แหล่งที่มา

3

ตกลงอีกข้อแตกต่างกันเล็กน้อยในเรื่องนี้:

ปัญหาพื้นฐานแรกคือวลี "เนื่องจาก [สุ่ม] โอกาส" ความคิดเกี่ยวกับ 'โอกาส' ที่ไม่ได้ระบุมาโดยธรรมชาติสำหรับนักเรียน แต่มันเป็นอันตรายสำหรับการคิดอย่างชัดเจนเกี่ยวกับความไม่แน่นอนและความหายนะสำหรับการทำสถิติที่สมเหตุสมผล ด้วยการเรียงลำดับของการโยนเหรียญมันง่ายที่จะสันนิษฐานว่า 'โอกาส' ถูกอธิบายโดยเซ็ตอัพ Binomial โดยมีความน่าจะเป็น 0.5 แน่นอนว่ามีความเป็นธรรมชาติอยู่บ้าง แต่จากมุมมองทางสถิติมันไม่เป็นธรรมชาติมากกว่าการคาดเดา 0.6 หรืออย่างอื่น และสำหรับตัวอย่างที่ชัดเจนน้อยกว่าเช่นที่เกี่ยวข้องกับพารามิเตอร์จริงมันไม่ได้ช่วยอะไรเลยที่จะคิดว่า 'โอกาส' จะเป็นอย่างไร

ด้วยความเคารพต่อคำถามที่ว่าความคิดที่สำคัญคือการทำความเข้าใจสิ่งที่จัดเรียงของ 'โอกาส' อธิบายโดย H0 คือสิ่งที่น่าจะเกิดขึ้นจริง / ชื่อ DGP H0 เมื่อแนวคิดนั้นเข้าที่นักเรียนจะหยุดพูดในที่สุดเกี่ยวกับสิ่งต่าง ๆ ที่เกิดขึ้นโดยบังเอิญและเริ่มถามว่า H0 คืออะไร (พวกเขายังพบว่าสิ่งต่าง ๆ สามารถสอดคล้องกับ Hs ที่ค่อนข้างหลากหลายเพื่อให้พวกเขาได้เริ่มต้นในช่วงความมั่นใจผ่านการทดสอบแบบกลับหัว)

ปัญหาที่สองคือถ้าคุณกำลังหาทางนิยาม p-value ของ Fisher คุณควร (imho) อธิบายมันก่อนเสมอในแง่ของความสอดคล้องของข้อมูลกับ H0 เพราะจุดของ p คือการเห็นว่าไม่ใช่การตีความ บริเวณหางเป็นกิจกรรม 'โอกาส' บางประเภท (หรือตรงไปตรงมาเพื่อตีความมันเลย) นี่เป็นเรื่องของการเน้นย้ำที่ชัดเจน แต่ดูเหมือนว่าจะช่วย

ในระยะสั้นอันตรายคือวิธีการอธิบายสิ่งต่าง ๆ นี้จะไม่พูดถึงรูปแบบที่ไม่สำคัญพวกเขาอาจพยายามคิด ที่เลวร้ายที่สุดมันอาจจะเพิ่มความรู้สึกลึกลับที่การศึกษาสถิติได้สร้างขึ้นในคนประเภทต่างๆ

— conjugateprior
แหล่งที่มา

1

ถ้าฉันแยกจากกัน "p-value คือความน่าจะเป็นที่เอฟเฟกต์เกิดขึ้นจากโอกาส" ดูเหมือนว่าเป็นการบ่งบอกว่าเอฟเฟกต์นั้นเกิดจากโอกาส แต่ทุกเอฟเฟกต์นั้นเกิดจากความบังเอิญ ในบทเรียนสถิติที่หนึ่งอธิบายถึงความต้องการที่จะลองดูผ่านความแปรปรวนแบบสุ่มนี่เป็นคำสั่งที่น่าอัศจรรย์ มันทำให้ค่า p มีค่าพลังที่พวกเขาไม่มี

หากคุณกำหนดโอกาสในบางกรณีให้เป็นสมมติฐานว่างคุณจะระบุว่าค่า p ให้ค่าความน่าจะเป็นที่ผลกระทบที่สังเกตได้เกิดจากสมมุติฐานว่าง ดูเหมือนจะใกล้เคียงกับคำแถลงที่ถูกต้อง แต่อ้างว่าเงื่อนไขเกี่ยวกับความน่าจะเป็นเป็นสาเหตุของความน่าจะเป็นที่เกิดขึ้นซ้ำอีกครั้ง ข้อความที่ถูกต้องว่า p-value คือความน่าจะเป็นของผลกระทบที่ให้สมมติฐานว่างเป็นจริงไม่ได้อธิบายสาเหตุของผลกระทบที่เป็นโมฆะ สาเหตุต่าง ๆ รวมถึงผลที่แท้จริงความแปรปรวนรอบ ๆ ผลกระทบและโอกาสสุ่ม ค่า p ไม่ได้วัดความน่าจะเป็นของค่าใด ๆ

— จอห์น
แหล่งที่มา