ทำความเข้าใจกับค่า p

ฉันรู้ว่ามีวัสดุมากมายที่อธิบายค่า p อย่างไรก็ตามแนวคิดไม่ใช่เรื่องง่ายที่จะเข้าใจอย่างแน่นหนาโดยไม่ต้องชี้แจงเพิ่มเติม

นี่คือคำจำกัดความของ p-value จาก Wikipedia:

p-value คือความน่าจะเป็นที่จะได้รับสถิติการทดสอบอย่างน้อยที่สุดเท่าที่จะสังเกตได้จริงโดยสมมติว่าสมมติฐานว่างเป็นจริง ( http://en.wikipedia.org/wiki/P-value )

คำถามแรกของฉันเกี่ยวข้องกับการแสดงออก "อย่างน้อยที่สุดเท่าที่สังเกตได้จริง ๆ " ความเข้าใจของฉันเกี่ยวกับตรรกะที่ใช้ p-value มีดังต่อไปนี้: ถ้า p-value มีขนาดเล็กมันไม่น่าเป็นไปได้ที่การสังเกตจะเกิดขึ้นโดยสมมุติฐานว่างและเราอาจต้องการสมมติฐานทางเลือกเพื่ออธิบายการสังเกต หากค่า p-value ไม่เล็กอาจเป็นไปได้ว่าการสังเกตเกิดขึ้นเพียงสมมติว่าสมมติฐานว่างเปล่าและไม่จำเป็นต้องใช้สมมติฐานทางเลือกเพื่ออธิบายการสังเกต ดังนั้นถ้ามีคนต้องการยืนยันสมมติฐานเขา / เธอต้องแสดงว่าค่า p ของสมมติฐานว่างนั้นเล็กมาก เมื่อคำนึงถึงมุมมองนี้ความเข้าใจของฉันเกี่ยวกับนิพจน์ที่ไม่ชัดเจนคือ p-value คือ$\min[P(X<x),P(x<X)]$ถ้า PDF ของสถิติเป็น unimodal โดยที่$X$คือสถิติทดสอบและ$x$คือค่าที่ได้จากการสังเกต ถูกต้องหรือไม่ ถ้ามันถูกต้องมันยังใช้กับ PDF bimodal ของสถิติได้หรือไม่? หากยอดเขาสองอันของ PDF ถูกแยกออกจากกันอย่างดีและค่าที่สังเกตนั้นอยู่ที่ไหนสักแห่งในบริเวณความหนาแน่นของความน่าจะเป็นต่ำระหว่างสองยอดเขา p-value ช่วงใดให้ความน่าจะเป็น

คำถามที่สองเป็นเรื่องเกี่ยวกับความหมายของ p-value จาก Wolfram แม ธ เวิลด์อื่น:

ความน่าจะเป็นที่ตัวแปรจะถือว่าค่ามากกว่าหรือเท่ากับค่าที่สังเกตโดยบังเอิญ ( http://mathworld.wolfram.com/P-Value.html )

ฉันเข้าใจว่าวลี "อย่างตั้งใจโดยบังเอิญ" ควรตีความว่า "สมมติว่าเป็นสมมติฐานว่าง" นั่นถูกต้องใช่ไหม?

คำถามที่สามนับถือใช้ "null สมมติฐาน" สมมติว่ามีคนต้องการยืนยันว่าเหรียญมีความยุติธรรม เขาแสดงสมมติฐานที่ว่าความถี่หัวของญาติคือ 0.5 จากนั้นสมมติฐานว่างก็คือ "ความถี่สัมพัทธ์ของหัวไม่ใช่ 0.5" ในกรณีนี้ในขณะที่การคำนวณค่า p-value ของสมมติฐานว่างทำได้ยากการคำนวณนั้นง่ายสำหรับสมมติฐานทางเลือก แน่นอนปัญหาสามารถแก้ไขได้โดยการสลับบทบาทของสมมติฐานทั้งสอง คำถามของฉันคือการปฏิเสธหรือยอมรับตาม p-value ของสมมติฐานทางเลือกดั้งเดิมโดยตรง (โดยไม่ต้องแนะนำสมมติฐานว่าง) ไม่ว่าจะเป็นตกลงหรือไม่ หากไม่เป็นเช่นนั้นการแก้ไขปัญหาปกติสำหรับปัญหาดังกล่าวเมื่อคำนวณค่า p-value ของสมมติฐานว่างจะเป็นอย่างไร

ฉันโพสต์คำถามใหม่ที่มีความกระจ่างมากขึ้นตามการสนทนาในหัวข้อนี้

คำตอบแรก

คุณต้องคิดในแนวคิดของสุดขีดในแง่ของความน่าจะเป็นของสถิติการทดสอบไม่ใช่ในแง่ของมูลค่าหรือค่าของตัวแปรสุ่มที่กำลังทดสอบ ฉันรายงานตัวอย่างต่อไปนี้จาก Christensen, R. (2005) การทดสอบฟิชเชอร์ Neyman เพียร์สันและเบส์ นักสถิติชาวอเมริกัน , 59 (2), 121–126

ที่นี่คือการสังเกต, บรรทัดที่สองคือความน่าจะเป็นที่จะสังเกตการสังเกตภายใต้สมมติฐานว่าง , ที่ใช้ที่นี่เป็นสถิติการทดสอบ, บรรทัดที่สามคือค่าเราอยู่ที่นี่ในกรอบการทดสอบของชาวประมง: มีสมมติฐานหนึ่งข้อ (ในกรณีนี้ ) ซึ่งเราต้องการดูว่าข้อมูลแปลกหรือไม่ การสังเกตด้วยความน่าจะเป็นที่น้อยที่สุดคือ 2 และ 3 โดย 0.5% ต่อ ตัวอย่างเช่นถ้าคุณได้รับ 2 ความน่าจะเป็นที่จะสังเกตสิ่งที่น่าจะเป็นหรือน้อยกว่า (และ ) คือ 1% การสังเกตไม่ได้มีส่วนทำให้θ = 0 p H 0 θ = 0 r = 2 r = 3 r = 4 $r$$\theta=0$$p$$H_0$$\theta=0$$r=2$$r=3$$r=4$$p$ ค่าแม้ว่ามันจะอยู่ไกลออกไป (ถ้ามีความสัมพันธ์ในการสั่งซื้อ) เพราะมีความเป็นไปได้สูงที่จะต้องปฏิบัติตาม

คำจำกัดความนี้ใช้งานได้ทั่วไปเนื่องจากรองรับทั้งหมวดหมู่และตัวแปรหลายมิติซึ่งไม่ได้กำหนดความสัมพันธ์ของใบสั่ง ในกรณีของตัวแปรเชิงปริมาณ ingle ซึ่งคุณสังเกตความลำเอียงจากผลลัพธ์ที่น่าจะเป็นไปได้มากที่สุดมันอาจสมเหตุสมผลในการคำนวณค่าเดียว และพิจารณาการสังเกตที่อยู่ด้านเดียวของการแจกแจงสถิติการทดสอบ$p$

คำตอบที่สอง

ฉันไม่เห็นด้วยอย่างสิ้นเชิงกับคำจำกัดความนี้จาก Mathworld

คำตอบที่สาม

ฉันต้องบอกว่าฉันไม่แน่ใจว่าฉันเข้าใจคำถามของคุณทั้งหมด แต่ฉันจะพยายามสังเกตบางอย่างที่อาจช่วยคุณได้

ในบริบทที่ง่ายที่สุดของการทดสอบชาวประมงที่คุณมีสมมติฐานว่างเปล่านี่ควรเป็นสถานะที่เป็นอยู่ นี่เป็นเพราะการทดสอบชาวประมงทำงานเป็นหลักโดยความขัดแย้ง ดังนั้นในกรณีของเหรียญถ้าคุณมีเหตุผลที่จะคิดแตกต่างกันคุณจะถือว่าเป็นธรรม\ จากนั้นคุณคำนวณค่าสำหรับข้อมูลของคุณภายใต้และหากค่าของคุณต่ำกว่าขีด จำกัด ที่กำหนดไว้ล่วงหน้าคุณจะปฏิเสธสมมติฐาน (พิสูจน์ได้ด้วยความขัดแย้ง) คุณไม่เคยคำนวณความน่าจะเป็นของสมมติฐานว่างp H 0$H_0: \theta=0.5$$p$$H_0$$p$

ด้วยการทดสอบของ Neyman-Pearson คุณสามารถระบุสมมติฐานทางเลือกสองแบบและจากความน่าจะเป็นแบบสัมพัทธ์ของพวกมันและมิติของพารามิเตอร์เวกเตอร์คุณจะชอบอย่างใดอย่างหนึ่ง ตัวอย่างนี้สามารถเห็นได้ในการทดสอบสมมติฐานของความเอนเอียงกับเหรียญที่ไม่เอนเอียง ไม่เอนเอียงหมายถึงการแก้ไขพารามิเตอร์เป็น (ขนาดของพื้นที่พารามิเตอร์นี้เป็นศูนย์) ในขณะที่เอนเอียงสามารถเป็นค่าใด ๆ (ขนาดเท่ากับหนึ่ง) วิธีนี้จะช่วยแก้ปัญหาในการพยายามโต้แย้งสมมติฐานของอคติโดยขัดแย้งซึ่งจะเป็นไปไม่ได้ดังที่อธิบายโดยผู้ใช้รายอื่น ฟิชเชอร์และเอ็นพีให้ผลลัพธ์ที่คล้ายกันเมื่อกลุ่มตัวอย่างมีขนาดใหญ่ แต่ไม่เทียบเท่ากัน ด้านล่างเป็นรหัสง่ายๆใน R สำหรับเหรียญที่มีอคติθ ≠ $\theta=0.5$$\theta \neq 0.5$

n <- 100  # trials
p_bias <- 0.45  # the coin is biased
k <- as.integer(p_bias * n)  # successes

# value obtained by plugging in the MLE of p, i.e. k/n = p_bias
lambda <- 2 * n * log(2) + 2 * k * log(p_bias) + 2 * (n-k) * log(1. - p_bias)

p_value_F <- 2 * pbinom(k, size=n, prob=0.5)  # p-value under Fisher test
p_value_NP <- 1 - pchisq(q=lambda, df=1)  # p-value under Neyman-Pearson
binom.test(c(k, n-k))  # equivalent to Fisher

(1) สถิติคือตัวเลขที่คุณสามารถคำนวณได้จากตัวอย่าง มันใช้เพื่อจัดลำดับตัวอย่างทั้งหมดที่คุณอาจได้รับ (ภายใต้แบบจำลองที่ซึ่งเหรียญไม่ลงบนขอบและสิ่งที่คุณมี) หากคือสิ่งที่คุณคำนวณจากตัวอย่างที่คุณได้รับจริง &คือตัวแปรสุ่มที่สอดคล้องกันดังนั้นค่า p จะถูกกำหนดโดย ภายใต้สมมติฐาน, H_0'ยิ่งใหญ่กว่า' เทียบกับ 'สุดขีด' นั้นไม่สำคัญในหลักการ สำหรับการทดสอบสองด้านของค่าเฉลี่ยเราสามารถใช้ แต่สะดวกในการใช้ เพราะเรามีตารางที่เหมาะสม (สังเกตการเสแสร้ง)$t$$T$$\newcommand{\pr}{\mathrm{Pr}} \pr\left(T\geq t\right)$$H_0$$\pr(|Z|\geq |z|)$$2\min [\pr(Z\geq z),\pr(Z\leq z)]$

ไม่มีข้อกำหนดสำหรับสถิติทดสอบที่จะวางตัวอย่างตามลำดับความน่าจะเป็นภายใต้สมมติฐานว่าง มีสถานการณ์ (เช่นตัวอย่างของแซก) ซึ่งมีวิธีอื่น ๆ ก็ดูเหมือนจะขี้อ้อนเป็น (โดยไม่มีข้อมูลเพิ่มเติมเกี่ยวกับสิ่งมาตรการสิ่งที่ชนิดของความแตกต่างกับเป็นส่วนใหญ่ที่น่าสนใจและค.) แต่มักจะเกณฑ์อื่น ๆ ถูกนำมาใช้ ดังนั้นคุณสามารถมี PDF แบบ bimodal สำหรับสถิติการทดสอบและยังทดสอบโดยใช้สูตรด้านบน$r$$H_0$$H_0$

(2) ใช่พวกเขาหมายถึงภายใต้H_0$H_0$

(3) สมมติฐานว่างเช่น "ความถี่ของหัวไม่ใช่ 0.5" ไม่ได้ใช้เพราะคุณจะไม่สามารถปฏิเสธได้ มันเป็นคอมโพสิต null รวมถึง "ความถี่ของหัวคือ 0.49999999" หรือใกล้เคียงกับที่คุณต้องการ ไม่ว่าคุณจะคิดล่วงหน้างานเหรียญหรือไม่คุณเลือกสมมติฐานว่างที่มีประโยชน์ที่มีปัญหา อาจมีประโยชน์มากกว่าหลังจากการทดสอบคือการคำนวณช่วงความมั่นใจสำหรับความถี่ของหัวที่แสดงให้คุณเห็นว่าไม่ชัดเจนว่าเป็นเหรียญที่ยุติธรรมหรือใกล้พอที่จะยุติธรรมหรือคุณต้องทำการทดลองเพิ่มเติมเพื่อหาคำตอบ

ภาพประกอบสำหรับ (1):

สมมติว่าคุณกำลังทดสอบความเป็นธรรมของเหรียญด้วยการโยน 10 ครั้ง มีผลลัพธ์ที่เป็นไปได้รายการ นี่คือสามของพวกเขา:$2^{10}$

$\mathsf{HHHHHHHHHH}\\ \mathsf{HTHTHTHTHT}\\ \mathsf{HHTHHHTTTH}$

คุณอาจเห็นด้วยกับฉันว่าสองคนแรกดูค่อนข้างน่าสงสัย แต่ความน่าจะเป็นภายใต้ค่า null นั้นเท่ากัน:

$\mathrm{Pr}(\mathsf{HHHHHHHHHH}) = \frac{1}{1024}\\ \mathrm{Pr}(\mathsf{HTHTHTHTHT}) = \frac{1}{1024}\\ \mathrm{Pr}(\mathsf{HHTHHHTTTH}) = \frac{1}{1024}$

เพื่อให้ได้ทุกที่คุณต้องพิจารณาประเภทของทางเลือกว่างที่คุณต้องการทดสอบ หากคุณพร้อมที่จะยอมรับความเป็นอิสระของแต่ละการโยนภายใต้ทั้งค่าที่เป็นโมฆะและทางเลือก (& ในสถานการณ์จริงซึ่งมักจะหมายถึงการทำงานหนักมากเพื่อให้แน่ใจว่าการทดลองเชิงทดลองมีความเป็นอิสระ) คุณสามารถใช้จำนวนหัวทั้งหมดเป็นสถิติการทดสอบ . (การแบ่งพื้นที่ตัวอย่างด้วยวิธีนี้เป็นงานสำคัญอีกอย่างหนึ่งที่สถิติทำ)

ดังนั้นคุณต้องนับระหว่าง 0 ถึง 10

t<-c(0:10)

การกระจายของมันภายใต้ null เป็น

p.null<-dbinom(t,10,0.5)

ภายใต้รุ่นของทางเลือกที่เหมาะกับข้อมูลมากที่สุดถ้าคุณเห็น (พูด) 3 จาก 10 หัวความน่าจะเป็นของหัวคือดังนั้น$\frac{3}{10}$

p.alt<-dbinom(t,10,t/10)

ใช้อัตราส่วนของความน่าจะเป็นภายใต้ค่า null ต่อความน่าจะเป็นภายใต้ทางเลือก (เรียกว่าอัตราส่วนความน่าจะเป็น):

lr<-p.alt/p.null

เปรียบเทียบกับ

plot(log(lr),p.null)

ดังนั้นสำหรับโมฆะนี้สถิติสองตัวนั้นสั่งตัวอย่างด้วยวิธีเดียวกัน หากคุณทำซ้ำโดยมีค่าว่างเท่ากับ 0.85 (เช่นการทดสอบว่าความถี่ในการใช้หัวในระยะยาวคือ 85%) พวกเขาจะไม่ทำเช่นนั้น

p.null<-dbinom(t,10,0.85)
plot(log(lr),p.null)

เพื่อดูว่าทำไม

plot(t,p.alt)

ค่าบางอย่างของมีความเป็นไปได้น้อยกว่าภายใต้ทางเลือก & สถิติการทดสอบอัตราส่วนความน่าจะคำนึงถึงสิ่งนี้ NB สถิติการทดสอบนี้จะไม่รุนแรงมาก$t$

$\mathsf{HTHTHTHTHT}$

และก็ไม่เป็นไร - ทุกตัวอย่างถือได้ว่าสุดขั้วในบางมุมมอง คุณเลือกสถิติการทดสอบตามความแตกต่างของค่า Null ที่คุณต้องการตรวจจับ

... ต่อจากขบวนความคิดนี้คุณสามารถกำหนดสถิติที่พาร์ติชั่นพื้นที่ตัวอย่างแตกต่างกันเพื่อทดสอบโมฆะเดียวกันกับทางเลือกที่การโยนเหรียญมีผลต่ออันถัดไป เรียกจำนวนวิ่งดังนั้น$r$

$\mathsf{HHTHHHTTTH}$

มี :$r=6$

$\mathsf{HH}\ \mathsf{T}\ \mathsf{HHH}\ \mathsf{TTT}\ \mathsf{H}$

ลำดับที่น่าสงสัย

$\mathsf{HTHTHTHTHT}$

มีrก็เช่นกัน$r=10$

$\mathsf{THTHTHTHTH}$

ในขณะที่สุดโต่งอื่น ๆ

$\mathsf{HHHHHHHHHH}\\ \mathsf{TTTTTTTTTT}$

มี 1 การใช้ความน่าจะเป็นภายใต้ null เป็นสถิติการทดสอบ (ตามที่คุณต้องการ) คุณสามารถพูดได้ว่าค่า p ของตัวอย่าง$r=1$

$\mathsf{HTHTHTHTHT}$

ดังนั้นจึงเป็นเรื่อง{256} สิ่งที่ควรทราบเมื่อเปรียบเทียบการทดสอบนี้กับครั้งก่อนคือแม้ว่าคุณจะยึดติดกับการเรียงลำดับตามความน่าจะเป็นภายใต้ค่า null วิธีที่คุณกำหนดสถิติการทดสอบของคุณเพื่อแบ่งพื้นที่ตัวอย่างขึ้นอยู่กับการพิจารณาทางเลือก$\frac{4}{1024}=\frac{1}{256}$