เหตุใดค่า p จึงกระจายอย่างสม่ำเสมอภายใต้สมมติฐานว่าง?


115

เมื่อเร็ว ๆ นี้ฉันได้พบในหนังสือพิมพ์โดย Klammer และคณะ คำสั่งที่ค่า p ควรกระจายอย่างสม่ำเสมอ ฉันเชื่อผู้แต่ง แต่ไม่เข้าใจว่าทำไมจึงเป็นเช่นนั้น

Klammer, AA, Park, CY และ Stafford โนเบิลดับบลิว (2009) สถิติการสอบเทียบของฟังก์ชั่น SEQUEST XCorr วารสารวิจัยโปรตีน 8 (4): 2106–2113


24
นี่คือคำจำกัดความของ p-value ในทันทีเนื่องจากการแปลงความน่าจะเป็นหนึ่งของสถิติทดสอบโดยใช้การแจกแจงภายใต้สมมติฐานว่าง ข้อสรุปต้องการการกระจายอย่างต่อเนื่อง เมื่อการกระจายแบบไม่ต่อเนื่อง (หรือมีอะตอม) การกระจายของค่า p ก็ไม่ต่อเนื่องเช่นกันดังนั้นจึงสามารถประมาณได้อย่างสม่ำเสมอ
whuber

1
@whuber ให้คำตอบซึ่งเป็นสิ่งที่ฉันสงสัย ฉันถามข้อมูลอ้างอิงดั้งเดิมเพื่อให้แน่ใจว่ามีบางสิ่งที่ไม่สูญหายในการแปล ปกติแล้วมันไม่สำคัญว่าบทความเป็นที่เฉพาะเจาะจงหรือไม่เนื้อหาสถิติจะแสดงผ่าน :)
mpiktas

10
เมื่อเป็นจริงH0เท่านั้น! ... และเข้มงวดมากขึ้นเฉพาะเมื่อต่อเนื่อง (แม้ว่าบางอย่างจะเหมือนจริงในกรณีที่ไม่ต่อเนื่องฉันไม่ทราบคำที่ถูกต้องสำหรับกรณีทั่วไปส่วนใหญ่มันไม่เหมือนกัน) จากนั้นจะเป็นไปตามคำจำกัดความของ p-value
Glen_b

2
สิ่งนี้อาจถูกมองว่าเป็นตัวแปรของหลักการทางกลศาสตร์ทางสถิติขั้นพื้นฐาน (ซึ่งนักเรียนมักจะมีความยากลำบากในการยอมรับเหมือนกัน) ว่าทุกสถานะของระบบร่างกายมีความเป็นไปได้ที่เท่าเทียมกัน
DWIN

5
วิธีการเกี่ยวกับการเรียกร้องในบทความนี้: plosone.org/article/info%3Adoi%2F10.1371%2Fjournal.pone.0076010 ?

คำตอบ:


83

เพื่อชี้แจงให้ชัดเจน p-value มีการกระจายอย่างสม่ำเสมอเมื่อสมมติฐานว่างเป็นจริงและเป็นไปตามสมมติฐานอื่นทั้งหมด เหตุผลนี้เป็นนิยามของอัลฟาเนื่องจากความน่าจะเป็นของความผิดพลาดประเภทที่ 1 เราต้องการความน่าจะเป็นในการปฏิเสธสมมติฐานว่างที่แท้จริงให้เป็นอัลฟาเราปฏิเสธเมื่อสังเกตวิธีเดียวที่สิ่งนี้เกิดขึ้นสำหรับค่าใด ๆ ของ alpha คือเมื่อ p-value มาจากเครื่องแบบ การกระจาย จุดทั้งหมดของการใช้การแจกแจงที่ถูกต้อง (ปกติ, t, f, chisq, ฯลฯ ) คือการแปลงจากสถิติการทดสอบเป็น p-value สม่ำเสมอ ถ้าสมมุติฐานว่างเป็นเท็จการแจกแจงแบบ p-value (หวังว่า) จะมีน้ำหนักมากกว่า 0p-value<α

Pvalue.norm.simและPvalue.binom.simฟังก์ชั่นในTeachingDemosแพคเกจสำหรับ R จะจำลองชุดข้อมูลหลายคำนวณ P-ค่านิยมและพล็อตให้พวกเขาแสดงให้เห็นถึงความคิดนี้

ดูเพิ่มเติมที่:

Murdoch, D, Tsai, Y และ Adcock, J (2008) P-Values ​​เป็นตัวแปรสุ่ม นักสถิติชาวอเมริกัน , 62 , 242-245

สำหรับรายละเอียดเพิ่มเติม

แก้ไข:

เนื่องจากผู้คนยังคงอ่านคำตอบและความคิดเห็นนี้อยู่ฉันจึงคิดว่าฉันจะตอบความคิดเห็นของ @ whuber

มันเป็นความจริงที่ว่าเมื่อใช้สมมุติฐานโมฆะคอมโพสิตเช่นว่า p-values ​​จะกระจายอย่างสม่ำเสมอเมื่อ 2 หมายถึงเท่ากันและจะไม่เหมือนกันถ้าเป็นค่าใด ๆ ที่น้อยกว่า\สิ่งนี้สามารถมองเห็นได้อย่างง่ายดายโดยใช้ฟังก์ชั่นและตั้งค่าให้ทำการทดสอบด้านเดียวและจำลองด้วยการจำลองและการตั้งสมมติฐานหมายถึงความแตกต่าง (แต่ในทิศทางที่จะทำให้โมฆะจริง)μ 1 μ 2μ1μ2μ1μ2Pvalue.norm.sim

เท่าที่ทฤษฎีทางสถิติดำเนินไปสิ่งนี้ไม่สำคัญ ลองพิจารณาถ้าฉันอ้างว่าฉันสูงกว่าสมาชิกทุกคนในครอบครัวของคุณวิธีหนึ่งในการทดสอบการอ้างสิทธิ์นี้คือการเปรียบเทียบความสูงของฉันกับความสูงของสมาชิกในครอบครัวของคุณในแต่ละครั้ง อีกทางเลือกหนึ่งคือการหาสมาชิกในครอบครัวของคุณที่สูงที่สุดและเปรียบเทียบความสูงของพวกเขากับของฉัน ถ้าฉันสูงกว่าคน ๆ หนึ่งฉันก็จะสูงกว่าคนอื่นเช่นกันและการเรียกร้องของฉันเป็นจริงถ้าฉันไม่สูงกว่าคนคนนั้นการอ้างสิทธิ์ของฉันจะผิด การทดสอบคอมโพสิตโมฆะสามารถเห็นได้ว่าเป็นกระบวนการที่คล้ายกันมากกว่าการทดสอบชุดค่าผสมที่เป็นไปได้ทั้งหมดที่เราสามารถทดสอบส่วนความเท่าเทียมกันได้เพราะถ้าเราปฏิเสธได้เพื่อสนับสนุนμ 1 = μ 2 μ 1 > μ 2 μ 1 < μ 2 μ 1 < μ 2 α μ 1 μ 2 αμ1μ2μ1=μ2μ1>μ2แล้วเรารู้ว่าเรายังสามารถปฏิเสธความเป็นไปได้ทั้งหมดของ<\ ถ้าเราดูการกระจายของค่า p สำหรับกรณีที่การกระจายจะไม่เหมือนกันอย่างสมบูรณ์ แต่จะมีค่าใกล้กว่า 1 มากกว่า 0 หมายถึงความน่าจะเป็นของข้อผิดพลาดประเภทที่ 1 จะน้อยกว่า ค่าที่เลือกทำให้เป็นการทดสอบแบบอนุรักษ์นิยม เครื่องแบบกลายเป็นข้อ จำกัด ในการกระจายเมื่อเข้าใกล้μ1<μ2μ1<μ2αμ1μ2(คนที่เป็นปัจจุบันมากขึ้นในแง่ของสถิติ - ทฤษฎีอาจบอกได้ว่าสิ่งนี้ดีกว่าในแง่ของ supremum แบบกระจายหรืออะไรทำนองนั้น) ดังนั้นโดยการสร้างการทดสอบของเราโดยสมมติว่าส่วนที่เท่ากันของโมฆะแม้ว่าเมื่อโมฆะเป็นคอมโพสิตแล้วเรากำลังออกแบบการทดสอบของเราให้มีความน่าจะเป็นของข้อผิดพลาดประเภทที่ 1 ที่มากที่สุดสำหรับเงื่อนไขใด ๆα


ขออภัยสำหรับการพิมพ์ผิดฉันแนะนำ (ควรอ่าน\leqใน TeX)!
chl

1
บทความ "ค่า P เป็นตัวแปรสุ่ม" น่าสนใจจริง ๆ มีหนังสือเกริ่นนำใดที่ยึดตามหลักการที่ระบุไว้ในบทความหรือไม่
Alessandro Jacopson

8
แม้จะมีความคิดเห็นที่ฉันโพสต์คำถาม แต่ฉันก็ตระหนักว่าข้อสรุปไม่เป็นความจริงยกเว้นในกรณีพิเศษ ปัญหาเกิดขึ้นกับสมมติฐานคอมโพสิตเช่น\ "สมมติฐานเป็นความจริง" ขณะนี้ครอบคลุมความเป็นไปได้เป็นจำนวนมากเช่นกรณี 6 ในกรณีเช่นนี้ค่า p จะไม่กระจายอย่างสม่ำเสมอ ฉันสงสัยว่าคนคนหนึ่งสามารถผลิต (ค่อนข้างประดิษฐ์) สถานการณ์ที่ไม่ว่าองค์ประกอบของสมมุติฐานว่างจะเป็นเช่นไรการกระจายของค่า p จะไม่อยู่ใกล้กันเสมอ μ 1 = μ 2 - 10 6μ1μ2μ1=μ2106
whuber

1
@Greg Snow: ฉันคิดว่าการกระจายของค่า p ไม่เหมือนกันเสมอมันเป็นชุดเมื่อคำนวณจากการแจกแจงแบบต่อเนื่อง แต่ไม่ใช่เมื่อคำนวณจากการกระจายแบบไม่ต่อเนื่อง

1
ฉันได้ขยายคำตอบข้างต้นเพื่อแก้ไขความคิดเห็นโดย @whuber
เกร็กสโนว์

26

ภายใต้สมมติฐานว่างสถิติทดสอบของคุณมีการแจกแจง (เช่นปกติมาตรฐาน) เราแสดงให้เห็นว่า p-valueมีการแจกแจงความน่าจะเป็น กล่าวอีกนัยหนึ่งถูกกระจายอย่างสม่ำเสมอ สิ่งนี้จะคงอยู่ตราบใดที่กลับด้านซึ่งเป็นเงื่อนไขที่จำเป็นซึ่งนั้นไม่ใช่ตัวแปรสุ่มแบบแยกTF(t)P=F(T)P F ( ) T

Pr(P<p)=Pr(F1(P)<F1(p))=Pr(T<t)p;
PF()T

นี่คือผลโดยทั่วไป: การกระจายของตัวผกผัน CDF ของตัวแปรสุ่มเป็นชุดบน[0,1][0,1]


8
คุณอาจต้องการใช้ความคิดเห็นล่าสุดของคุณใหม่ซึ่งทำให้เกิดความสับสนเล็กน้อย CDF ต่อเนื่องไม่จำเป็นต้องมีการผกผัน (เหมาะสม) (คุณนึกถึงตัวอย่างตัวอย่างได้หรือไม่) ดังนั้นหลักฐานของคุณต้องการเงื่อนไขเพิ่มเติมเพื่อระงับ วิธีมาตรฐานในการรับรอบนี้คือการกำหนด pseudoinverse\} การโต้เถียงนั้นละเอียดยิ่งขึ้นเช่นกัน F(y)=inf{x:F(x)y}
พระคาร์ดินัล

1
เกี่ยวกับการทำงานกับผู้ผกผันทั่วไปดูlink.springer.com/article/10.1007%2Fs00186-013-0436-7 (โดยเฉพาะอย่างยิ่ง F (T) จะเหมือนกันถ้า F ต่อเนื่อง - ไม่สำคัญว่า F กลับด้านหรือไม่ ไม่). เกี่ยวกับความหมายของคุณของ p-value: ฉันไม่คิดว่ามันเป็นเสมอ 'F (T)' มันเป็นความน่าจะเป็น (ภายใต้ค่า null) ของการรับค่าที่รุนแรงกว่าค่าที่สังเกตดังนั้นมันอาจเป็นฟังก์ชันการอยู่รอด (เพื่อความแม่นยำที่นี่)
Marius Hofert

ไม่ใช่หรือไม่ F(t)
zyxue

@zyxue ใช่ cdf บางครั้งเรียกว่า "การกระจาย"
มิคาริโอ

6

ให้หมายถึงตัวแปรสุ่มที่มีฟังก์ชั่นการแจกแจงสะสมทั้งหมดทีสมมติว่ากลับด้านได้เราสามารถหาค่าการแจกแจงแบบสุ่ม p-valueดังนี้:TF(t)Pr(T<t)tFP=F(T)

Pr(P<p)=Pr(F(T)<p)=Pr(T<F1(p))=F(F1(p))=p,

จากที่เราสามารถสรุปได้ว่าการกระจายของเป็นชุดบน[0,1]P[0,1]

คำตอบนี้จะคล้ายกับชาร์ลี แต่หลีกเลี่ยงการต้องกำหนด(P)t=F1(p)


ตามที่คุณกำหนดไว้แล้ว F ไม่ได้เป็น P = F (T) = Pr (T <T) = 0 ใช่ไหม
TrynnaDoStat

ไม่อย่างแน่นอน "การแทนที่ประโยค" ของค่อนข้างทำให้เข้าใจผิด พูดอย่างเป็นทางการ,เป็นตัวแปรสุ่มที่กำหนดโดยF ( T ) ( F ( T ) ) ( ω ) = F ( T ( ω ) ) : = Pr ( T < T ( ω ) )F(T)=Pr(T<T)F(T)(F(T))(ω)=F(T(ω)):=Pr(T<T(ω))
jII

4

การจำลองแบบง่าย ๆ ของการแจกแจงค่า p ในกรณีของการถดถอยเชิงเส้นระหว่างตัวแปรอิสระสองตัว:

# estimated model is: y = a0 + a1*x + e

obs<-100                # obs in each single regression
Nloops<-1000            # number of experiments
output<-numeric(Nloops) # vector holding p-values of estimated a1 parameter from Nloops experiments

for(i in seq_along(output)){

x<-rnorm(obs) 
y<-rnorm(obs)

# x and y are independent, so null hypothesis is true
output[i] <-(summary(lm(y~x)) $ coefficients)[2,4] # we grab p-value of a1

if(i%%100==0){cat(i,"from",Nloops,date(),"\n")} # after each 100 iteration info is printed

}

plot(hist(output), main="Histogram of a1 p-values")
ks.test(output,"punif") # Null hypothesis is that output distr. is uniform

7
คุณช่วยอธิบายรายละเอียดเกี่ยวกับวิธีการตอบคำถามได้อย่างไร? แม้ว่าผลลัพธ์ที่ได้แสดงให้เห็นเป็นกรณีพิเศษของการยืนยันจำนวนเงินที่ไม่มีรหัสจะมีความสามารถของการแก้ไขคำถามที่ว่าทำไม ? ที่ต้องการคำอธิบายเพิ่มเติม
whuber

-1

ฉันไม่คิดว่าคำตอบเหล่านี้ส่วนใหญ่ตอบคำถามโดยทั่วไป พวกเขาจะถูก จำกัด ในกรณีที่มีสมมติฐานว่างง่ายและเมื่อสถิติการทดสอบมี CDF invertible (ในตัวแปรสุ่มต่อเนื่องซึ่งมี CDF ที่เพิ่มขึ้นอย่างเข้มงวด) กรณีเหล่านี้เป็นกรณีที่คนส่วนใหญ่มักจะสนใจเกี่ยวกับ z-test และ t-test แต่สำหรับการทดสอบค่าเฉลี่ยทวินาม (ตัวอย่าง) กรณีหนึ่งไม่มี CDF เช่นนั้น สิ่งที่ให้ไว้ข้างต้นดูเหมือนจะถูกต้องต่อสายตาของฉันสำหรับคดีที่ถูก จำกัด เหล่านี้

ถ้าสมมุติฐานว่างนั้นประกอบไปด้วยสิ่งต่าง ๆ ก็จะซับซ้อนกว่านี้เล็กน้อย หลักฐานทั่วไปที่สุดของความจริงข้อนี้ฉันได้เห็นภายใต้กรณีคอมโพสิตโดยใช้ข้อสันนิษฐานบางอย่างเกี่ยวกับภูมิภาคที่ถูกปฏิเสธให้ไว้ใน Lehmann และ Romano ของ "Hypotheses Statisitical Hypotheses" หน้าทดสอบ 63-64 ฉันจะพยายามสร้างข้อโต้แย้งด้านล่าง ...

เราทดสอบสมมติฐาน nullเมื่อเทียบกับสมมติฐานทางเลือกขึ้นอยู่กับสถิติทดสอบซึ่งเราจะแสดงเป็นตัวแปรสุ่มXสถิติการทดสอบสันนิษฐานว่ามาจากบางพารามิเตอร์เช่นโดยที่เป็นองค์ประกอบของตระกูลของการแจกแจงความน่าจะเป็นและเป็นพื้นที่พารามิเตอร์ สมมติฐานและสมมติฐานทางเลือกสร้างพาร์ติชันของใน H0H1XXPθPθP{PθθΘ}ΘH0:θΘ0H1:θΘ1Θ

Θ=Θ0Θ1
โดยที่
Θ0Θ1=.

ผลของการทดสอบอาจแสดง ที่สำหรับการใด ๆ ชุดเรากำหนด ที่นี่ระดับความสำคัญของเราและหมายถึงเขตการปฏิเสธของการทดสอบความสำคัญระดับ\

ϕα(X)=1Rα(X)
S
1S(X)={1,XS,0,XS.
αRαα

สมมติว่าภูมิภาคปฏิเสธตอบสนองความ ถ้าalpha' ในกรณีของภูมิภาคที่ถูกปฏิเสธแบบซ้อนมันมีประโยชน์ในการกำหนดว่าสมมติฐานว่างจะถูกปฏิเสธในระดับนัยสำคัญหรือไม่ แต่จะกำหนดระดับนัยสำคัญที่น้อยที่สุดซึ่งสมมติฐานว่างจะถูกปฏิเสธ ระดับนี้เรียกว่าค่าp , หมายเลขนี้ทำให้เรามีความคิด วิธีการที่แข็งแกร่งข้อมูล (เป็นภาพจากการทดสอบทางสถิติ ) ขัดแย้งกับสมมติฐาน null H_0

RαRα
α<αα
p^=p^(X)inf{αXRα},
XH0

สมมติว่าสำหรับบางและ\ สมมติว่าภูมิภาคที่ถูกปฏิเสธเชื่อฟังคุณสมบัติการสร้างรังที่ระบุไว้ด้านบน จากนั้นให้ถือดังต่อไปนี้:XPθθΘH0:θΘ0Rα

  1. ถ้าสำหรับทั้งหมดแล้วสำหรับ , supθΘ0Pθ(XRα)α0<α<1θΘ0

    Pθ(p^u)ufor all0u1.

  2. ถ้าสำหรับเรามีสำหรับทั้งหมดดังนั้นสำหรับเรามี θΘ0Pθ(XRα)=α0<α<1θΘ0

    Pθ(p^u)=ufor all0u1.

โปรดสังเกตว่าคุณสมบัติแรกนี้เพียงแค่บอกเราว่าอัตราบวกเป็นเท็จถูกควบคุมที่โดยปฏิเสธเมื่อ p-value น้อยกว่าและคุณสมบัติที่สองบอกเรา (ให้สมมติฐานเพิ่มเติม) ว่าค่า p มีการกระจายอย่างสม่ำเสมอภายใต้ null สมมติฐาน.uu

หลักฐานดังต่อไปนี้:

  1. ปล่อย และถือว่าสำหรับทั้งหมด แล้วตามด้วยคำนิยามของเราได้สำหรับทุกยูวีโดย monotonicity และสมมติฐานที่มันตามที่สำหรับทุกยูวีปล่อยให้มันตามที่ยูθΘ0supθΘ0Pθ(XRα)α0<α<1p^{p^u}{XRv}u<vPθ(p^u)Pθ(XRv)vu<vvuPθ(p^u)u

  2. Letและคิดว่าทั้งหมด<1 จากนั้นและโดยการพูดซ้ำซากมันจะตามมาว่าU) พิจารณา (1) มันตามที่u θΘ0Pθ(XRα)=α0<α<1{XRu}{p^(X)u}u=Pθ(XRu)Pθ(p^u)Pθ(p^(X)u)=u

โปรดทราบว่าสมมติฐานใน (2) ไม่ถือเมื่อสถิติการทดสอบไม่ต่อเนื่องแม้ว่าสมมติฐานว่างจะง่ายกว่าคอมโพสิต Take เช่นกับและ0.5 คือพลิกเหรียญสิบครั้งและทดสอบว่ามันยุติธรรมเทียบกับลำเอียงไปทางหัว (เข้ารหัสเป็น 1) ความน่าจะเป็นที่ได้เห็น 10 หัวในการโยนเหรียญอย่างยุติธรรม 10 ครั้งคือ (1/2) ^ 10 = 1/1024 ความน่าจะเป็นที่ได้เห็น 9 หรือ 10 หัวในการโยนเหรียญอย่างยุติธรรม 10 ครั้งคือ 11/1024 สำหรับอย่างเคร่งครัดระหว่าง 1/1024 ถึง 11/1024 คุณจะปฏิเสธค่าว่างถ้าแต่เราไม่มีสำหรับค่าเหล่านั้นของเมื่อXBinom(10,θ)H0:θ=.5H1:θ>0.5αX=10Pr(XRα)=ααθ=0.50.5 แทนสำหรับเช่น\ Pr(XRα)=1/1024α


ควรชี้แจงว่าลักษณะทั่วไปที่มีให้ใน Lehmann และ Romano สำหรับพื้นที่ปฏิเสธทั่วไป คุณยังคงมีค่า p ที่ "ใช้ได้" สำหรับคอมโพสิตนัลและสถิติการทดสอบที่ไม่ต่อเนื่อง
อดัม

-12

หากค่า p มีการกระจายอย่างสม่ำเสมอภายใต้ H0 นั่นหมายความว่ามันมีแนวโน้มที่จะเห็นค่า p-.05 เป็น p-value ที่. 80 แต่นี่ไม่เป็นความจริงเนื่องจากมันมีโอกาสน้อยที่จะสังเกต p- ค่า. 05 กว่าค่า p-.80 เพราะนั่นคือคำจำกัดความของการแจกแจงแบบปกติที่ใช้ค่า p จะมีตัวอย่างเพิ่มเติมที่ตกลงมาในช่วงของภาวะปกติมากกว่าโดยนิยาม ดังนั้นจึงมีแนวโน้มที่จะพบค่า p ที่ใหญ่กว่าค่าที่น้อยกว่า


3
-1 นี่เป็นสิ่งที่ผิดอย่างสมบูรณ์ ฉันสงสัยว่าใครโหวตสิ่งนี้ ค่า P ภายใต้จุด H0 มีการกระจายอย่างสม่ำเสมอ
อะมีบา

1
-1 สิ่งนี้ไม่ได้มีเหตุผลเพียงพอที่จะเรียกว่าผิด: "ช่วงของความปกติ" คือความหมายและค่า p โดยเนื้อแท้ไม่มีอะไรเกี่ยวข้องกับการแจกแจงแบบปกติในตอนแรก
whuber
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.