คำถามติดแท็ก p-value

ฉันเห็นว่าหนึ่งครั้งจากการทดสอบทั้งหมดยี่สิบครั้งที่พวกเขารันดังนั้นพวกเขาจึงคิดผิด ๆ ว่าในช่วงหนึ่งของการทดสอบยี่สิบครั้งผลลัพธ์จะมีนัยสำคัญ ( )0.05 = 1 / 20p &lt; 0.05p&lt;0.05p < 0.050.05 = 1 / 200.05=1/200.05 = 1/20 xkcd jelly bean comic - "สำคัญ" หัวข้อ: สำคัญ ข้อความโฉบ: "'งั้นเอ่อเราได้ทำการศึกษาสีเขียวอีกครั้งและไม่มีการเชื่อมโยงมันอาจเป็น -' 'การวิจัยมีความขัดแย้งกับการเชื่อมโยงสีเขียวของถั่วเขียว / สิว;

59 hypothesis-testing  statistical-significance  confidence-interval  p-value  humor 

มีโรงเรียนแห่งความคิดบางแห่งตามที่วิธีการทดสอบทางสถิติที่แพร่หลายที่สุดคือ "ลูกผสม" ระหว่างสองวิธี: ฟิชเชอร์และเนย์แมน - เพียร์สัน; ทั้งสองวิธีการเรียกร้องไปเป็น "เข้ากันไม่ได้" และด้วยเหตุนี้ "ลูกผสม" ที่เกิดขึ้นจึงเป็น "ยำ mashmash" ฉันจะให้บรรณานุกรมและคำพูดบางส่วนด้านล่าง แต่ตอนนี้พอจะพูดได้ว่ามีจำนวนมากที่เขียนเกี่ยวกับว่าในบทความวิกิพีเดียในการทดสอบสมมติฐานทางสถิติ ที่นี่บน CV จุดนี้ทำซ้ำโดย @Michael Lew (ดูที่นี่และที่นี่ ) คำถามของฉันคือ: ทำไม F และ NP ถึงวิธีอ้างว่าไม่เข้ากันและทำไมไฮบริดที่อ้างว่าไม่สอดคล้องกัน? โปรดทราบว่าฉันอ่านเอกสารต่อต้านไฮบริดอย่างน้อยหกฉบับ (ดูด้านล่าง) แต่ก็ยังไม่เข้าใจปัญหาหรือข้อโต้แย้ง สังเกตว่าฉันไม่แนะนำให้อภิปรายว่า F หรือ NP เป็นวิธีที่ดีกว่าหรือไม่ ฉันไม่เสนอที่จะพูดคุยเกี่ยวกับกรอบบ่อยครั้งกับเบย์ แต่คำถามคือการยอมรับว่าทั้ง F และ NP เป็นวิธีที่ถูกต้องและมีความหมายอะไรที่แย่เกี่ยวกับลูกผสมของพวกเขา นี่คือวิธีที่ฉันเข้าใจสถานการณ์ วิธีการของฟิชเชอร์คือการคำนวณค่าและใช้เป็นหลักฐานต่อสมมติฐานว่าง ยิ่งเล็กเท่าไหร่หลักฐานก็ยิ่งน่าเชื่อถือมากเท่านั้น ผู้วิจัยควรรวมหลักฐานนี้กับความรู้พื้นฐานของเขาตัดสินใจว่ามันน่าเชื่อถือเพียงพอและดำเนินการต่อไป (หมายเหตุว่ามุมมองของฟิชเชอร์การเปลี่ยนแปลงในช่วงปีที่ผ่านมา แต่นี่คือสิ่งที่เขาดูเหมือนว่าจะมีการแปรสภาพในที่สุดก็ไป.) ในทางตรงกันข้ามวิธี Neyman …

56 hypothesis-testing  statistical-significance  p-value  type-i-and-ii-errors  history 

ฉันใช้ lme4 ใน R เพื่อให้พอดีกับโมเดลผสม lmer(value~status+(1|experiment))) โดยที่ค่านั้นต่อเนื่องสถานะและการทดลองเป็นปัจจัยและฉันได้รับ Linear mixed model fit by REML Formula: value ~ status + (1 | experiment) AIC BIC logLik deviance REMLdev 29.1 46.98 -9.548 5.911 19.1 Random effects: Groups Name Variance Std.Dev. experiment (Intercept) 0.065526 0.25598 Residual 0.053029 0.23028 Number of obs: 264, groups: experiment, …

56 r  hypothesis-testing  mixed-model  p-value  lme4-nlme 

ผมได้อ่านเจฟฟ์คัมมิงกระดาษ 2008 การจำลองแบบและช่วงเวลา:ค่าทำนายอนาคตเพียงราง ๆ แต่ช่วงความเชื่อมั่นทำได้ดีกว่าpppppp พีพี[~ 200 อ้างอิงใน Google Scholar] - และกำลังสับสนโดยหนึ่งของการเรียกร้องที่อยู่ใจกลางเมือง นี่คือหนึ่งในชุดเอกสารที่คัมมิงโต้แย้งกับ value และสนับสนุนช่วงความมั่นใจ คำถามของฉัน แต่เป็นไม่ได้เกี่ยวกับการอภิปรายครั้งนี้และมีเพียงการเรียกร้องความกังวลหนึ่งที่เฉพาะเจาะจงเกี่ยวกับ -valuespppppp ให้ฉันอ้างอิงจากนามธรรม: บทความนี้แสดงให้เห็นว่าถ้าผลการทดสอบครั้งแรกในสองด้าน , มี โอกาสที่นกหนึ่ง -value จากการจำลองแบบจะตกอยู่ในช่วงเวลาเป็นโอกาสที่และอย่างเต็มที่โอกาสที่0.44 ช่วงเวลาที่เรียกว่าช่วงเวลามีความกว้างนี้ แต่ขนาดตัวอย่างใหญ่p=.05p=.05p= .0580%80%80\%ppp(.00008,.44)(.00008,.44)(.00008, .44)10%10%10\%p&lt;.00008p&lt;.00008p < .0000810%10%10\%p&gt;.44p&gt;.44p > .44ppp คัมมิงอ้างว่า "ช่วง" และในความเป็นจริงการกระจายทั้ง -values ที่หนึ่งจะได้รับเมื่อจำลองการทดลองเดิม (แบบเดียวกับขนาดตัวอย่างคงที่) ขึ้นอยู่เฉพาะในต้นฉบับ -valueและไม่ขึ้นอยู่กับขนาดผลกระทบที่แท้จริงกำลังไฟขนาดตัวอย่างหรือสิ่งอื่นใด:pppp p o b tpppppppobtpobtp_\mathrm{obt} [... ] การกระจายความน่าจะเป็นของสามารถได้มาโดยไม่ทราบหรือสมมติว่ามีค่าสำหรับ (หรือพลังงาน) [... …

52 hypothesis-testing  p-value  power  replicability 

ฉันรู้ว่าสิ่งนี้เป็นเรื่องอื้อฉาวและน่าเบื่อ แต่ในฐานะนักวิจัยในสาขานอกสถิติด้วยการศึกษาอย่างเป็นทางการในสถิติที่ จำกัด ฉันมักจะสงสัยว่าฉันเขียน "p-value" ถูกต้องหรือไม่ โดยเฉพาะ: "p" ควรจะเป็นตัวพิมพ์ใหญ่หรือไม่ "p" ควรจะเป็นตัวเอียงหรือไม่ (หรือในแบบอักษรคณิตศาสตร์ใน TeX?) ควรมีเครื่องหมายขีดคั่นระหว่าง "p" และ "value" หรือไม่? อีกวิธีหนึ่งไม่มีวิธีการเขียน "p-value" ที่เหมาะสม "และ dolt ใด ๆ จะเข้าใจสิ่งที่ฉันหมายถึงถ้าฉันวาง" p "ถัดจาก" value "ในการเปลี่ยนแปลงตัวเลือกเหล่านี้

50 hypothesis-testing  p-value  terminology 

ฉันมีชุดข้อมูลตัวอย่างที่มี 31 ค่า ฉันใช้การทดสอบสองทางโดยใช้ R เพื่อทดสอบว่าค่าเฉลี่ยจริงเท่ากับ 10: t.test(x=data, mu=10, conf.level=0.95) เอาท์พุท: t = 11.244, df = 30, p-value = 2.786e-12 alternative hypothesis: true mean is not equal to 10 95 percent confidence interval: 19.18980 23.26907 sample estimates: mean of x 21.22944 ตอนนี้ฉันกำลังพยายามทำสิ่งเดียวกันด้วยตนเอง: t.value = (mean(data) - 10) / (sd(data) / …

48 r  statistical-significance  t-test  p-value 

ฉันเสร็จสิ้นการวิเคราะห์ข้อมูลและได้รับ "ผลลัพธ์ที่มีนัยสำคัญทางสถิติ" ซึ่งสอดคล้องกับสมมติฐานของฉัน อย่างไรก็ตามนักเรียนในสถิติบอกว่านี่เป็นข้อสรุปก่อนวัยอันควร ทำไม? จำเป็นต้องมีสิ่งอื่นอีกไหมในรายงานของฉัน?

46 hypothesis-testing  statistical-significance  spss  p-value 

ฉันเรียนรู้ในชั้นเรียนโมเดลเชิงเส้นของฉันว่าหากตัวทำนายสองตัวมีความสัมพันธ์กันและทั้งสองอย่างรวมอยู่ในรูปแบบหนึ่งจะไม่มีนัยสำคัญ ตัวอย่างเช่นสมมติขนาดของบ้านและจำนวนห้องนอนมีความสัมพันธ์ เมื่อทำนายค่าใช้จ่ายของบ้านโดยใช้ตัวทำนายสองตัวนี้หนึ่งในนั้นสามารถทิ้งได้เพราะทั้งคู่ให้ข้อมูลเหมือนกันจำนวนมาก โดยสังหรณ์ใจสิ่งนี้สมเหตุสมผล แต่ฉันมีคำถามทางเทคนิคเพิ่มเติม: ผลกระทบนี้แสดงให้เห็นอย่างไรในค่า p ของสัมประสิทธิ์การถดถอยเมื่อรวมเพียงหนึ่งหรือรวมทั้งตัวทำนายทั้งสองในตัวแบบ? ความแปรปรวนของสัมประสิทธิ์การถดถอยได้รับผลกระทบอย่างไรจากการรวมทั้งตัวทำนายทั้งสองตัวในแบบจำลองหรือแค่มีตัวเดียว? ฉันจะรู้ได้อย่างไรว่าตัวทำนายแบบใดที่เลือกให้มีความสำคัญน้อยกว่า การรวมเพียงหนึ่งหรือรวมทั้งตัวทำนายทั้งสองเปลี่ยนค่า / ความแปรปรวนของต้นทุนที่คาดการณ์ของฉันได้อย่างไร

45 regression  multiple-regression  p-value  linear-model  multicollinearity 

ฉันเพิ่งเรียนรู้เกี่ยวกับวิธีการของฟิชเชอร์ในการรวมค่า p นี่คือความจริงที่ว่าตามตัวอักษรตามตัวอักษร - ตามตัวอักษร p- ตามตัวอักษรกระจายและ ซึ่งฉันคิดว่าเป็นอัจฉริยะ แต่คำถามของฉันคือทำไมไปทางที่ซับซ้อนนี้ และทำไมไม่ (มีอะไรผิดปกติ) เพียงแค่ใช้ค่าเฉลี่ยของค่า p และใช้ทฤษฎีบทขีด จำกัด กลาง? หรือค่ามัธยฐาน? ฉันพยายามที่จะเข้าใจความเป็นอัจฉริยะของ RA Fisher หลังโครงการอันยิ่งใหญ่นี้−2∑i=1nlogXi∼χ2(2n), given X∼Unif(0,1)−2∑i=1nlog⁡Xi∼χ2(2n), given X∼Unif(0,1)-2\sum_{i=1}^n{\log X_i} \sim \chi^2(2n), \text{ given } X \sim \text{Unif}(0,1)

44 hypothesis-testing  p-value  multiple-comparisons  central-limit-theorem  combining-p-values 

การพูดค่า p-value โดยประมาณให้ความน่าจะเป็นของผลลัพธ์ที่สังเกตได้ของการทดลองที่กำหนดสมมติฐาน (model) การมีความน่าจะเป็นนี้ (p-value) เราต้องการตัดสินสมมติฐานของเรา แต่มันจะไม่เป็นธรรมชาติหรือที่จะคำนวณความน่าจะเป็นของสมมติฐานที่ได้จากผลลัพธ์ที่สังเกตได้หรือไม่ ในรายละเอียดเพิ่มเติม เรามีเหรียญ เราพลิกมัน 20 ครั้งและเราได้ 14 หัว (14 จาก 20 คือสิ่งที่ฉันเรียกว่า "ผลลัพธ์ของการทดสอบ") ทีนี้สมมุติฐานของเราคือว่าเหรียญมีความยุติธรรม (ความน่าจะเป็นของหัวและหางมีค่าเท่ากัน) ตอนนี้เราคำนวณค่า p ซึ่งเท่ากับความน่าจะเป็นที่จะได้ 14 หรือมากกว่าใน 20 เหรียญ ตกลงตอนนี้เรามีความน่าจะเป็นนี้ (0.058) และเราต้องการใช้ความน่าจะเป็นนี้ในการตัดสินแบบจำลองของเรา (เป็นไปได้อย่างไรที่เรามีเหรียญที่ยุติธรรม) แต่ถ้าเราต้องการประเมินความน่าจะเป็นของโมเดลทำไมเราไม่คำนวณความน่าจะเป็นของโมเดลที่ได้รับจากการทดสอบ ทำไมเราจึงคำนวณความน่าจะเป็นของการทดสอบที่ได้รับจากแบบจำลอง (p-value)

43 likelihood  p-value 

ฉันพยายามที่จะเข้าใจเหตุผลโดยเลือกวิธีการทดสอบที่เฉพาะเจาะจงเมื่อจัดการกับการทดสอบ A / B แบบง่าย - (เช่นสองรูปแบบ / กลุ่มที่มีการตอบกลับแบบไบนารี (แปลงหรือไม่) ตัวอย่างเช่นฉันจะใช้ข้อมูลด้านล่าง Version Visits Conversions A 2069 188 B 1826 220 คำตอบยอดนิยมที่นี่ดีมากและพูดคุยเกี่ยวกับข้อสมมติฐานพื้นฐานสำหรับการทดสอบ z, t และ chi square แต่สิ่งที่ฉันสับสนคือแหล่งข้อมูลออนไลน์ที่แตกต่างกันจะอ้างอิงแนวทางที่แตกต่างกันและคุณจะคิดว่าสมมติฐานสำหรับการทดสอบ A / B พื้นฐานควรเหมือนกันหรือไม่ ตัวอย่างเช่นบทความนี้ใช้คะแนน z : บทความนี้ใช้สูตรต่อไปนี้ (ซึ่งฉันไม่แน่ใจว่าแตกต่างจากการคำนวณ zscore หรือไม่): บทความนี้อ้างอิงการทดสอบ t (p 152): ดังนั้น arguemnts อะไรที่สามารถทำให้เป็นที่นิยมในแนวทางที่แตกต่างกันเหล่านี้? ทำไมหนึ่งจะมีการตั้งค่า? หากต้องการโยนผู้สมัครอีกหนึ่งคนตารางด้านบนสามารถเขียนใหม่เป็นตารางฉุกเฉิน 2x2 ซึ่งสามารถใช้การทดสอบฟิชเชอร์ (p5) …

38 statistical-significance  chi-squared  p-value  fishers-exact  z-statistic 

วันนี้ที่สโมสรวารสารที่ผ่านการตรวจสอบความถูกต้องของไขว้ (ทำไมคุณไม่อยู่ที่นั่น?) @mbq ถาม: คุณคิดว่าพวกเรา (นักวิทยาศาสตร์ด้านข้อมูลสมัยใหม่) รู้หรือไม่ว่าความหมายสำคัญคืออะไร? และเกี่ยวข้องกับความมั่นใจในผลลัพธ์ของเราอย่างไร @ มิเชลตอบว่าบางคน (รวมถึงฉัน) มักจะทำ: ฉันค้นหาแนวคิดของความสำคัญ (ตามค่า p) มีประโยชน์น้อยลงเรื่อย ๆ เมื่อฉันทำงานต่อไป ตัวอย่างเช่นฉันสามารถใช้ชุดข้อมูลที่มีขนาดใหญ่มากดังนั้นทุกอย่างมีความสำคัญทางสถิติ ( p &lt; .01พี&lt;.01p<.01 ) นี่อาจเป็นคำถามที่งี่เง่า แต่ไม่ใช่ปัญหาที่การทดสอบสมมติฐานใช่หรือไม่ ถ้าคุณทดสอบสมมุติฐานว่าง "A เท่ากับ B" คุณก็รู้คำตอบคือ "ไม่" ชุดข้อมูลที่ใหญ่กว่าจะนำคุณเข้าใกล้ข้อสรุปที่แท้จริงอย่างหลีกเลี่ยงไม่ได้เท่านั้น ฉันเชื่อว่ามันคือเดมิงที่เคยยกตัวอย่างกับสมมติฐาน "จำนวนขนที่อยู่ทางด้านขวาของลูกแกะเท่ากับจำนวนขนที่อยู่ทางซ้าย" แน่นอนว่าไม่ใช่ สมมติฐานที่ดีกว่าคือ "A ไม่แตกต่างจาก B มากกว่ามาก" หรือในตัวอย่างเนื้อแกะ "จำนวนขนที่ด้านข้างของแกะไม่แตกต่างกันเกิน X%" มันสมเหตุสมผลหรือไม่

37 hypothesis-testing  p-value  large-data 

บทความ " The Odds, อัพเดทอย่างต่อเนื่อง" จาก NY Timesเกิดขึ้นเพื่อดึงดูดความสนใจของฉัน จะสั้นก็กล่าวว่า [สถิติแบบเบย์] พิสูจน์ให้เห็นแล้วว่ามีประโยชน์อย่างยิ่งในการเข้าถึงปัญหาที่ซับซ้อนรวมถึงการค้นหาเช่น Coast Guard ที่ใช้ในปี 2013 เพื่อค้นหาชาวประมงที่ขาดหายไป John Aldridge (แม้ว่าจะยังไม่ถึงตอนนี้ก็ตาม ...... สถิติแบบเบย์กำลังกระเพื่อมผ่านทุกสิ่งตั้งแต่ฟิสิกส์จนถึงการวิจัยมะเร็งนิเวศวิทยาจนถึงจิตวิทยา ... ในบทความนี้ยังมีการวิพากษ์วิจารณ์เกี่ยวกับค่า p ของผู้ถี่ประจำเช่น: ผลลัพธ์มักจะถูกพิจารณาว่า“ มีนัยสำคัญทางสถิติ” ถ้าค่า p น้อยกว่า 5 เปอร์เซ็นต์ แต่มีอันตรายในประเพณีนี้ Andrew Gelman ศาสตราจารย์ด้านสถิติของโคลัมเบียกล่าว แม้ว่านักวิทยาศาสตร์จะทำการคำนวณอย่างถูกต้องเสมอ - และพวกเขาไม่ทำเขาให้เหตุผล - ยอมรับทุกสิ่งด้วยค่า p-value 5 เปอร์เซ็นต์ซึ่งหมายความว่าหนึ่งใน 20 ของผลลัพธ์“ นัยสำคัญทางสถิติ” ไม่มีอะไรเลยนอกจากเสียงรบกวนแบบสุ่ม นอกจากนี้ข้างต้นบางทีกระดาษที่มีชื่อเสียงที่สุดที่วิจารณ์ p-value …

36 hypothesis-testing  statistical-significance  bayesian  p-value  reproducible-research 

ฉันเพิ่งมาข้ามกระดาษ"การไม่มีความหมายของสมมติฐานสำคัญการทดสอบ" เจฟฟ์กิลล์ (1999) ผู้เขียนยกความเข้าใจผิดที่พบบ่อยเกี่ยวกับการทดสอบสมมติฐานและค่า p ซึ่งฉันมีสองคำถามที่เฉพาะเจาะจง: P-ค่าเป็นเทคนิคซึ่งเป็นออกแหลมกระดาษโดยทั่วไปไม่ได้บอกเราอะไรเกี่ยวกับ , นอกเสียจากว่าเราจะรู้ว่าการแจกแจงส่วนเพิ่มซึ่งไม่ค่อยเกิดขึ้นในการทดสอบสมมติฐาน "ทุกวัน" เมื่อเราได้ค่า p-value ขนาดเล็กและ "ปฏิเสธสมมติฐานว่าง" อะไรคือข้อความที่น่าจะเป็นที่เราทำเพราะเราไม่สามารถพูดอะไรเกี่ยวกับ ?P(observation|H0)P(observation|H0)P({\rm observation}|H_{0})P(H0|observation)P(H0|observation)P(H_{0}|{\rm observation})P(H0|observation)P(H0|observation)P(H_{0}|{\rm observation}) คำถามที่สองเกี่ยวข้องกับข้อความเฉพาะจากหน้า 6 (652) ของกระดาษ: เนื่องจากค่า p-value หรือช่วงของค่า p ที่ระบุโดยดวงดาวไม่ได้ถูกตั้งค่ามาก่อนจึงไม่ใช่ความน่าจะเป็นในระยะยาวที่จะทำให้เกิดข้อผิดพลาดประเภทที่ 1 แต่โดยทั่วไปถือว่าเป็นเช่นนั้น ใครสามารถช่วยอธิบายสิ่งที่มีความหมายโดยคำสั่งนี้

36 hypothesis-testing  p-value 

ข้อความนี้ในบทความของ Reuter จาก 25.02.2019 ขณะนี้มีอยู่ทั่วข่าว: หลักฐานของภาวะโลกร้อนที่มนุษย์สร้างขึ้นได้รับความนิยม 'มาตรฐานทองคำ' [นักวิทยาศาสตร์] กล่าวว่าความมั่นใจว่ากิจกรรมของมนุษย์กำลังเพิ่มความร้อนที่พื้นผิวโลกได้ถึงระดับ "ห้าซิกม่า" ซึ่งเป็นมาตรวัดทางสถิติซึ่งหมายความว่ามีโอกาสเพียงหนึ่งในล้านเท่านั้นที่สัญญาณจะปรากฏขึ้นหากมี ไม่มีภาวะโลกร้อน ฉันเชื่อว่านี่หมายถึงบทความนี้"ฉลองครบรอบสามเหตุการณ์สำคัญในวิทยาศาสตร์การเปลี่ยนแปลงสภาพภูมิอากาศ"ซึ่งมีพล็อตซึ่งแสดงแผนผังด้านล่าง (เป็นภาพร่างเพราะฉันไม่สามารถหาภาพโอเพนซอร์สสำหรับต้นฉบับที่คล้ายกัน พบรูปภาพฟรีที่นี่ ) บทความอื่นจากกลุ่มการวิจัยเดียวกันซึ่งดูเหมือนว่าจะเป็นแหล่งต้นฉบับมากกว่าอยู่ที่นี่ (แต่ใช้นัยสำคัญ 1% แทน5 σ5σ5\sigma ) พล็อตนำเสนอการวัดจากกลุ่มวิจัยที่แตกต่างกันสามกลุ่ม ได้แก่ ระบบตรวจจับระยะไกล, ศูนย์สำหรับการใช้งานและการวิจัยดาวเทียมและมหาวิทยาลัยอลาบามาที่ Huntsville พล็อตแสดงเส้นโค้งสัญญาณที่เพิ่มขึ้นสามเส้นต่ออัตราส่วนสัญญาณรบกวนเป็นฟังก์ชันของแนวโน้มความยาว 5 σ5σ5\sigma ††^{\dagger}5 σ5σ5\sigma 5 σ5σ5 \sigma ††^\dagger

35 p-value  intuition  application  communication  climate