คำถามติดแท็ก type-i-and-ii-errors

ฉันไม่ใช่นักสถิติด้วยการศึกษาฉันเป็นวิศวกรซอฟต์แวร์ แต่สถิติเกิดขึ้นมากมาย ในความเป็นจริงคำถามที่เฉพาะเจาะจงเกี่ยวกับข้อผิดพลาดของ Type I และ Type II นั้นกำลังเกิดขึ้นมากมายในระหว่างการศึกษาของฉันสำหรับการสอบเพื่อการพัฒนาซอฟท์แวร์รองที่ได้รับการรับรอง (คณิตศาสตร์และสถิติคือ 10% ของการสอบ) ฉันมีปัญหาเกิดขึ้นเสมอกับคำจำกัดความที่ถูกต้องสำหรับข้อผิดพลาด Type I และ Type II - แม้ว่าฉันจะจำได้ตอนนี้ (และสามารถจดจำได้เกือบตลอดเวลา) แต่ฉันไม่ต้องการหยุดการสอบนี้ พยายามจดจำสิ่งที่แตกต่าง ฉันรู้ว่าข้อผิดพลาดประเภทที่ 1 นั้นเป็นค่าบวกเท็จหรือเมื่อคุณปฏิเสธสมมติฐานว่างเปล่าและมันเป็นจริงและข้อผิดพลาด Type II นั้นเป็นค่าลบที่ผิดพลาดหรือเมื่อคุณยอมรับสมมติฐานว่างและมันก็เป็นเท็จ มีวิธีง่าย ๆ ในการจดจำความแตกต่างเช่นตัวช่วยจำหรือไม่? นักสถิติมืออาชีพทำมันได้อย่างไร - มันเป็นแค่สิ่งที่พวกเขารู้จากการใช้หรือถกเถียงกันบ่อยๆ? (หมายเหตุด้านข้าง: คำถามนี้อาจใช้แท็กที่ดีกว่าได้สิ่งหนึ่งที่ฉันต้องการสร้างคือ "คำศัพท์" แต่ฉันไม่มีชื่อเสียงพอที่จะทำหากใครบางคนสามารถเพิ่มได้มันจะดีมากขอบคุณ)

88 terminology  type-i-and-ii-errors 

ฉันสงสัยว่าทำไมการรวบรวมข้อมูลจนกว่าจะได้ผลลัพธ์ที่สำคัญ (เช่น ) ได้รับ (เช่นการแฮ็ค p) เพิ่มอัตราความผิดพลาด Type I หรือไม่p < .05p<.05p \lt .05 ฉันขอชื่นชมการRสาธิตปรากฏการณ์นี้อย่างมาก

60 r  hypothesis-testing  p-value  simulation  type-i-and-ii-errors 

มีโรงเรียนแห่งความคิดบางแห่งตามที่วิธีการทดสอบทางสถิติที่แพร่หลายที่สุดคือ "ลูกผสม" ระหว่างสองวิธี: ฟิชเชอร์และเนย์แมน - เพียร์สัน; ทั้งสองวิธีการเรียกร้องไปเป็น "เข้ากันไม่ได้" และด้วยเหตุนี้ "ลูกผสม" ที่เกิดขึ้นจึงเป็น "ยำ mashmash" ฉันจะให้บรรณานุกรมและคำพูดบางส่วนด้านล่าง แต่ตอนนี้พอจะพูดได้ว่ามีจำนวนมากที่เขียนเกี่ยวกับว่าในบทความวิกิพีเดียในการทดสอบสมมติฐานทางสถิติ ที่นี่บน CV จุดนี้ทำซ้ำโดย @Michael Lew (ดูที่นี่และที่นี่ ) คำถามของฉันคือ: ทำไม F และ NP ถึงวิธีอ้างว่าไม่เข้ากันและทำไมไฮบริดที่อ้างว่าไม่สอดคล้องกัน? โปรดทราบว่าฉันอ่านเอกสารต่อต้านไฮบริดอย่างน้อยหกฉบับ (ดูด้านล่าง) แต่ก็ยังไม่เข้าใจปัญหาหรือข้อโต้แย้ง สังเกตว่าฉันไม่แนะนำให้อภิปรายว่า F หรือ NP เป็นวิธีที่ดีกว่าหรือไม่ ฉันไม่เสนอที่จะพูดคุยเกี่ยวกับกรอบบ่อยครั้งกับเบย์ แต่คำถามคือการยอมรับว่าทั้ง F และ NP เป็นวิธีที่ถูกต้องและมีความหมายอะไรที่แย่เกี่ยวกับลูกผสมของพวกเขา นี่คือวิธีที่ฉันเข้าใจสถานการณ์ วิธีการของฟิชเชอร์คือการคำนวณค่าและใช้เป็นหลักฐานต่อสมมติฐานว่าง ยิ่งเล็กเท่าไหร่หลักฐานก็ยิ่งน่าเชื่อถือมากเท่านั้น ผู้วิจัยควรรวมหลักฐานนี้กับความรู้พื้นฐานของเขาตัดสินใจว่ามันน่าเชื่อถือเพียงพอและดำเนินการต่อไป (หมายเหตุว่ามุมมองของฟิชเชอร์การเปลี่ยนแปลงในช่วงปีที่ผ่านมา แต่นี่คือสิ่งที่เขาดูเหมือนว่าจะมีการแปรสภาพในที่สุดก็ไป.) ในทางตรงกันข้ามวิธี Neyman …

56 hypothesis-testing  statistical-significance  p-value  type-i-and-ii-errors  history 

อะไรคือแรงจูงใจในการแนะนำระดับเพิ่มเติมของการอ้อมไปจากเชิงพรรณนา 'false positive' ถึงจำนวนเต็ม '1'? 'บวกผิด' ยาวเกินไปจริง ๆ หรือ

21 terminology  frequentist  type-i-and-ii-errors 

ฉันมีคำถามสองข้อเกี่ยวกับเวลาที่จะใช้การปรับ Bonferroni: เหมาะสมที่จะใช้การปรับ Bonferroni ในทุกกรณีของการทดสอบหลายครั้งหรือไม่? หากมีการทดสอบกับชุดข้อมูลหนึ่งชุดจะแยกชุดข้อมูลออกเป็นระดับปลีกย่อย (เช่นแยกข้อมูลตามเพศ) และทำการทดสอบเดียวกันสิ่งนี้จะมีผลต่อจำนวนการทดสอบแต่ละรายการที่รับรู้อย่างไร นั่นคือถ้ามีการทดสอบสมมติฐาน X บนชุดข้อมูลที่มีข้อมูลจากทั้งชายและหญิงจากนั้นชุดข้อมูลจะถูกแบ่งออกเพื่อให้ข้อมูลเพศชายและเพศหญิงแยกกันและสมมติฐานเดียวกันที่ทดสอบจำนวนของสมมติฐานแต่ละรายการจะยังคงเป็น X หรือเพิ่มขึ้นเนื่องจาก การทดสอบเพิ่มเติม? ขอบคุณสำหรับความคิดเห็นของคุณ

21 multiple-comparisons  bonferroni  type-i-and-ii-errors 

ข้อความต่อไปนี้มาจากบทความวิจัยที่มีชื่อเสียงนัยสำคัญทางสถิติสำหรับการศึกษาจีโนมไวด์โดย Storey & Tibshirani (2003): ตัวอย่างเช่นอัตราบวกปลอม 5% หมายความว่าโดยเฉลี่ย 5% ของคุณสมบัติที่เป็นโมฆะจริงในการศึกษาจะเรียกว่ามีนัยสำคัญ FDR (อัตราการค้นพบที่ผิดพลาด) ที่ 5% หมายความว่าในทุกฟีเจอร์ที่เรียกว่าสำคัญ 5% ของฟีเจอร์เหล่านี้มีค่าเฉลี่ยโดยแท้จริง ใครสามารถอธิบายสิ่งที่หมายถึงการใช้ตัวอย่างที่เป็นตัวเลขหรือภาพง่าย? ฉันมีเวลายากที่จะเข้าใจความหมายของมัน ฉันพบโพสต์ต่าง ๆ ใน FDR หรือ FPR เพียงอย่างเดียว แต่ไม่พบที่ ๆ ทำการเปรียบเทียบเฉพาะ มันจะดีเป็นพิเศษหากมีผู้เชี่ยวชาญในพื้นที่นี้สามารถแสดงสถานการณ์ที่คนหนึ่งดีกว่าคนอื่นหรือทั้งสองอย่างนั้นดีหรือไม่ดี

20 hypothesis-testing  false-discovery-rate  type-i-and-ii-errors  confusion-matrix  false-positive-rate 

ความแม่นยำหมายถึง: p = true positives / (true positives + false positives) มันถูกต้องหรือไม่ที่ในฐานะtrue positivesและfalse positivesวิธีที่ 0 ความแม่นยำเข้าใกล้ 1? คำถามเดียวกันสำหรับการเรียกคืน: r = true positives / (true positives + false negatives) ขณะนี้ฉันกำลังใช้การทดสอบทางสถิติที่ฉันต้องการคำนวณค่าเหล่านี้และบางครั้งมันก็เกิดขึ้นที่ตัวส่วนเป็น 0 และฉันสงสัยว่าจะคืนค่าใดให้กับกรณีนี้ PS: ขอโทษแท็กที่ไม่เหมาะสมผมอยากจะใช้recall, precisionและlimitแต่ฉันไม่สามารถสร้างแท็กใหม่ ๆ

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

คุณบางคนอาจจะอ่านบทความนี้ดี: O'Hara RB, Kotze DJ (2010) อย่าบันทึกข้อมูลการนับการแปลง วิธีการทางนิเวศวิทยาและวิวัฒนาการ 1: 118–122 Klick ในสาขาการวิจัยของฉัน (นิเวศน์วิทยา) เรากำลังจัดการกับการทดลองที่ทำซ้ำแบบไม่ดีและ GLM ไม่ได้ใช้กันอย่างแพร่หลาย ดังนั้นฉันจึงทำการจำลองที่คล้ายกันกับ O'Hara & Kotze (2010) แต่เลียนแบบข้อมูลนิเวศน์วิทยา พลังงานจำลอง : ฉันจำลองข้อมูลจากการออกแบบแบบแฟกทอเรียลด้วยกลุ่มควบคุมหนึ่งกลุ่ม ( ) และกลุ่มการรักษา 5 กลุ่ม ( ) ความอุดมสมบูรณ์ในการรักษา 1 เหมือนกับการควบคุม ( ) ความอุดมสมบูรณ์ในการรักษา 2-5 คือครึ่งหนึ่งของความอุดมสมบูรณ์ในการควบคุม ( \ mu_ {2-5} = 0.5 \ mu_c ) สำหรับแบบจำลองฉันเปลี่ยนขนาดตัวอย่าง …

18 r  generalized-linear-model  simulation  negative-binomial  type-i-and-ii-errors 

กฎการหยุดส่งผลกระทบต่อความสัมพันธ์ระหว่างค่า P และอัตราข้อผิดพลาดที่เกี่ยวข้องกับการตัดสินใจ รายงานล่าสุดโดย Simmons และคณะ 2011เหรียญเป็นปริญญาอิสระของนักวิจัยเพื่ออธิบายชุดของพฤติกรรมที่พวกเขาคิดว่าจะรับผิดชอบต่อรายงานจำนวนมากในวรรณคดีจิตวิทยาที่พบว่าไม่สามารถทำซ้ำได้ จากพฤติกรรมเหล่านั้นกฎการหยุดชั่วคราวหรือการวิเคราะห์ชั่วคราวที่ไม่ได้ประกาศเป็นสิ่งที่ฉันสนใจในขณะนี้ฉันอธิบายถึงผลกระทบของอัตราความผิดพลาดที่มีต่อนักเรียนของฉัน แต่ดูเหมือนจะไม่ได้อธิบายไว้ในหนังสือเรียนที่นักเรียนใช้ ใช้!). ในร้านหนังสือหลักในมหาวิทยาลัยของฉันมีหนังสือสถิติสิบสี่เล่มที่มุ่งเป้าไปที่นักเรียนระดับเบื้องต้นในสาขาวิชาต่าง ๆ เช่นวิทยาศาสตร์ชีวภาพธุรกิจวิศวกรรม ฯลฯ มีเพียงตำราเดียวเท่านั้นที่มีรายการดัชนี "การทดสอบตามลำดับ" และไม่มีรายการดัชนี ' หยุดกฎ ' มีตำราสถิติระดับเบื้องต้นที่อธิบายถึงปัญหากฎการหยุดแบบไม่บังคับหรือไม่? Simmons, JP, Nelson, LD และ Simonsohn, U. (2011) false-positive จิตวิทยา: ความยืดหยุ่นไม่เปิดเผยในการเก็บรวบรวมข้อมูลและการวิเคราะห์อนุญาตให้นำเสนอสิ่งใดเป็นสําคัญ วิทยาศาสตร์จิตวิทยา, 22 (11), 1359–1366 ดอย: 10.1177 / 0956797611417632

16 references  type-i-and-ii-errors  optimal-stopping 

บริบท กลุ่มนักสังคมศาสตร์และนักสถิติ ( Benjamin et al., 2017 ) ได้แนะนำเมื่อเร็ว ๆ นี้ว่าอัตราการบวกลบ ( = .05) โดยทั่วไปใช้เป็นเกณฑ์ในการกำหนด "นัยสำคัญทางสถิติ" เพื่อปรับเกณฑ์อนุรักษ์ให้มากกว่าเดิม ( = .005) กลุ่มนักวิทยาศาสตร์สังคมศาสตร์และนักสถิติ ( Lakens et al., 2018 ) ได้ทำการแข่งขันโต้เถียงกับการใช้สิ่งนี้หรืออื่น ๆ - เกณฑ์ที่เลือกโดยพลการ ต่อไปนี้เป็นคำพูดจาก Lakens และคณะ (หน้า 16) ที่ช่วยเป็นตัวอย่างของคำถามของฉัน:αα\alphaαα\alpha เป็นการดีที่ระดับอัลฟาจะถูกกำหนดโดยการเปรียบเทียบค่าใช้จ่ายและผลประโยชน์กับฟังก์ชั่นยูทิลิตี้โดยใช้ทฤษฎีการตัดสินใจ การวิเคราะห์ต้นทุน - ผลประโยชน์ (และระดับอัลฟ่า) แตกต่างกันเมื่อทำการวิเคราะห์ชุดข้อมูลที่มีอยู่ขนาดใหญ่เมื่อเปรียบเทียบกับการรวบรวมข้อมูลจากตัวอย่างที่ยากที่จะได้รับ วิทยาศาสตร์นั้นมีความหลากหลายและขึ้นอยู่กับนักวิทยาศาสตร์ที่จะพิสูจน์ระดับอัลฟาที่พวกเขาตัดสินใจใช้ ... การวิจัยควรได้รับการชี้นำโดยหลักการของวิทยาศาสตร์ที่เข้มงวดไม่ใช่ด้วยการวิเคราะห์พฤติกรรมและขีด จำกัด แบบครอบคลุมโดยพลการ คำถาม ฉันสงสัยว่าจะมีความเป็นไปได้อย่างไรในการพิสูจน์ให้เห็นถึงการเลือกอัลฟ่าในแบบที่ …

12 hypothesis-testing  p-value  power  type-i-and-ii-errors 

ฉันมีคำถามเกี่ยวกับกลุ่มวิธีการตามลำดับ ตามที่ Wikipedia: ในการทดลองแบบสุ่มกับกลุ่มการรักษาสองกลุ่มการทดสอบตามลำดับกลุ่มแบบดั้งเดิมจะใช้ในลักษณะดังต่อไปนี้: หากมีอาสาสมัครในแต่ละกลุ่มมีการวิเคราะห์ระหว่างกาลจะดำเนินการในอาสาสมัคร 2n การวิเคราะห์ทางสถิติจะดำเนินการเพื่อเปรียบเทียบทั้งสองกลุ่มและหากยอมรับสมมติฐานทางเลือกการทดลองจะสิ้นสุดลง มิเช่นนั้นการทดลองจะดำเนินต่อไปสำหรับวิชา 2n อีกวิชาโดยมี n วิชาต่อกลุ่ม การวิเคราะห์ทางสถิติจะดำเนินการอีกครั้งในวิชา 4n หากทางเลือกได้รับการยอมรับการทดลองจะสิ้นสุดลง มิฉะนั้นจะดำเนินการประเมินเป็นระยะ ๆ จนกว่าจะมีตัวแบบ N 2 ชุดให้เลือก เมื่อมาถึงจุดนี้การทดสอบทางสถิติครั้งสุดท้ายจะดำเนินการและการทดลองจะถูกยกเลิก แต่ด้วยการทดสอบข้อมูลที่สะสมซ้ำ ๆ ในแบบนี้ระดับความผิดพลาดที่เป็นประเภทที่สูงเกินจริง ... หากตัวอย่างเป็นอิสระจากกันข้อผิดพลาดประเภท I โดยรวมจะเป็นα⋆α⋆\alpha^{\star} α⋆= 1 - ( 1 - α )kα⋆=1−(1−α)k\alpha^{\star} = 1 - (1 - \alpha)^k โดยที่คือระดับของการทดสอบแต่ละครั้งและคือจำนวนการค้นหาระหว่างกาลkαα\alphakkk แต่ตัวอย่างไม่ได้เป็นอิสระเนื่องจากทับซ้อนกัน สมมติว่าการวิเคราะห์ระหว่างกาลจะดำเนินการที่เพิ่มขึ้นของข้อมูลเท่ากันจะพบว่า (สไลด์ 6) คุณช่วยอธิบายให้ฉันฟังว่าตารางนี้ได้มาอย่างไร

12 multiple-comparisons  clinical-trials  type-i-and-ii-errors 

ฉันรู้ว่าข้อผิดพลาด Type II เป็นที่ที่ H1 เป็นจริง แต่ H0 ไม่ถูกปฏิเสธ คำถาม ฉันจะคำนวณความน่าจะเป็นของข้อผิดพลาด Type II ที่เกี่ยวข้องกับการแจกแจงแบบปกติที่ค่าเบี่ยงเบนมาตรฐานเป็นที่รู้จักได้อย่างไร

12 probability  power-analysis  type-i-and-ii-errors 

ฉันกำลังอ่าน Gelman & Carlin "นอกเหนือจากการคำนวณกำลังไฟ: การประเมินข้อผิดพลาดประเภท S (เครื่องหมาย) และประเภท M (ขนาด)" (2014) ฉันพยายามที่จะเข้าใจความคิดหลักทางเดินหลัก แต่ฉันสับสน ใครสามารถช่วยกลั่นสาระสำคัญให้ฉันได้บ้าง กระดาษมีลักษณะดังนี้ (ถ้าฉันเข้าใจถูกต้อง) สถิติการศึกษาทางจิตวิทยามักถูกรบกวนด้วยตัวอย่างเล็ก ๆ เงื่อนไขในผลลัพธ์ที่มีนัยสำคัญทางสถิติในการศึกษาที่กำหนด (1) ขนาดของผลกระทบที่แท้จริงมีแนวโน้มที่จะประเมินค่าสูงเกินไปอย่างรุนแรงและ (2) เครื่องหมายของผลกระทบอาจตรงข้ามกับความน่าจะเป็นสูง - เว้นแต่ขนาดตัวอย่างมีขนาดใหญ่พอ ด้านบนแสดงโดยใช้การคาดเดาขนาดของเอฟเฟกต์ก่อนหน้าและโดยทั่วไปเอฟเฟกต์นี้จะมีขนาดเล็ก ปัญหาแรกของฉันคือทำไมเงื่อนไขกับผลลัพธ์ที่มีนัยสำคัญทางสถิติ? มันคือการสะท้อนอคติสิ่งพิมพ์? แต่ดูเหมือนจะไม่เป็นเช่นนั้น แล้วทำไมล่ะ ปัญหาที่สองของฉันคือถ้าฉันทำการศึกษาด้วยตัวเองฉันควรปฏิบัติกับผลลัพธ์ของฉันแตกต่างจากที่ฉันเคยทำหรือไม่ (ฉันทำสถิติบ่อยครั้งไม่คุ้นเคยกับเบย์) เช่นฉันจะใช้ตัวอย่างข้อมูลประเมินแบบจำลองและบันทึกการประมาณค่าพอยต์สำหรับผลของความสนใจและความมั่นใจที่ผูกไว้ ตอนนี้ฉันควรจะเชื่อผลของฉันหรือไม่ หรือฉันควรจะเชื่อใจถ้ามันมีนัยสำคัญทางสถิติ? มีการเปลี่ยนแปลงใด ๆ ก่อนหน้านั้น สิ่งที่เป็นประเด็นหลัก (1) สำหรับ "ผู้ผลิต" ของการวิจัยเชิงสถิติและ (2) สำหรับผู้อ่านของเอกสารทางสถิติประยุกต์? อ้างอิง: Gelman, Andrew และ …

11 statistical-significance  effect-size  power  type-i-and-ii-errors 

ในสถิติประถมศึกษาชั้นเรียนที่ผมเป็น TA สำหรับศาสตราจารย์ระบุว่าเป็นความน่าจะเป็นของความผิดพลาดประเภทที่ฉันเพิ่มขึ้นน่าจะเป็นของชนิดที่สองข้อผิดพลาดลดลงและการสนทนาเป็นความจริงเช่นกัน ดังนั้นนี้แสดงให้เห็นว่าฉันว่า&lt;0β ρ อัลฟ่า, β &lt; 0αα\alphaββ\betaρα , β&lt; 0ρα,β&lt;0\rho_{\alpha, \beta} < 0 แต่เราจะพิสูจน์สิ่งนี้สำหรับการทดสอบสมมติฐานทั่วไปได้อย่างไร คำพูดนั้นเป็นจริงโดยทั่วไปหรือไม่? ฉันสามารถลองใช้กรณีเฉพาะ (พูดและ ) แต่เห็นได้ชัดว่ามันไม่ธรรมดาพอที่จะตอบคำถามนี้H 1 : μ &lt; μ 0H0: μ = μ0H0:μ=μ0H_0: \mu = \mu_0H1: μ &lt; μ0H1:μ&lt;μ0H_1: \mu < \mu_0

11 probability  hypothesis-testing  type-i-and-ii-errors 

คำถามของฉันค่อนข้างมีความหมาย เมื่อเมธอดสร้างค่า p สูงเป็นประจำจะเรียกว่าการอนุรักษ์ คุณจะเรียกสิ่งที่ตรงกันข้ามนั่นคือวิธีการที่มีอัตราการพิมพ์ผิดพลาดสูงหรือไม่?

11 hypothesis-testing  statistical-significance  p-value  terminology  type-i-and-ii-errors