คำถามติดแท็ก p-value

Benjamini-Hochberg มีความระมัดระวังมากน้อยเพียงใดเมื่อเปรียบเทียบกับจำนวนการเปรียบเทียบทั้งหมด? ตัวอย่างเช่นถ้าฉันมีรายการคุณลักษณะ 18,000 รายการสำหรับสองกลุ่มและฉันทำการทดสอบ Wilcoxon เพื่อรับค่า p ฉันปรับ p-value นั้นโดยใช้ Benjamini-Hochberg และถัดจากสิ่งใดก็ตามที่สำคัญ ฉันรู้ว่าการแก้ไข Bonferroni นั้นค่อนข้างอนุรักษ์นิยมเมื่อจำนวนการเปรียบเทียบเพิ่มขึ้น Benjamini-Hochberg มีคุณสมบัติเหมือนกันหรือไม่?

19 multiple-comparisons  p-value 

สถานการณ์ของฉันเป็นดังนี้: ฉันต้องการผ่านการศึกษา Monte-Carlo เพื่อเปรียบเทียบค่าpppของการทดสอบที่แตกต่างกันสองรายการสำหรับนัยสำคัญทางสถิติของพารามิเตอร์ที่ประมาณไว้ (null คือ "ไม่มีผล - พารามิเตอร์เป็นศูนย์" และทางเลือกโดยนัยคือ " พารามิเตอร์ไม่ใช่ศูนย์ ") การทดสอบAเป็นมาตรฐาน"อิสระสองตัวอย่าง t-test สำหรับความเท่าเทียมกันของวิธีการ"โดยมีความแปรปรวนเท่ากันภายใต้ null ทดสอบBฉันสร้างเองแล้ว ที่นี่การแจกแจงโมฆะที่ใช้คือการแจกแจงแบบไม่ต่อเนื่องทั่วไปแบบอสมมาตร แต่ฉันได้พบความคิดเห็นต่อไปนี้ในRohatgi & Saleh (2001, 2nd ed, p. 462) "ถ้าการกระจายไม่สมมาตรที่ppp -value ไม่ได้กำหนดไว้อย่างดีในกรณีที่สองด้านแม้จะเขียนหลายคนแนะนำให้สองเท่าด้านเดียวppp -value" ผู้เขียนไม่ได้พูดถึงเรื่องนี้เพิ่มเติมและพวกเขาไม่แสดงความคิดเห็นใน "คำแนะนำของผู้เขียนหลายคน" เพื่อเพิ่มค่า - valueด้านเดียว ppp(นี้จะสร้างคำถาม "คู่ppp -value ของที่ด้านข้างหรือไม่และทำไมด้านนี้และไม่อื่น ๆ ?) ฉันไม่สามารถค้นหาความคิดเห็นความเห็นหรือผลลัพธ์อื่น ๆ ในเรื่องทั้งหมดนี้ได้ ฉันเข้าใจว่าด้วยการกระจายแบบอสมมาตรถึงแม้ว่าเราสามารถพิจารณาช่วงเวลาแบบสมมาตรรอบ ๆ สมมุติฐานว่างเกี่ยวกับค่าของพารามิเตอร์เราจะไม่ได้ความสมมาตรปกติอันดับที่สองนั่นคือการจัดสรรมวลความน่าจะเป็น แต่ฉันไม่เข้าใจว่าทำไมจึงทำให้ ค่าppp …

18 hypothesis-testing  p-value 

ทำไมสถิติกีดกันเราจากผลหมายถึงว่า " สูงอย่างมีนัยสำคัญ" เมื่อ -value เป็นอย่างดีดังต่อไปนี้การชุมนุมαpppαα\alphaระดับพื้นดินของ ?0.050.050.05 เป็นความผิดพลาดหรือไม่ที่จะเชื่อใจในผลลัพธ์ที่มีโอกาส 99.9% ที่ไม่ใช่ข้อผิดพลาด Type I ( ) มากกว่าผลลัพธ์ที่ให้โอกาสนั้นเพียง 99% ( p = 0.01)p=0.001p=0.001p=0.001p=0.01p=0.01p=0.01 ) หรือไม่

18 hypothesis-testing  statistical-significance  p-value  terminology 

ฉันดูเหมือนจะสับสนตัวเองพยายามที่จะเข้าใจว่าค่า -squared ยังมีค่าrrrppp ตามที่ฉันเข้าใจแล้วความสัมพันธ์เชิงเส้นกับชุดของจุดข้อมูลสามารถมีค่าตั้งแต่ถึงและค่านี้ไม่ว่าจะเป็นอะไรก็ตามสามารถมีซึ่งแสดงว่าแตกต่างอย่างมีนัยสำคัญจาก (เช่น หากมีความสัมพันธ์เชิงเส้นตรงระหว่างตัวแปรทั้งสอง)rrr−1−1-1111ppprrr000 ย้ายไปยังถดถอยเชิงเส้น, ฟังก์ชั่นสามารถติดตั้งได้กับข้อมูลที่อธิบายโดยสมการbX และ (การสกัดกั้นและความชัน) ยังมีค่าเพื่อแสดงว่าพวกเขาแตกต่างจากอย่างมีนัยสำคัญหรือไม่Y=a+bXY=a+bXY = a + bXaaabbbppp000 สมมติว่าผมเพื่อให้ห่างไกลมีความเข้าใจที่ถูกต้องทุกอย่างเป็น -value สำหรับและ -value สำหรับเพียงสิ่งเดียวกันได้หรือไม่ แล้วมันเป็นที่ถูกต้องที่จะบอกว่ามันไม่ได้เป็น -squared ที่มี -value แต่หรือที่ไม่?ppprrrpppbbbrrrppprrrbbb

18 statistical-significance  p-value  r-squared 

ฉันไม่ได้หมายถึงค่าที่ใกล้เคียงกับศูนย์ (ปัดเศษเป็นศูนย์ด้วยซอฟต์แวร์สถิติบางตัว) แต่จะมีค่าเป็นศูนย์อย่างแท้จริง ถ้าเป็นเช่นนั้นหมายความว่าความน่าจะเป็นที่จะได้รับข้อมูลที่สมมติว่าสมมติฐานว่างเป็นจริงหรือไม่เช่นกัน (ตัวอย่างบางส่วน) ของการทดสอบทางสถิติที่สามารถส่งกลับผลลัพธ์ของการเรียงลำดับนี้คืออะไร? แก้ไขประโยคที่สองเพื่อลบวลี "ความน่าจะเป็นของสมมติฐานว่าง"

17 hypothesis-testing  statistical-significance  p-value 

ฉันได้ยินมาว่าภายใต้สมมติฐานว่างการกระจาย p-value ควรเหมือนกัน อย่างไรก็ตามการจำลองการทดสอบแบบทวินามใน MATLAB กลับมีการแจกแจงที่แตกต่างกันมากจากชุดที่มีค่าเฉลี่ยมากกว่า 0.5 (0.518 ในกรณีนี้): coin = [0 1]; success_vec = nan(20000,1); for i = 1:20000 success = 0; for j = 1:200 success = success + coin(randperm(2,1)); end success_vec(i) = success; end p_vec = binocdf(success_vec,200,0.5); hist(p_vec); พยายามเปลี่ยนวิธีการที่ฉันสร้างตัวเลขสุ่มไม่ได้ช่วย ฉันขอขอบคุณคำอธิบายที่นี่จริงๆ

17 matlab  p-value  binomial  simulation  uniform 

tl; dr - สำหรับการถดถอยของ OLS ค่า R-squared ที่สูงขึ้นนั้นแสดงถึงค่า P ที่สูงขึ้นด้วยหรือไม่ โดยเฉพาะสำหรับตัวแปรอธิบายเดี่ยว (Y = a + bX + e) ​​แต่ก็สนใจที่จะทราบสำหรับตัวแปรอธิบายหลายตัวแปร (Y = a + b1X + ... bnX + e) บริบท - ฉันกำลังดำเนินการถดถอย OLS ในช่วงของตัวแปรและกำลังพยายามพัฒนารูปแบบการอธิบายที่ดีที่สุดโดยสร้างตารางที่มีค่า R-squared ระหว่างเส้นตรงลอการิทึม ฯลฯ การแปลงของตัวแปรอธิบาย (อิสระ) แต่ละตัว และตัวแปรตอบกลับ (ขึ้นอยู่กับ) ดูเหมือนว่า: ชื่อตัวแปร - รูปแบบเชิงเส้น - --ln (ตัวแปร) --exp …

17 regression  modeling  p-value  r-squared 

ฉันพยายามที่จะเข้าใจการเรียกร้องภาพใหญ่ทำในTaleb 2016, The Meta-การแพร่กระจายของมาตรฐาน P-ค่า ในนั้น Taleb ทำให้อาร์กิวเมนต์ต่อไปนี้สำหรับความไม่น่าเชื่อถือของค่า p (ตามที่ฉันเข้าใจ): ขั้นตอนการประเมินดำเนินการกับจุดข้อมูลที่มาจากการแจกจ่ายX outputs ค่า ap หากเราดึงจุด n เพิ่มเติมจากการกระจายนี้และส่งออกค่า p อื่นเราสามารถหาค่า p-values ​​เหล่านี้ที่ได้รับในขีด จำกัด ที่เรียกว่า "ค่า p จริง"nnnXXX "ค่า p จริง" นี้แสดงว่ามีความแปรปรวนสูงรบกวนดังนั้นการแจกแจง + โพรซีเดอร์ที่มี "ค่า p จริง" จะ 60% ของเวลารายงานค่า p-. 05.12.12.12 คำถาม : วิธีนี้จะสามารถคืนดีกับอาร์กิวเมนต์ดั้งเดิมในความโปรดปรานของค่า ดังที่ฉันเข้าใจแล้วค่า p ควรบอกคุณว่าเปอร์เซ็นต์ของเวลาที่กระบวนการของคุณจะให้ช่วงเวลาที่ถูกต้อง (หรืออะไรก็ตาม) อย่างไรก็ตามบทความนี้ดูเหมือนจะโต้แย้งว่าการตีความนี้ทำให้เข้าใจผิดเนื่องจากค่า p จะไม่เหมือนกันถ้าคุณเรียกใช้ขั้นตอนอีกครั้งppp …

16 hypothesis-testing  statistical-significance  p-value 

ดังนั้นฉันจึงอ่านมากเกี่ยวกับวิธีตีความค่า P อย่างถูกต้องและจากสิ่งที่ฉันอ่านค่า p บอกว่าไม่มีความน่าจะเป็นที่สมมติฐานว่างเป็นจริงหรือเท็จ อย่างไรก็ตามเมื่ออ่านคำสั่งต่อไปนี้: p - value แสดงถึงความน่าจะเป็นที่ทำให้เกิดข้อผิดพลาดประเภทที่ 1 หรือปฏิเสธสมมติฐานว่างเมื่อเป็นจริง ยิ่งค่า p น้อยลงเท่าใดความน่าจะเป็นที่คุณจะปฏิเสธสมมติฐานที่ผิดพลาดนั้นจะผิดไป แก้ไข: แล้ว 5 นาทีต่อมาฉันอ่าน: การตีความค่า P ไม่ถูกต้องเป็นเรื่องธรรมดามาก ข้อผิดพลาดที่พบบ่อยที่สุดคือการตีความค่า P เนื่องจากความน่าจะเป็นในการทำผิดพลาดโดยการปฏิเสธสมมติฐานว่างเปล่าที่แท้จริง (ข้อผิดพลาด Type I) สิ่งนี้ทำให้ฉันสับสน อันไหนที่ถูก? และทุกคนสามารถอธิบายวิธีการแปลค่า p อย่างถูกต้องและมันเกี่ยวข้องกับความน่าจะเป็นในการทำข้อผิดพลาดประเภทที่ 1 ได้อย่างไร

16 hypothesis-testing  p-value 

ฉันกำลังมองหาวิธีต่างๆในการอธิบายให้นักเรียนของฉัน (ในหลักสูตรสถิติเบื้องต้น) การทดสอบสองแบบคืออะไรและการคำนวณค่า P ของมันอย่างไร คุณอธิบายให้นักเรียนของคุณทราบถึงการทดสอบแบบสองทางแบบหนึ่งได้อย่างไร

16 hypothesis-testing  p-value  teaching 

ฉันกำลังทดลองกับอัลกอริทึมของเครื่องเร่งการไล่ระดับสีผ่านcaretแพ็คเกจใน R ใช้ชุดข้อมูลการรับสมัครวิทยาลัยขนาดเล็กฉันใช้รหัสต่อไปนี้: library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine algorithm. ### set.seed(123) fitControl <- trainControl(method = 'cv', number = 5, summaryFunction=defaultSummary) grid <- expand.grid(n.trees = seq(5000,1000000,5000), interaction.depth = 2, shrinkage …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

เราถูกผู้ตรวจสอบขอให้จัดทำค่า p เพื่อทำความเข้าใจกับการประมาณการแบบจำลองในแบบจำลองหลายระดับแบบเบย์ของเรา แบบจำลองเป็นแบบอย่างของการสังเกตหลายครั้งต่อผู้เข้าร่วมในการทดสอบ เราประเมินโมเดลด้วยสแตนเพื่อให้เราสามารถคำนวณสถิติหลังเพิ่มเติมได้อย่างง่ายดาย ขณะนี้เรากำลังรายงาน (ภาพและในตาราง) การประมาณค่าเฉลี่ยและปริมาณ 0.025 และ 0.975 การตอบสนองของฉันจนถึงขณะนี้จะรวมถึง: ค่า P ไม่สอดคล้องกับตัวแบบเบย์เช่นP( X| θ)≠P( θ | X) .P(X|θ)≠P(θ|X).P(X|\theta) \neq P(\theta|X). จากหลังเราสามารถคำนวณความน่าจะเป็นของพารามิเตอร์ที่มีขนาดใหญ่กว่า (เล็กกว่า) ได้มากกว่า 0 ซึ่งดูเหมือนเป็นค่า p แบบดั้งเดิมเล็กน้อย คำถามของฉันคือว่านี่คือการตอบสนองที่สามารถตอบสนองผู้ตรวจสอบหรือมันจะทำให้เกิดความสับสนมากขึ้น? อัปเดต 10 ตุลาคม: เราเขียนบทความใหม่พร้อมคำแนะนำในใจ กระดาษได้รับการยอมรับดังนั้นฉันจะย้ำความคิดเห็นก่อนหน้าของฉันว่านี่เป็นคำแนะนำที่เป็นประโยชน์จริงๆ!

15 bayesian  p-value  multilevel-analysis 

ฉันมีสองชุดข้อมูลและฉันต้องการที่จะทราบว่าพวกเขาแตกต่างกันอย่างมีนัยสำคัญหรือไม่ (นี้มาจาก " สองกลุ่มมีความแตกต่างอย่างมีนัยสำคัญ? ทดสอบที่จะใช้ ") ฉันตัดสินใจใช้การทดสอบการเปลี่ยนรูปโดยทำสิ่งต่อไปนี้ใน R: permutation.test <- function(coding, lncrna) { coding <- coding[,1] # dataset1 lncrna <- lncrna[,1] # dataset2 ### Under null hyphotesis, both datasets would be the same. So: d <- c(coding, lncrna) # Observed difference diff.observed = mean(coding) - mean(lncrna) number_of_permutations = 5000 diff.random …

15 p-value  permutation-test 

การทดสอบการเปลี่ยนรูป (เรียกอีกอย่างว่าการทดสอบแบบสุ่มการทดสอบแบบสุ่มอีกครั้งหรือการทดสอบที่แน่นอน) มีประโยชน์มากและมีประโยชน์เมื่อสมมติฐานของการแจกแจงปกติที่ต้องการโดยตัวอย่างเช่นt-testไม่พบและเมื่อการเปลี่ยนแปลงของค่าโดยการจัดอันดับ การทดสอบแบบไม่มีพารามิเตอร์Mann-Whitney-U-testจะนำไปสู่การสูญเสียข้อมูลมากขึ้น อย่างไรก็ตามไม่ควรมองข้ามสมมุติฐานข้อเดียวและข้อเดียวเพียงข้อเดียวเมื่อใช้การทดสอบชนิดนี้คือข้อสมมติฐานของความสามารถแลกเปลี่ยนได้ของตัวอย่างภายใต้สมมติฐานว่าง เป็นที่น่าสังเกตว่าวิธีการแบบนี้สามารถใช้ได้เมื่อมีตัวอย่างมากกว่าสองตัวอย่างเช่นสิ่งที่นำไปใช้ในcoinแพ็คเกจ R คุณช่วยกรุณาใช้ภาษาที่เป็นรูปเป็นร่างหรือปรีชาเชิงแนวคิดในภาษาอังกฤษธรรมดาเพื่อแสดงสมมติฐานนี้ได้หรือไม่? นี่จะมีประโยชน์มากในการอธิบายปัญหาที่ถูกมองข้ามในหมู่ผู้ที่ไม่ใช่นักสถิติเช่นฉัน หมายเหตุ: จะเป็นประโยชน์อย่างมากหากพูดถึงกรณีที่การใช้การทดสอบการเปลี่ยนแปลงไม่ถือหรือไม่ถูกต้องภายใต้สมมติฐานเดียวกัน ปรับปรุง: สมมติว่าฉันมี 50 วิชาที่รวบรวมจากคลินิกท้องถิ่นในเขตของฉันโดยการสุ่ม พวกเขาถูกสุ่มให้รับยาหรือยาหลอกในอัตราส่วน 1: 1 พวกเขาทั้งหมดถูกวัดสำหรับ Paramerter 1 Par1ที่ V1 (พื้นฐาน), V2 (3 เดือนต่อมา) และ V3 (1 ปีต่อมา) วิชาทั้งหมด 50 กลุ่มสามารถแบ่งเป็น 2 กลุ่มตามคุณสมบัติ A; ค่าบวก = 20 และค่าลบ = 30 นอกจากนี้ยังสามารถจัดกลุ่มย่อยได้อีก 2 กลุ่มตามคุณลักษณะ B; B positive = …

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

การเน้นจำนวนมากนั้นขึ้นอยู่กับการพึ่งพาและการรายงานขนาดผลกระทบมากกว่าค่า pในการวิจัยประยุกต์ แต่ไม่ใช่ในกรณีที่ขนาดของเอฟเฟกต์เหมือนกับค่าpเป็นตัวแปรสุ่มและเช่นนั้นอาจแตกต่างกันไปตามตัวอย่างเมื่อทำการทดลองเดียวกันซ้ำ ฉันกำลังถามว่าคุณลักษณะทางสถิติใด (เช่นขนาดของเอฟเฟกต์เป็นตัวแปรน้อยกว่าจากตัวอย่างไปยังตัวอย่างกว่าค่า p) ทำให้ขนาดของเอฟเฟกต์ดีกว่าดัชนีการวัดที่เป็นหลักฐานได้ดีกว่าค่า p อย่างไรก็ตามฉันควรพูดถึงข้อเท็จจริงสำคัญที่แยก p-value ออกจากขนาดเอฟเฟกต์ นั่นคือขนาดของเอฟเฟกต์เป็นสิ่งที่ต้องประมาณเนื่องจากมีพารามิเตอร์ประชากร แต่ค่าp จะไม่มีค่าใด ๆ ที่จะถูกประเมินเนื่องจากมันไม่มีพารามิเตอร์ประชากร สำหรับฉันขนาดของเอฟเฟกต์เป็นเพียงตัวชี้วัดที่ในบางพื้นที่ของการวิจัย (เช่นการวิจัยของมนุษย์) ช่วยเปลี่ยนการค้นพบเชิงประจักษ์ที่มาจากเครื่องมือการวัดที่นักวิจัยพัฒนาขึ้นมาเป็นเครื่องมือวัดทั่วไป ชมรมวิจัยเชิงปริมาณ. บางทีถ้าเราใช้สัดส่วนที่เรียบง่ายเป็นขนาดเอฟเฟกต์สิ่งต่อไปนี้ (ใน R) คืออะไรที่แสดงให้เห็นถึงขนาดที่ใหญ่ที่สุดของเอฟเฟกต์มากกว่าค่า p (การเปลี่ยนแปลงค่า p แต่ขนาดผลไม่ได้) binom.test(55, 100, .5) ## p-value = 0.3682 ## proportion of success 55% binom.test(550, 1000, .5) ## p-value = 0.001731 ## proportion of …

14 hypothesis-testing  confidence-interval  p-value  effect-size