คำถามติดแท็ก multiple-comparisons

ฉันกำลังเปรียบเทียบประสิทธิภาพของอัลกอริทึมหลายชุดในชุดข้อมูลหลายชุด ตั้งแต่ผู้การวัดประสิทธิภาพการทำงานไม่ได้รับประกันว่าจะกระจายตามปกติผมเลือกทดสอบฟรีดแมนกับโพสต์-hoc ทดสอบ Nemenyi ขึ้นอยู่กับDemšar (2006) จากนั้นฉันก็พบกระดาษอื่นที่นอกเหนือจากการแนะนำวิธีอื่น ๆ เช่นการทดสอบ Quade ด้วยการทดสอบหลังการทำ Shaffer ที่ตามมาพวกเขาใช้การทดสอบ Nemenyi ต่างกัน ฉันจะใช้การทดสอบ Nemenyi หลังการทดสอบอย่างถูกต้องได้อย่างไร 1. การใช้สถิติช่วง Studentized ในบทความของDemšarมันบอกว่าจะปฏิเสธสมมติฐานว่าง (ไม่มีความแตกต่างของประสิทธิภาพของสองอัลกอริธึม) ถ้าค่าเฉลี่ยความแตกต่างอันดับมากกว่าระยะทางวิกฤติซีดี คD =Qαk ( k + 1 )6 N-------√CD=qαk(k+1)6N CD = q_{\alpha}\sqrt{{k(k+1)}\over{6N}} "โดยที่ค่าวิกฤตqαขึ้นอยู่กับสถิติของช่วง Studentized หารด้วย "2-√.2.\sqrt{2}. หลังจากขุดค้นพบว่าคุณสามารถค้นหา "ค่าวิกฤต" สำหรับα = 0.05α=0.05\alpha = 0.05บางตัวเช่นในตารางสำหรับสำหรับองศาอิสระที่ไม่มีที่สิ้นสุด (ที่ด้านล่างของแต่ละตาราง) 2. หรือใช้การแจกแจงแบบปกติ? เมื่อฉันคิดว่าฉันรู้ว่าต้องทำอะไรฉันพบกระดาษอีกฉบับที่ทำให้ฉันสับสนอีกครั้งเพราะพวกเขาใช้การแจกแจงแบบปกติเท่านั้น …

11 nonparametric  multiple-comparisons  post-hoc 

ฉันเป็นผู้มาใหม่ในปัญหาของการเปรียบเทียบหลาย ๆ ฉันสงสัยว่าจะคำนวณช่วงความมั่นใจสำหรับวิธี Holm-Bonferroni ได้อย่างไร ฉันรู้ว่าสำหรับวิธีการ Bonferroni เราก็สามารถเปลี่ยนระดับความเชื่อมั่นจากเพื่อ{m}1−α1−α1-\alpha1−αm1−αm1-\frac{\alpha}{m} วิธีนี้ใช้ได้กับ Holm-Bonferroni หรือไม่ Edit:Edit:\bf{Edit}:ดูเหมือนว่าวิธี HB ไม่ได้มีขั้นตอนในการแก้ไข conf ระยะห่าง แต่คุณจะแสดงความคิดเห็นในฉันสามารถใช้วิธีหนึ่งสำหรับการแก้ไขค่า p และวิธีอื่นสำหรับการแก้ไขช่วงเวลา?

10 multiple-comparisons  bonferroni 

ฉันทำงานกับการวิเคราะห์เชิงพื้นที่เชิงสำรวจใน R โดยใช้แพ็คเกจ spdep ฉันเจอตัวเลือกในการปรับค่าpของตัวบ่งชี้ท้องถิ่นของการเชื่อมโยงเชิงพื้นที่ (LISA) ที่คำนวณโดยใช้localmoranฟังก์ชัน ตามเอกสารนั้นมีวัตถุประสงค์เพื่อ: ... การปรับค่าความน่าจะเป็นสำหรับการทดสอบหลายครั้ง เพิ่มเติมในเอกสารของp.adjustSPฉันอ่านว่าตัวเลือกที่ใช้ได้คือ: วิธีการปรับรวมถึงการแก้ไข Bonferroni ('"bonferroni"') ซึ่งค่า p ถูกคูณด้วยจำนวนการเปรียบเทียบ การแก้ไขจารีตน้อยกว่าสี่ประการรวมอยู่ใน Holm (1979) ('' holm ''), Hochberg (1988) ('"hochberg"'), Hommel (1988) ('hommel "') และ Benjamini & Hochberg (1995) ('"fdr"') ตามลำดับ ตัวเลือก pass-through ('"none"') รวมอยู่ด้วย สี่วิธีแรกถูกออกแบบมาเพื่อให้สามารถควบคุมอัตราความผิดพลาดที่เหมาะสำหรับครอบครัวได้ ดูเหมือนว่าไม่มีเหตุผลที่จะใช้การแก้ไข Bonferroni ที่ไม่ได้แก้ไขเพราะมันถูกครอบงำโดยวิธีการของ Holm ซึ่งก็ใช้ได้ภายใต้สมมติฐานโดยพลการ วิธีการของ Hochberg และ …

10 r  multiple-comparisons  bonferroni 

ว่าฉันพอดีกับการถดถอยหลายตัวแปร p อธิบาย การทดสอบ t จะช่วยให้ฉันตรวจสอบว่าหนึ่งในนั้นมีความสำคัญ ( ) ฉันสามารถทำการทดสอบ F บางส่วนเพื่อตรวจสอบว่าเซตย่อยบางชุดมีความสำคัญหรือไม่ ( )H 0 : β ฉัน = β J = . . = β k = 0H0: βผม= 0H0:βi=0H_0: \beta_i = 0H0: βผม= βJ= . . . = βk= 0H0:βi=βj=...=βk=0H_0: \beta_i=\beta_j=...=\beta_k=0 สิ่งที่ฉันมักจะเห็นก็คือบางคนได้รับ 5 p-values ​​จาก 5 t-tests (สมมติว่าพวกเขามี covariates …

10 multiple-regression  multiple-comparisons 

ฉันเพิ่งได้รับการอ่านของเจลแมนทำไมเรา (ปกติ) ไม่ต้องกังวลกับการเปรียบเทียบหลาย ๆครั้ง โดยเฉพาะอย่างยิ่งในส่วน "ผลลัพธ์ที่หลากหลายและความท้าทายอื่น ๆ "กล่าวถึงการใช้แบบจำลองลำดับชั้นสำหรับสถานการณ์เมื่อมีมาตรการที่เกี่ยวข้องหลายรายการจากบุคคล / หน่วยเดียวกันในเวลาและเงื่อนไขที่แตกต่างกัน ดูเหมือนว่าจะมีคุณสมบัติที่ต้องการจำนวนมาก ฉันเข้าใจว่านี่ไม่จำเป็นต้องเป็นสิ่งที่เบย์ ใครบางคนสามารถแสดงให้ฉันเห็นวิธีการสร้างโมเดลหลายตัวแปรหลายระดับอย่างถูกต้องโดยใช้ rjags และ / หรือ lmer (JAGS และ BUGS ปกติควรจะดีเช่นกัน ผลลัพธ์ที่ตรงกันข้าม ประเภทของสถานการณ์ที่ฉันต้องการให้แบบจำลองนั้นสะท้อนให้เห็นในข้อมูลของเล่นด้านล่าง (หลายตัวแปร, การวัดซ้ำ): set.seed(69) id <- factor(rep(1:20, 2)) # subject identifier dv1 <- c(rnorm(20), rnorm(20, 0.8, 0.3)) # dependent variable 1 data for 2 conditions dv2 <- …

10 multiple-comparisons  multilevel-analysis  lme4-nlme  jags  hierarchical-bayesian 

ฉันได้คำนวณเมทริกซ์สหสัมพันธ์ของชุดข้อมูลซึ่งมีจุดข้อมูล 455 จุดแต่ละจุดมี 14 ลักษณะ ดังนั้นมิติของเมทริกซ์สหสัมพันธ์จึงเท่ากับ 14 x 14 ฉันสงสัยว่ามีเกณฑ์สำหรับค่าของสัมประสิทธิ์สหสัมพันธ์ซึ่งชี้ให้เห็นว่ามีความสัมพันธ์อย่างมีนัยสำคัญระหว่างสองของลักษณะเหล่านั้น ฉันมีค่าอยู่ระหว่าง -0.2 ถึง 0.85 และฉันคิดว่าสิ่งสำคัญคือสิ่งที่สูงกว่า 0.7 มีค่าทั่วไปสำหรับค่าสัมประสิทธิ์สหสัมพันธ์ซึ่งควรได้รับการพิจารณาสำหรับเกณฑ์หรือเป็นเพียงบริบทขึ้นอยู่กับชนิดข้อมูลที่ฉันกำลังตรวจสอบ?

10 correlation  statistical-significance  multiple-comparisons 

ฉันมีข้อมูลอนุกรมเวลาสามชุดที่ฉันต้องการเปรียบเทียบ พวกเขาถูกถ่าย 3 ช่วงเวลาแยกกันประมาณ 12 วัน เป็นค่าเฉลี่ยหัวสูงสุดและต่ำสุดของการนับหัวในห้องสมุดวิทยาลัยในช่วงสัปดาห์สุดท้าย ฉันต้องทำค่าเฉลี่ยสูงสุดและต่ำสุดเนื่องจากจำนวนหัวต่อชั่วโมงนั้นไม่ต่อเนื่อง (ดูช่องว่างข้อมูลปกติในอนุกรมเวลา ) ตอนนี้ชุดข้อมูลมีลักษณะเช่นนี้ มีจุดข้อมูลหนึ่งจุด (เฉลี่ยสูงสุดหรือต่ำสุด) ต่อเย็นเป็นเวลา 12 ค่ำ มีข้อมูล 3 ภาคการศึกษาดำเนินการเฉพาะในช่วงเวลา 12 วันของความกังวล ตัวอย่างเช่น Spring 2010, Fall 2010 และ May 2011 แต่ละชุดมี 12 คะแนน นี่คือแผนภูมิตัวอย่าง: ฉันได้เทอมเทเลเทอร์เพราะฉันต้องการที่จะดูว่ารูปแบบการเปลี่ยนแปลงจากภาคการศึกษาเพื่อภาคการศึกษา อย่างไรก็ตามตามที่ฉันได้รับแจ้งในเธรดที่เชื่อมโยงคุณไม่ควรตบท้ายเทอมหางเนื่องจากไม่มีข้อมูลในระหว่างนั้น คำถามคือแล้ว: ฉันสามารถใช้เทคนิคทางคณิตศาสตร์อะไรเพื่อเปรียบเทียบรูปแบบการเข้าเรียนสำหรับแต่ละภาคการศึกษา มีสิ่งใดเป็นพิเศษสำหรับซีรี่ส์เวลาที่ฉันต้องทำหรือฉันจะรับความแตกต่างของเปอร์เซ็นต์ได้หรือไม่? เป้าหมายของฉันคือบอกว่าการใช้ห้องสมุดในช่วงนี้กำลังจะขึ้นหรือลง ฉันไม่แน่ใจว่าฉันควรใช้เทคนิคใดในการแสดง

10 time-series  multiple-comparisons  trend 

ฉันเพิ่งได้รับการแนะนำให้รู้จักกับการแก้ไข Hommel Hochberg ฉันกำลังพยายามหาคำอธิบายง่ายๆเกี่ยวกับสิ่งนี้ / ทำจริง ๆ แต่ไม่มีโชค ใครช่วยกรุณาให้คำอธิบายสั้น ๆ และง่าย ๆ เกี่ยวกับการแก้ไข Hommel Hochberg?

10 hypothesis-testing  multiple-comparisons  p-value  glmm 

สำหรับการถดถอยเชิงเส้นที่มีหลายกลุ่ม (กลุ่มธรรมชาติที่กำหนดเบื้องต้น) เป็นที่ยอมรับหรือไม่ที่จะเรียกใช้สองรุ่นที่แตกต่างกันในชุดข้อมูลเดียวกันเพื่อตอบคำถามสองข้อต่อไปนี้ แต่ละกลุ่มมีความชันที่ไม่เป็นศูนย์และการสกัดกั้นที่ไม่ใช่ศูนย์และพารามิเตอร์สำหรับแต่ละกลุ่มภายในการถดถอยกลุ่มคืออะไร? มีไม่ว่าจะเป็นสมาชิกกลุ่มแนวโน้มที่ไม่เป็นศูนย์และการสกัดกั้นที่ไม่เป็นศูนย์หรือไม่และพารามิเตอร์สำหรับการถดถอยแบบกลุ่มนี้คืออะไร? ใน R, รุ่นแรกจะเป็นเพื่อให้ค่าสัมประสิทธิ์ประมาณอาจตีความได้โดยตรงขณะที่ตัดและความลาดชันสำหรับแต่ละรุ่นที่สองจะเป็นlm(y ~ group + x:group - 1) group.Thelm(y ~ x + 1) ทางเลือกจะเป็นlm(y ~ x + group + x:group + 1)ซึ่งส่งผลในตารางสรุปค่าสัมประสิทธิ์ที่ซับซ้อนภายในกลุ่มลาดและดักต้องคำนวณจากความแตกต่างในลาดและดักจากการอ้างอิงบางส่วน นอกจากนี้คุณต้องเรียงลำดับกลุ่มใหม่และเรียกใช้แบบจำลองเป็นครั้งที่สองต่อไปเพื่อรับค่า p สำหรับความแตกต่างของกลุ่มสุดท้าย (บางครั้ง) สิ่งนี้ใช้สองรุ่นแยกกันส่งผลเสียต่อการอนุมานในทางใดทางหนึ่งหรือการปฏิบัติตามมาตรฐานนี้หรือไม่? ในการพิจารณาเรื่องนี้ให้พิจารณาว่า x เป็นปริมาณยาและกลุ่มที่มีเชื้อชาติต่างกัน อาจเป็นเรื่องที่น่าสนใจที่จะทราบความสัมพันธ์ของการตอบสนองต่อขนาดยาสำหรับแพทย์เฉพาะทางหรือยาที่ใช้ในการแข่งขัน แต่บางครั้งก็น่าสนใจที่จะทราบความสัมพันธ์ของการตอบสนองต่อยาสำหรับประชากรทั้งหมด (มนุษย์) โดยไม่คำนึงถึงเชื้อชาติสำหรับเจ้าหน้าที่สาธารณสุข นี่เป็นเพียงตัวอย่างของวิธีการที่คนอาจสนใจทั้งภายในกลุ่มและระหว่างการถดถอยกลุ่ม ความสัมพันธ์ระหว่างปริมาณและการตอบสนองควรเป็นเชิงเส้นหรือไม่ไม่ใช่สิ่งสำคัญ

10 r  regression  multiple-comparisons  inference  ancova 

สมมติว่าฉันมีสามกลุ่มอิสระด้วยค่าเฉลี่ย μ1, μ2, μ3μ1, μ2, μ3\mu_1,~ \mu_2,~\mu_3 ตามลำดับ ฉันจะทดสอบได้อย่างไร μ1&lt;μ2&lt;μ3μ1&lt;μ2&lt;μ3\mu_1 < \mu_2 <\mu_3 หรือไม่ใช้ n1, n2, n3n1, n2, n3n_1,~n_2,~n_3 ตัวอย่างจากแต่ละกลุ่ม? ฉันต้องการทราบวิธีการทั่วไปบางอย่างไม่ใช่การคำนวณแบบละเอียด ฉันไม่สามารถหาวิธีตั้งสมมติฐานได้H0H0H_0 และ H1H1H_1.

9 hypothesis-testing  multiple-comparisons  isotonic 

ฉันมีชุดข้อมูลที่มีคุณลักษณะ / covariates ที่มีความสัมพันธ์กันประมาณ 5,000 รายการและการตอบกลับแบบไบนารี ข้อมูลถูกมอบให้ฉันฉันไม่ได้เก็บรวบรวม ฉันใช้ Lasso และเพิ่มการไล่ระดับสีเพื่อสร้างแบบจำลอง ฉันใช้การตรวจสอบข้ามแบบซ้อนซ้ำซ้อน ฉันรายงานว่าสัมประสิทธิ์ 40 ที่ใหญ่ที่สุด (สัมบูรณ์) ของ Lasso และ 40 คุณสมบัติที่สำคัญที่สุดในต้นไม้ที่ไล่ระดับสี (ไม่มีอะไรพิเศษเกี่ยวกับ 40 มันดูเหมือนจะเป็นข้อมูลที่สมเหตุสมผล) ฉันยังรายงานความแปรปรวนของปริมาณเหล่านี้ผ่านรอยพับและการวนซ้ำของ CV ฉันชอบที่จะพูดถึงคุณสมบัติ "สำคัญ" โดยไม่มีการพูดถึงค่า p หรือค่านิยมหรืออะไรก็ตาม แต่แทนที่จะคิดว่ากระบวนการนี้เป็นแบบ --- แม้ว่าจะไม่สมบูรณ์และเรียงลำดับแบบสุ่ม --- เข้าใจลึกลงไปในปรากฏการณ์บางอย่าง สมมติว่าฉันได้ทำทั้งหมดนี้อย่างถูกต้อง (เช่นดำเนินการตรวจสอบข้ามอย่างถูกต้องปรับขนาดสำหรับเชือก) วิธีนี้มีเหตุผล? มีปัญหากับตัวอย่างเช่นการทดสอบสมมติฐานหลายรายการการวิเคราะห์หลังเลิกเรียนการค้นพบที่ผิดพลาดหรือไม่? หรือปัญหาอื่น ๆ ? วัตถุประสงค์ ทำนายความน่าจะเป็นของเหตุการณ์ไม่พึงประสงค์ สำคัญที่สุดประมาณการความน่าจะเป็นได้อย่างแม่นยำ ผู้เยาว์เพิ่มเติม - เพื่อการมีสติตรวจสอบ แต่อาจเปิดเผยตัวพยากรณ์ใหม่ที่สามารถตรวจสอบเพิ่มเติมตรวจสอบค่าสัมประสิทธิ์และความสำคัญตามที่กล่าวไว้ข้างต้น ผู้บริโภค …

9 machine-learning  multiple-comparisons  regression-coefficients  lasso  high-dimensional 

สมมติว่าฉันมีการทดสอบด้วยสองปัจจัยขึ้นไป ANOVA โดยรวมถูกสร้างขึ้นจากนั้นเราติดตามด้วยชุดการทดสอบpost hocสองชุดขึ้นไปพูดเปรียบเทียบหลาย ๆ อย่าง คำถามของฉันเกี่ยวกับขนาดใหญ่และจำนวนครอบครัวที่ควรใช้เป็นพื้นฐานสำหรับการปรับหลายหลากของการทดสอบหลังการโพสต์นี้ ตัวอย่างคือชุดข้อมูล warp-break จากหนังสือของ Tukey บน EDA มีสองปัจจัย: wool(ที่สองระดับ) และtension(ที่สามระดับ) ตาราง ANOVA คือ: Source Df Sum Sq Mean Sq F value Pr(&gt;F) wool 1 450.7 450.67 3.7653 0.0582130 tension 2 2034.3 1017.13 8.4980 0.0006926 wool:tension 2 1002.8 501.39 4.1891 0.0210442 Residuals 48 5745.1 119.69 …

9 multiple-comparisons  post-hoc 

สมมติว่าฉันใช้การถดถอยแบบเดียวกันสำหรับคนละ 100 คน สัมประสิทธิ์ความสนใจของฉันเป็นค่าบวก (และค่อนข้างแตกต่างจากกัน) แต่ไม่มีนัยสำคัญทางสถิติในผลลัพธ์ทั้งหมด 100 (สมมติว่า p-value = 0.11 ทุกค่า) มีวิธีรวมค่า p เหล่านี้เพื่อสรุป "อย่างน้อย 80 ของผลลัพธ์เหล่านี้เป็นค่าบวก" มีความสำคัญมากกว่า p = 0.11 หรือไม่ การค้นหาออนไลน์ของฉันแสดงให้ฉันเห็นเพียงวิธีการพูดว่า "อย่างน้อย 1 ผลลัพธ์เหล่านี้เป็นค่าบวก" ผ่านการทดสอบแบบฟิชเชอร์หรือที่คล้ายกัน แต่ฉันไม่สามารถสรุปผลลัพธ์นั้นได้ ฉันต้องการทดสอบ "H0 = เอฟเฟกต์ทั้งหมด 100 ค่าจะเหมือนกันที่ 0" กับ "HA = เอฟเฟกต์อย่างน้อย 80 ค่าเป็นบวก" เป้าหมายของฉันคือไม่ได้บอกว่ามีค่าสัมประสิทธิ์เป็นบวกโดยเฉลี่ยและไม่วัดค่าสัมประสิทธิ์โดยเฉพาะ เป้าหมายของฉันคือการแสดงให้เห็นอย่างมีนัยสำคัญว่าอย่างน้อย 80 คนต้องเผชิญกับผลกระทบเชิงบวกบางอย่างโดยไม่คำนึงถึงสิ่งที่ 80 และโดยไม่คำนึงถึงขนาดของผลกระทบความรู้สึกของแต่ละบุคคล

9 hypothesis-testing  multiple-comparisons 

ฉันมีชุดข้อมูลที่ฉันทดสอบความแตกต่างอย่างมีนัยสำคัญระหว่างสามประชากรที่เกี่ยวกับตัวแปรที่แตกต่างกัน 50 รายการ ฉันทำสิ่งนี้โดยใช้การทดสอบ Kruskal-Wallis บนมือข้างหนึ่งและโดยการทดสอบอัตราส่วนความน่าจะเป็นของโมเดล GLM แบบซ้อนกันพอดี (ที่มีและไม่มีประชากรเป็นตัวแปรอิสระ) ในอีกด้านหนึ่ง เป็นผลให้ฉันมีรายชื่อ Kruskal-Wallis ppp- ค่าในมือข้างหนึ่งและสิ่งที่ฉันคิดว่าเป็นไคสแควร์ ppp- ค่าจากการเปรียบเทียบ LRT ที่อื่น ๆ ฉันต้องทำการแก้ไขการทดสอบหลายรูปแบบบางรูปแบบเนื่องจากมีการทดสอบมากกว่า 50 รายการและ Benjamini-Hochberg FDR ดูเหมือนว่าเป็นตัวเลือกที่เหมาะสมที่สุด อย่างไรก็ตามตัวแปรอาจไม่เป็นอิสระโดยมี "แคลน" หลายตัวที่สัมพันธ์กัน คำถามคือ: ฉันจะบอกได้อย่างไรว่าชุดของสถิติพื้นฐานสำหรับฉันppp- ค่าตอบสนองความต้องการของการพึ่งพาในเชิงบวกที่จำเป็นสำหรับกระบวนการ Benjamini-Hochberg ที่จะยังคงผูกพันกับ FDR? กระดาษ Benjamini-Hochberg-Yekutieli จากปี 2544 ระบุว่าสภาพ PRDS มีไว้สำหรับการแจกแจงแบบปกติหลายตัวแปรและการแจกแจงแบบนักศึกษา สิ่งที่เกี่ยวกับการทดสอบอัตราส่วนความน่าจะเป็นของฉันค่าไคสแควร์สำหรับการเปรียบเทียบแบบจำลอง? เกี่ยวกับppp- ค่าที่ฉันมีสำหรับการทดสอบ Kruskal-Wallis? ฉันสามารถใช้การแก้ไข FDR ที่เลวร้ายที่สุดกรณี Benjamini-Hochberg-Yekutieli ที่ไม่มีอะไรขึ้นอยู่กับการพึ่งพา …

9 chi-squared  multiple-comparisons  likelihood-ratio  kruskal-wallis  false-discovery-rate 

ผมมีตารางสามมิติของขนาด6แต่ละเซลล์ของตารางเป็นการทดสอบสมมติฐาน การแบ่งตารางในมิติที่สามสร้างการทดสอบสมมติฐานชุดซึ่งเป็นอิสระจากชุด แต่ขึ้นอยู่กับชุด เดิมทีฉันคิดว่าฉันสามารถควบคุมอัตราการค้นพบที่ผิดพลาดได้โดยใช้กระบวนการ Benjamini-Hochberg ในการทดสอบสมมติฐานทั้งหมดพร้อมกัน นั่นเป็นวิธีที่เหมาะสมในการโจมตีปัญหานี้หรือไม่? ความคิดที่สองของฉันคือการควบคุมอัตราการค้นพบที่ผิดพลาดภายในแต่ละส่วนตามมิติที่สามของตารางจากนั้นใช้การแก้ไขประเภทอื่นหลังจากนั้น ใครบ้างมีข้อมูลเพิ่มเติมเกี่ยวกับขั้นตอนประเภทนี้?6 × 6 × 816×6×816\times6\times81818181

9 multiple-comparisons  false-discovery-rate