สถิติและข้อมูลขนาดใหญ่

สำหรับนักสถิติที่ไม่ใช่ฉันมันยากมากที่จะจับความคิดของVIตัวชี้วัด (การเปลี่ยนแปลงของข้อมูล) แม้หลังจากอ่านบทความที่เกี่ยวข้องโดย Marina Melia "การเปรียบเทียบการจัดกลุ่ม - ระยะทางตามข้อมูล " (วารสารการวิเคราะห์หลายตัวแปร 2007) ในความเป็นจริงฉันไม่คุ้นเคยกับคำศัพท์หลาย ๆ ด้านล่างคือ MWE และฉันต้องการทราบว่าผลลัพธ์หมายถึงอะไรในการวัดต่างๆที่ใช้ ฉันมีสองกลุ่มนี้ใน R และใน ID เดียวกัน: > dput(a) structure(c(4L, 3L, 4L, 4L, 4L, 4L, 4L, 3L, 4L, 4L, 3L, 3L, 3L, 4L, 4L, 4L, 4L, 4L, 3L, 4L, 4L, 4L, 3L, 4L, 4L, 3L, 4L, …

11 r  clustering  validation  intuition 

เรามีข้อมูลที่มีผลลัพธ์เป็นเลขฐานสองและเพื่อนร่วมทุนบางคน ฉันใช้การถดถอยโลจิสติกเพื่อทำแบบจำลองข้อมูล แค่การวิเคราะห์อย่างง่ายไม่มีอะไรพิเศษ ผลลัพธ์สุดท้ายควรจะเป็นเส้นโค้งการตอบสนองต่อปริมาณที่เราแสดงให้เห็นว่าความน่าจะเป็นเปลี่ยนแปลงสำหรับ covariate ที่เฉพาะเจาะจงอย่างไร บางสิ่งเช่นนี้ เราได้รับคำวิจารณ์จากผู้ตรวจสอบภายใน (ไม่ใช่นักสถิติบริสุทธิ์) สำหรับการเลือกการถดถอยโลจิสติก การถดถอยโลจิสติกถือว่า (หรือกำหนด) ว่าจุดผันของเส้นโค้งรูปตัว S ในระดับความน่าจะเป็นอยู่ที่ความน่าจะเป็น 0.5 เขาแย้งว่าจะไม่มีเหตุผลที่จะคิดว่าจุดเปลี่ยนความเว้าเป็นจริงที่ความน่าจะเป็น 0.5 และเราควรเลือกรูปแบบการถดถอยที่แตกต่างกันซึ่งช่วยให้จุดเปลี่ยนความเว้าแตกต่างกันไปตามตำแหน่งที่เกิดขึ้นจริง ในตอนแรกฉันถูกจับโดยการโต้แย้งของเขาตั้งแต่ฉันไม่เคยคิดเกี่ยวกับประเด็นนี้ ฉันไม่มีข้อโต้แย้งใด ๆ ว่าทำไมจึงสมควรที่จะสันนิษฐานว่าจุดโรคติดเชื้ออยู่ที่ 0.5 หลังจากทำวิจัยแล้วฉันยังไม่มีคำตอบสำหรับคำถามนี้ ฉันเจอการถดถอยโลจิสติก 5 พารามิเตอร์ซึ่งจุดเปลี่ยนเป็นพารามิเตอร์เพิ่มเติม แต่ดูเหมือนว่ารูปแบบการถดถอยนี้มักจะใช้เมื่อสร้างเส้นโค้งการตอบสนองต่อปริมาณด้วยผลลัพธ์ที่ต่อเนื่อง ฉันไม่แน่ใจว่าสามารถขยายไปยังตัวแปรตอบกลับแบบไบนารี่ได้หรือไม่ ฉันเดาคำถามหลักของฉันคือทำไมหรือเมื่อไรที่สมมติว่าจุดเปลี่ยนของการถดถอยโลจิสติกอยู่ที่ 0.5 มันสำคัญหรือไม่ ฉันไม่เคยเห็นใครเหมาะกับโมเดลการถดถอยแบบโลจิสติกส์และพูดคุยอย่างชัดเจนในประเด็นของจุดโรคติดเชื้อ มีทางเลือกอื่นในการสร้างเส้นโค้งการตอบสนองปริมาณรังสีที่จุดผันน้ำไม่จำเป็นต้องอยู่ที่ 0.5 หรือไม่? เพื่อความสมบูรณ์รหัส R สำหรับสร้างภาพด้านบน: dat <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") dat$rank <- factor(dat$rank) logit <- glm(admit ~ …

11 regression  logistic  generalized-linear-model  binary-data 

ฉันมีกระบวนการจากที่ผมได้รับตัวอย่างขนาดเล็ก (ปกติกระจายnโดยปกติ 10-30) ที่ฉันต้องการที่จะใช้ในการประมาณค่าความแปรปรวน แต่บ่อยครั้งที่กลุ่มตัวอย่างอยู่ใกล้กันมากจนเราไม่สามารถวัดจุดแต่ละจุดที่อยู่ใกล้ศูนย์กลาง ฉันมีความเข้าใจที่คลุมเครือว่าเราควรสร้างตัวประมาณที่มีประสิทธิภาพโดยใช้ตัวอย่างที่สั่ง: ตัวอย่างเช่นถ้าฉันรู้ว่าตัวอย่างมี 20 คะแนนและ 10 กลุ่มนั้นอยู่ใกล้ศูนย์กลางเกินไปที่จะวัดเป็นรายบุคคล แต่ฉันมีการวัดแบบแยก 5 บนหางทั้งสองข้าง, มีวิธีการมาตรฐาน / สูตรสำหรับการประเมินความแปรปรวนของกระบวนการที่ใช้ตัวอย่างที่ดีที่สุดหรือไม่? (โปรดทราบว่าฉันไม่คิดว่าฉันสามารถถ่วงน้ำหนักค่าเฉลี่ยของศูนย์ได้ตัวอย่างเช่นเป็นไปได้สำหรับ 7 ตัวอย่างที่จะจัดกลุ่มให้แน่นในขณะที่อีกสามตัวเอียงไปด้านข้างแบบไม่สมมาตร แต่ใกล้พอที่เราจะบอกไม่ได้ .) หากคำตอบนั้นซับซ้อนเคล็ดลับใด ๆ เกี่ยวกับสิ่งที่ฉันควรทำการวิจัยจะได้รับการชื่นชม เช่นนี้เป็นปัญหาเกี่ยวกับสถิติการสั่งซื้อหรือไม่ มีแนวโน้มที่จะเป็นคำตอบสูตรหรือเป็นปัญหาการคำนวณหรือไม่ อัพเดทรายละเอียด:แอพพลิเคชั่นวิเคราะห์เป้าหมายการยิง ตัวอย่างพื้นฐานเดียวคือจุดกระทบ ( x, y ) ของการยิงครั้งเดียวบนเป้าหมาย กระบวนการพื้นฐานมีการแจกแจงปกติแบบสมมาตร bivariate แต่ไม่มีความสัมพันธ์กันระหว่างแกนดังนั้นเราจึงสามารถรักษาตัวอย่าง { x } และ { y } เป็นอิสระจากการแจกแจงแบบเดียวกัน (นอกจากนี้เรายังสามารถพูดกระบวนการพื้นฐานคือเรย์ลีกระจาย แต่เราไม่สามารถวัดตัวอย่าง Rayleigh variates เพราะเราไม่สามารถจะมั่นใจได้ของพิกัดของศูนย์ …

11 normal-distribution  estimation  rayleigh 

ฉันมีการถดถอยแบบลอจิสติกเพื่อสกัดกั้นแบบสุ่ม (เนื่องจากการวัดซ้ำ) และฉันต้องการที่จะทำการวินิจฉัยบางอย่างโดยเฉพาะเกี่ยวกับค่าผิดปกติและการสังเกตที่มีอิทธิพล ฉันดูที่เหลือเพื่อดูว่ามีข้อสังเกตที่โดดเด่นหรือไม่ แต่ฉันก็อยากจะดูบางอย่างเช่นระยะทางของ Cook หรือ DFFITS Hosmer และ Lemeshow (2000) กล่าวว่าเนื่องจากการขาดเครื่องมือวินิจฉัยแบบจำลองสำหรับข้อมูลที่มีความสัมพันธ์หนึ่งควรจะพอดีกับแบบจำลองการถดถอยโลจิสติกปกติละเว้นความสัมพันธ์และใช้เครื่องมือวินิจฉัยที่มีอยู่สำหรับการถดถอยโลจิสติกปกติ พวกเขายืนยันว่าสิ่งนี้จะดีกว่าไม่ได้ทำการวินิจฉัยใด ๆ เลย หนังสือเล่มนี้มาจากปี 2000 และฉันสงสัยว่าตอนนี้มีวิธีการสำหรับการวินิจฉัยแบบจำลองที่มีผลกระทบการถดถอยโลจิสติกแบบผสมหรือไม่? สิ่งที่จะเป็นวิธีที่ดีในการตรวจสอบค่าผิดปกติ? แก้ไข (5 พฤศจิกายน 2013): เนื่องจากการขาดการตอบสนองฉันสงสัยว่าการทำการวินิจฉัยด้วยโมเดลที่หลากหลายนั้นไม่ได้ทำโดยทั่วไปหรือไม่ใช่ขั้นตอนที่สำคัญเมื่อทำการสร้างแบบจำลองข้อมูล ดังนั้นฉันขอใช้ถ้อยคำใหม่คำถามของฉัน: คุณจะทำอย่างไรเมื่อคุณพบรูปแบบการถดถอยที่ "ดี"?

11 mixed-model  outliers  glmm  cooks-distance 

ผมอยู่ในระดับสถิติเบื้องต้นในการที่ฟังก์ชั่นความหนาแน่นของความน่าจะเป็นของตัวแปรสุ่มต่อเนื่องได้รับการกำหนดให้เป็นฉ ฉันเข้าใจว่าอินทิกรัลของแต่ฉันไม่สามารถแก้ไขสิ่งนี้ได้ด้วยสัญชาตญาณตัวแปรสุ่มแบบต่อเนื่อง Say X เป็นตัวแปรสุ่มเท่ากับจำนวนนาทีจากเวลาที่รถไฟมาถึง ฉันจะคำนวณความน่าจะเป็นที่รถไฟมาถึง 5 นาทีจากนี้ได้อย่างไร ความน่าจะเป็นนี้จะเป็นศูนย์ได้อย่างไร มันเป็นไปไม่ได้เหรอ? เกิดอะไรขึ้นถ้ารถไฟไม่มาถึงตรง 5 นาทีจากตอนนี้ว่ามันจะเกิดขึ้นถ้ามันมีความน่าจะเป็น 0?a ∫ a f ( x ) d x = 0P{ X∈ B } = ∫Bฉ( x ) dxP{X∈B}=∫Bฉ(x)dxP\left\{X\in B\right\}=\int_B f\left(x\right)dx∫aaฉ( x ) dx = 0∫aaฉ(x)dx=0\int\limits_a^af(x)dx=0 ขอบคุณ

11 probability  random-variable  pdf  continuous-data 

ฉันใช้ข้อมูลบางอย่างที่จะหาทางออกที่ดีที่สุดของตัวแปรแบบการถดถอยโดยใช้การถดถอยสันในอาร์ฉันได้ใช้lm.ridgeและglmnet(เมื่อalpha=0) lambda=0แต่ผลที่แตกต่างกันมากโดยเฉพาะอย่างยิ่งเมื่อ มันสมมติว่าตัวประมาณค่าพารามิเตอร์ทั้งสองมีค่าเหมือนกัน แล้วปัญหาอะไรที่นี่? ขอแสดงความนับถืออย่างสูง

11 r  regression  ridge-regression  glmnet 

เป็นที่ทราบกันดีว่าเป็นปัญหาในการเลือกการทดสอบทางสถิติตามผลลัพธ์ของการทดสอบทางสถิติอื่นเนื่องจากค่า p-value นั้นยากที่จะตีความไม่ได้ (เช่นการเลือกการทดสอบทางสถิติตามผลลัพธ์ของอีกแบบหนึ่ง (เช่นภาวะปกติ) ) . อย่างไรก็ตามนี่ยังคงเป็นวิธีปฏิบัติมาตรฐานในหลาย ๆ แอปพลิเคชั่นและมักจะไม่สังเกตเห็นหรือกล่าวถึงในเอกสารที่ใช้ เมื่อมองผ่านวรรณกรรมฉันไม่พบกระดาษที่พูดถึงปรากฏการณ์นี้ ฉันขอขอบคุณการเชื่อมโยงไปยังสิ่งตีพิมพ์ใด ๆ ที่เกี่ยวข้องกับการเลือกการทดสอบทางสถิติตามผลของการทดสอบทางสถิติอื่นโดยเฉพาะอย่างยิ่งสิ่งที่นักวิทยาศาสตร์ประยุกต์สามารถเข้าถึงได้

11 hypothesis-testing  references  p-value 

ฉันได้รับงานนี้แล้วก็นิ่งงัน เพื่อนร่วมงานขอให้ฉันประเมินและของแผนภูมิต่อไปนี้:xupperxupperx_{upper}xlowerxlowerx_{lower} เส้นโค้งนั้นคือการแจกแจงแบบสะสมและ x เป็นการวัดแบบหนึ่ง เขาสนใจที่จะรู้ว่าอะไรคือค่าที่สอดคล้องกันของ x เมื่อฟังก์ชันสะสมเริ่มกลายเป็นเส้นตรงและเบี่ยงเบนจากการเป็นเส้นตรง ฉันเข้าใจว่าเราสามารถใช้ความแตกต่างเพื่อค้นหาความชัน ณ จุดหนึ่ง แต่ฉันไม่แน่ใจว่าจะระบุได้อย่างไรว่าเราจะโทรหาเส้นตรงได้เมื่อไหร่ เขยิบต่อแนวทาง / วรรณกรรมที่มีอยู่แล้วบางส่วนจะได้รับการชื่นชมอย่างมาก ฉันรู้ว่าอาร์เช่นกันถ้าคุณรู้แพคเกจหรือตัวอย่างที่เกี่ยวข้องในการสืบสวนประเภทนี้ ขอบคุณมาก. UPDATE ขอบคุณ Flounderer ฉันสามารถขยายงานเพิ่มเติมตั้งค่ากรอบงานและแก้ไขพารามิเตอร์ที่นี่และที่นั่น เพื่อจุดประสงค์ในการเรียนรู้นี่คือรหัสปัจจุบันของฉันและเอาต์พุตกราฟิก library(ESPRESSO) x <- skew.rnorm(800, 150, 5, 3) x <- sort(x) meanX <- mean(x) sdX <- sd(x) stdX <- (x-meanX)/sdX y <- pnorm(stdX) par(mfrow=c(2,2), mai=c(1,1,0.3,0.3)) hist(x, col="#03718750", border="white", main="") …

11 estimation  pdf  curve-fitting  logistic-curve 

ในรูปแบบลำดับชั้นของข้อมูลที่ มันดูเหมือนจะเป็นเรื่องปกติในทางปฏิบัติเพื่อเลือกค่า (ว่าค่าเฉลี่ยและความแปรปรวนของการแจกแจงแกมมาประมาณตรงกับค่าเฉลี่ยและความแปรปรวนของข้อมูล (เช่น Clayton และ Kaldor, 1987 "Empirical Bayes Estimates ของความเสี่ยงสัมพัทธ์ตามมาตรฐานอายุสำหรับการทำแผนที่โรค" Biometrics ) เห็นได้ชัดว่านี่เป็นเพียงโซลูชันเฉพาะกิจแต่เนื่องจากมันจะเกินความเชื่อมั่นของนักวิจัยในพารามิเตอร์yyyy∼Poisson(λ)y∼Poisson(λ)y \sim \textrm{Poisson}(\lambda) λ∼Gamma(α,β)λ∼Gamma(α,β)\lambda \sim \textrm{Gamma}(\alpha, \beta)α,β)α,β)\alpha, \beta)yyy(α,β)(α,β)(\alpha, \beta)และความผันผวนเล็กน้อยในข้อมูลที่รับรู้อาจมีผลต่อความหนาแน่นของแกมม่าแม้ว่ากระบวนการสร้างข้อมูลพื้นฐานจะยังคงเหมือนเดิม นอกจากนี้ในการวิเคราะห์ข้อมูลแบบเบย์ (2nd Ed) Gelman เขียนว่าวิธีนี้คือ " เลอะเทอะ ;" ในหนังสือและบทความนี้ (เริ่มต้นที่ 3232) เขาแนะนำว่าควรเลือกความหนาแน่น hyperpriorในแบบที่คล้ายกับตัวอย่างเนื้องอกหนู (เริ่มต้นที่ 130)p(α,β)p(α,β)p(\alpha, \beta) แม้ว่าจะเป็นที่ชัดเจนว่ายอมรับได้ตราบใดที่มันสร้างความหนาแน่นของหลังที่ จำกัด แต่ฉันไม่พบตัวอย่างของความหนาแน่น hyperprior ที่นักวิจัยได้ใช้สำหรับปัญหานี้ในอดีต ฉันจะซาบซึ้งอย่างยิ่งถ้ามีคนชี้ให้ฉันไปที่หนังสือหรือบทความที่ใช้ความหนาแน่นสูงเกินไปเพื่อประเมินแบบจำลอง Poisson-Gamma เป็นการดีที่ฉันสนใจในที่ค่อนข้างแบนและจะถูกครอบงำโดยข้อมูลในตัวอย่างเนื้องอกหนูหรือการอภิปรายเปรียบเทียบข้อกำหนดทางเลือกหลายประการและการแลกเปลี่ยนที่เกี่ยวข้องกับแต่ละp(α,β)p(α,β)p(\alpha, \beta)p(α,β)p(α,β)p(\alpha, \beta)

11 poisson-distribution  gamma-distribution  hierarchical-bayesian  hyperparameter 

ฉันสงสัยว่าช่วงเวลาการทำนายและช่วงเวลาที่น่าเชื่อถือจะประเมินสิ่งเดียวกันหรือไม่ ตัวอย่างเช่นการถดถอยเชิงเส้นเมื่อคุณประเมินช่วงเวลาการทำนายของค่าที่ติดตั้งไว้คุณจะประเมินขีด จำกัดของช่วงเวลาที่คุณคาดหวังว่ามูลค่าของคุณจะลดลง ตรงกันข้ามกับช่วงความมั่นใจคุณไม่ได้มุ่งเน้นไปที่พารามิเตอร์การกระจายเช่นค่าเฉลี่ย แต่ในค่าที่ตัวแปรอธิบายของคุณอาจใช้ค่า X ที่กำหนด (สมมติว่า )( 1 - α ) %(1-α)%(1-\alpha)\% Y= + ข X Y=a+ข.X\ Y = a + b.X เมื่อคุณประเมินค่าที่พอดีสำหรับค่ากำหนดภายในกรอบการทำงานแบบเบย์จากการแจกแจงความน่าจะเป็นหลังคุณสามารถประมาณช่วงเวลาที่น่าเชื่อถือได้ ช่วงเวลานี้ให้ข้อมูลเดียวกันกับค่าติดตั้งหรือไม่?XXX

11 bayesian  linear-model  prediction  prediction-interval  credible-interval 

Jerome Cornfield ได้เขียน: หนึ่งในผลไม้ที่ดีที่สุดของการปฏิวัติของชาวประมงคือความคิดของการสุ่มและนักสถิติที่เห็นด้วยกับสิ่งอื่น ๆ น้อยได้เห็นด้วยอย่างน้อยในเรื่องนี้ แต่แม้จะมีข้อตกลงนี้และแม้จะมีการใช้ขั้นตอนการจัดสรรแบบสุ่มในทางคลินิกและในรูปแบบอื่น ๆ ของการทดลอง แต่สถานะทางตรรกะของมันก็คือฟังก์ชันที่แน่นอนที่มันทำนั้นยังคงคลุมเครือ ทุ่งนาเจอโรม (1976) "ผลงานล่าสุดกับระเบียบวิธีการทดลองทางคลินิก" วารสารระบาดวิทยาแห่งอเมริกา 104 (4): 408–421 ในเว็บไซต์นี้และในวรรณคดีที่หลากหลายฉันมักเห็นการอ้างสิทธิ์ที่มั่นใจเกี่ยวกับพลังของการสุ่ม คำศัพท์ที่แข็งแกร่งเช่น "มันกำจัดปัญหาของตัวแปรที่รบกวน" เป็นเรื่องปกติ ดูที่นี่ยกตัวอย่างเช่น อย่างไรก็ตามมีการทดลองหลายครั้งด้วยตัวอย่างเล็ก ๆ (3-10 ตัวอย่างต่อกลุ่ม) สำหรับเหตุผลเชิงปฏิบัติ / จริยธรรม นี่เป็นเรื่องธรรมดามากในการวิจัยพรีคลินิกโดยใช้สัตว์และเซลล์เพาะเลี้ยงและนักวิจัยมักรายงานค่า p เพื่อสนับสนุนข้อสรุปของพวกเขา สิ่งนี้ทำให้ฉันสงสัยว่าการสุ่มตัวอย่างทำได้ดีเพียงใดในการสร้างสมดุลให้กับขอบเขต สำหรับพล็อตนี้ฉันจำลองสถานการณ์เปรียบเทียบกลุ่มการรักษาและกลุ่มควบคุมด้วยความสับสนที่สามารถรับสองค่าด้วยโอกาส 50/50 (เช่น type1 / type2, ชาย / หญิง) มันแสดงให้เห็นการกระจายตัวของ "% ไม่สมดุล" (ความแตกต่างใน # ของ type1 ระหว่างการรักษาและตัวอย่างการควบคุมหารด้วยขนาดตัวอย่าง) …

11 small-sample  random-allocation 

ฉันมีคำถามเกี่ยวกับการแปลความหมายของการโทร tsboot ใน R ฉันตรวจสอบเอกสารของทั้ง Kendall และแพคเกจสำหรับบูต แต่ฉันก็ไม่ฉลาดกว่าก่อน เมื่อฉันเรียกใช้ bootstrap โดยใช้ตัวอย่างเช่นในแพคเกจ Kendall ที่สถิติการทดสอบเป็นเอกภาพของ Kendall: library(Kendall) # Annual precipitation entire Great Lakes # The Mann-Kendall trend test confirms the upward trend. data(PrecipGL) MannKendall(PrecipGL) ซึ่งยืนยันแนวโน้มขาขึ้น: tau = 0.265, 2-sided pvalue =0.00029206 ตัวอย่างจากนั้นใช้บล็อก bootstrap ต่อไป: # #Use block bootstrap library(boot) data(PrecipGL) MKtau<-function(z) MannKendall(z)$tau …

11 r  bootstrap 

ฉันใช้รหัส R ต่อไปนี้เพื่อให้พอดีกับโมเดล probit: p1 <- glm(natijeh ~ ., family=binomial(probit), data=data1) stepwise(p1, direction='backward/forward', criterion='BIC') ฉันต้องการที่จะรู้ว่าสิ่งที่ทำstepwiseและbackward/forwardทำสิ่งที่แน่นอนและวิธีการเลือกตัวแปร?

11 r  probit  stepwise-regression 

ดูเหมือนว่าเงื่อนไขแบบเต็มมักจะยากที่จะรับมา แต่โปรแกรมเช่น JAGS และ BUGS จะได้มาโดยอัตโนมัติ บางคนสามารถอธิบายได้ว่าพวกเขาสร้างอัลกอริธึมแบบเต็มรูปแบบสำหรับสเปคแบบใดก็ได้หรือไม่?

11 bayesian  conditional-probability  jags  bugs  gibbs 

ฉันทำการจำแนกประเภทโดยใช้ตัวแยกประเภทหลายตัวสำหรับข้อมูลที่มีป้ายกำกับ 2 ชั้นและฉันใช้การตรวจสอบความถูกต้องไขว้ 5 เท่า สำหรับแต่ละเท่าฉันคำนวณ tp, tn, fp และ fn จากนั้นฉันคำนวณความแม่นยำความแม่นยำการเรียกคืนและคะแนน F สำหรับการทดสอบแต่ละครั้ง คำถามของฉันคือเมื่อฉันต้องการผลลัพธ์โดยเฉลี่ยฉันใช้ค่าความถูกต้องโดยเฉลี่ย แต่ฉันสามารถหาค่าเฉลี่ยความแม่นยำการเรียกคืนและคะแนน F ได้หรือไม่ หรือนี่จะผิดทางคณิตศาสตร์หรือไม่? PS ชุดข้อมูลที่ใช้ในแต่ละครั้งนั้นมีความสมดุลในแง่ของจำนวนอินสแตนซ์ต่อคลาส ขอบคุณ

11 classification  cross-validation  precision-recall