สถิติและข้อมูลขนาดใหญ่

ที่นี่ใน Wikipedia บอกว่า: สำหรับค่าที่มากพอของλλλ , (พูดλ>1000λ>1000λ>1000 ) การแจกแจงแบบปกติที่มีค่าเฉลี่ยλλλและความแปรปรวนλλλ (ค่าเบี่ยงเบนมาตรฐานλ−−√λ\sqrt{\lambda} ) เป็นค่าประมาณยอดเยี่ยมสำหรับการแจกแจงปัวซอง ถ้าλλλมากกว่า 10 แล้วการแจกแจงแบบปกติคือการประมาณที่ดีถ้าทำการแก้ไขความต่อเนื่องที่เหมาะสมคือP(X≤x),P(X≤x),P(X ≤ x),ที่ (ตัวพิมพ์เล็ก) xxxเป็นจำนวนเต็มไม่เป็นลบจะถูกแทนที่ด้วยP(X≤x+0.5).P(X≤x+0.5).P(X ≤ x + 0.5). FPoisson(x;λ)≈Fnormal(x;μ=λ,σ2=λ)FPoisson(x;λ)≈Fnormal(x;μ=λ,σ2=λ)F_\mathrm{Poisson}(x;\lambda) \approx F_\mathrm{normal}(x;\mu=\lambda,\sigma^2=\lambda) น่าเสียดายที่นี่ไม่ได้อ้างถึง ฉันต้องการที่จะแสดง / พิสูจน์สิ่งนี้ด้วยความแม่นยำ คุณจะบอกได้อย่างไรว่าการกระจายตัวแบบปกตินั้นเป็นค่าประมาณที่ดีเมื่อλ>1000λ>1000\lambda > 1000คุณจะวัดปริมาณการประมาณ 'ยอดเยี่ยม' นี้ได้อย่างไรใช้มาตรการใด สิ่งที่ไกลที่สุดที่ฉันเคยได้รับกับเรื่องนี้คือที่นี่ที่จอห์นพูดถึงเกี่ยวกับการใช้ทฤษฎีบท Berry - Esseen และใกล้เคียงกับข้อผิดพลาดในสอง CDFs จากสิ่งที่ฉันสามารถดูเขาไม่ได้พยายามที่ค่าใด ๆλ≥1000λ≥1000\lambda \geq 10001000

12 normal-distribution  poisson-distribution  approximation 

ฉันต้องการที่จะเข้าใจการทดสอบที่แม่นยำของฟิชเชอร์มากขึ้นดังนั้นฉันจึงคิดค้นตัวอย่างของเล่นต่อไปนี้โดยที่ f และ m สอดคล้องกับเพศชายและเพศหญิงและ n และ y สอดคล้องกับ "การบริโภคโซดา" เช่นนี้: > soda_gender f m n 0 5 y 5 0 เห็นได้ชัดว่านี่คือการทำให้เข้าใจง่ายมาก แต่ฉันไม่ต้องการให้บริบทเข้ามาขวางทาง ที่นี่ฉันเพิ่งสันนิษฐานว่าผู้ชายไม่ดื่มโซดาและหญิงดื่มโซดาและต้องการดูว่าวิธีการทางสถิติมาถึงข้อสรุปเดียวกัน เมื่อฉันทำการทดสอบฟิชเชอร์ที่แน่นอนใน R ฉันจะได้ผลลัพธ์ต่อไปนี้: > fisher.test(soda_gender) Fisher's Exact Test for Count Data data: soda_gender p-value = 0.007937 alternative hypothesis: true odds ratio is not equal to 1 …

12 fishers-exact  hypergeometric  clustering  supervised-learning  modeling  econometrics  r  regression  residuals  heteroscedasticity  independence  distributions  self-study  matlab  libsvm  self-study  conditional-probability  conditional-expectation  hypothesis-testing  self-study  multiple-comparisons  mode  statistical-significance  chi-squared  multiple-comparisons  maximum-likelihood  poisson-process  optimization  uncertainty  genetic-algorithms  bayesian  model-selection  overfitting  maximum-likelihood  optimization  approximation  r  prediction  model-evaluation  r  machine-learning  survival  neural-networks  cox-model  machine-learning  bayesian  bayesian-network  hierarchical-bayesian  pooling 

นี่คือประวัติศาสตร์ของคำถามวิทยาศาสตร์มากกว่านี้ แต่ฉันหวังว่ามันจะอยู่ในหัวข้อที่นี่ ฉันได้อ่านว่าโทมัสเบย์สามารถค้นพบทฤษฎีบทของเบย์สำหรับกรณีพิเศษของชุดยูนิฟอร์มมาก่อนเท่านั้นและถึงอย่างนั้นเขาก็ต้องดิ้นรนกับมัน เมื่อพิจารณาว่าทฤษฎีบทของนายพลเบย์นั้นสำคัญเพียงใดในการรักษาที่ทันสมัยทำไมมันถึงท้าทายสำหรับเบย์และนักคณิตศาสตร์คนอื่น ๆ ในเวลานั้น? สำหรับการเปรียบเทียบPhilosophiæ Naturalis Principia Principia Mathematica ของ Isaac Newton ได้รับการตีพิมพ์ 36 ปีก่อนงานหลักของ Bayes ซึ่งตีพิมพ์ในเชิงต้อ

12 bayesian  bayes  history 

ฉันใช้ชุดคาเร็ตสำหรับฝึกวัตถุสุ่มป่าด้วย 10x10CV library(caret) tc <- trainControl("repeatedcv", number=10, repeats=10, classProbs=TRUE, savePred=T) RFFit <- train(Defect ~., data=trainingSet, method="rf", trControl=tc, preProc=c("center", "scale")) หลังจากนั้นฉันทดสอบ randomForest บน testSet (ข้อมูลใหม่) RF.testSet$Prediction <- predict(RFFit, newdata=testSet) เมทริกซ์ความสับสนแสดงให้ฉันเห็นว่าแบบจำลองนั้นไม่เลว confusionMatrix(data=RF.testSet$Prediction, RF.testSet$Defect) Reference Prediction 0 1 0 886 179 1 53 126 Accuracy : 0.8135 95% CI : (0.7907, 0.8348) No …

12 r  random-forest  prediction  caret 

เป็นที่ยอมรับกันอย่างน้อยในหมู่นักสถิติที่มีความสามารถสูงกว่านั้นแบบจำลองที่มีค่าของสถิติ AIC ภายในขีด จำกัด ที่แน่นอนของค่าต่ำสุดควรได้รับการพิจารณาตามความเหมาะสมเช่นเดียวกับแบบจำลองที่ลดสถิติ AIC ตัวอย่างเช่นใน [1, p.221] เราพบ จากนั้นแบบจำลองที่มี GCV ขนาดเล็กหรือ AIC ก็ถือว่าดีที่สุด แน่นอนว่าไม่ควรลด GCV หรือ AIC เพียงเล็กน้อย ค่อนข้างทุกรุ่นที่มีค่า GCV หรือ AIC ขนาดเล็กพอสมควรควรพิจารณาว่าเหมาะสมและประเมินตามความเรียบง่ายและความเกี่ยวข้องทางวิทยาศาสตร์ ในทำนองเดียวกันใน [2, p.144] เรามี มันได้รับการแนะนำ (Duong, 1984) ว่ารูปแบบที่มีค่า AIC ภายใน c ของค่าต่ำสุดควรได้รับการพิจารณาการแข่งขัน (กับ c = 2 เป็นค่าทั่วไป) การคัดเลือกจากแบบจำลองการแข่งขันนั้นจะขึ้นอยู่กับปัจจัยต่าง ๆ เช่นความขาวของสารตกค้าง (ส่วนที่ 5.3) และความเรียบง่ายของแบบจำลอง อ้างอิง: รัพเพอร์, …

12 time-series  model-selection  aic 

ไม่มีใครมีความคิดว่าทำไมความสัมพันธ์แบบมีเงื่อนไขระหว่าง 2 ตัวแปรจึงถูกเรียกว่า "ความสัมพันธ์บางส่วน" และความสัมพันธ์แบบเรียบง่ายระหว่างพวกเขา (เช่นเมื่อไม่ได้มีเงื่อนไขในตัวแปรอื่น ๆ ) เรียกว่า "ความสัมพันธ์" สัญชาตญาณที่อยู่เบื้องหลังคำว่า "บางส่วน" และ "ชายขอบ" คืออะไร? พวกเขาทำอะไรกับ "ส่วน" หรือ "ระยะขอบ" มันเป็นการดีที่จะเรียนรู้คำตอบเพื่อให้เข้าใจแนวคิดเหล่านั้นดีขึ้น

12 correlation  terminology  marginal  partial-correlation 

สมมติว่าฉันมีร่วมฟังก์ชั่นช่วงเวลาที่สร้างสำหรับการจัดจำหน่ายร่วมกับ CDFy) คือทั้งที่จำเป็นและเพียงพอเงื่อนไขในการเป็นอิสระของและ ? ฉันตรวจสอบหนังสือสองเล่มซึ่งกล่าวถึงความจำเป็นเท่านั้น:F X , Y ( x , y ) M X , Y ( s , t ) = M X , Y ( s , 0 ) ⋅ M X , Y ( 0 , t )MX,Y(s,t)MX,Y(s,t)M_{X,Y}(s,t)FX,Y(x,y)FX,Y(x,y)F_{X,Y}(x,y)MX, วาย( s , t ) = MX, วาย( …

12 probability  independence  joint-distribution  mgf 

ในการถดถอยเชิงเส้นอย่างง่ายเรามักจะต้องการตรวจสอบว่าสมมติฐานบางอย่างตรงตามความสามารถในการอนุมาน (เช่นกระจายตามปกติ) มันมีเหตุผลที่จะตรวจสอบสมมติฐานโดยการตรวจสอบว่าค่าติดตั้งมีการกระจายตามปกติ?

12 regression  residuals  diagnostic 

การเตือนความทรงจำที่มีเกียรติในสถิติคือ "ความสัมพันธ์ไม่ได้หมายถึงความเป็นอิสระ" โดยปกติการแจ้งเตือนนี้จะเสริมด้วยคำสั่งที่ผ่อนคลายทางจิตวิทยา (และถูกต้องทางวิทยาศาสตร์) "เมื่อ แต่อย่างไรก็ตามทั้งสองตัวแปรมีการกระจายตามปกติร่วมกันแล้ว uncorrelatedness หมายถึงความเป็นอิสระ" ฉันสามารถเพิ่มจำนวนข้อยกเว้นที่มีความสุขจากหนึ่งเป็นสอง: เมื่อตัวแปรสองตัวถูกแจกจ่ายโดยBernoulliจากนั้นอีกครั้งความไม่สัมพันธ์กันหมายถึงความเป็นอิสระ ถ้าและเป็นสอง Bermoulli rv's,ซึ่งเรามีและคล้ายคลึงกับความแปรปรวนร่วมของพวกมันคือXXXYYYX∼ B ( qx) ,Y∼ B ( qY)X~B(Qx),Y~B(QY)X \sim B(q_x),\; Y \sim B(q_y)P( X= 1 ) = E( X) = qxP(X=1)=E(X)=QxP(X=1) = E(X) = q_xYYY Cov( X, วาย) = E( XY) - E( X) E( Y) = ∑SXYp …

12 probability  distributions  correlation  mathematical-statistics  independence 

ในทฤษฎีบทแบบเบย์และจากหนังสือที่ฉันอ่านเรียกว่าความน่าจะเป็นแต่ฉันคิดว่ามันเป็นเพียงความน่าจะเป็นตามเงื่อนไขของให้จริงไหม?p ( y| x)= p ( x | y) p ( y)p ( x )p(y|x)=p(x|y)p(y)p(x)p(y|x) = \frac{p(x|y)p(y)}{p(x)}p ( x | y)p(x|y)p(x|y)xxxYyy การประมาณความน่าจะเป็นสูงสุดพยายามที่จะเพิ่มใช่ไหม? ถ้าเป็นเช่นนั้นฉันสับสนไม่ดีเพราะเป็นทั้งตัวแปรสุ่มใช่ไหม เพื่อเพิ่มให้ได้มากที่สุดคือ ? ปัญหาอีกข้อหนึ่งถ้าตัวแปรสุ่ม 2 ตัวนี้เป็นอิสระแล้วเป็นเพียงแค่ใช่ไหม? จากนั้นการเพิ่มคือการเพิ่ม(x)p ( x | y)p(x|y)p(x|y)x , yx,yx,yp ( x | y)p(x|y)p(x|y) Y^y^\hat yp ( x | y)p(x|y)p(x|y)p ( x )p(x)p(x)p ( x …

12 bayesian  maximum-likelihood 

ฉันกำลังปรับเส้นโค้งให้เหมาะสมกับข้อมูลของฉันเพื่อแยกพารามิเตอร์หนึ่งตัว อย่างไรก็ตามฉันไม่แน่ใจว่าความแน่นอนของพารามิเตอร์นั้นคืออะไรและฉันจะคำนวณ / แสดงช่วงความมั่นใจ % ได้อย่างไร959595 พูดสำหรับชุดข้อมูลที่มีข้อมูลที่อธิบายการสลายตัวแบบทวีคูณฉันพอดีกับเส้นโค้งกับชุดข้อมูลแต่ละชุด จากนั้นข้อมูลที่ผมต้องการที่จะเป็นสารสกัดจากตัวแทนขฉันรู้ค่าของและค่าของฉันไม่สนใจ (นั่นคือตัวแปรที่มาจากประชากรไม่ใช่กระบวนการที่ฉันพยายามทำแบบจำลอง)t abbbtttaaa ฉันใช้การถดถอยเชิงเส้นเพื่อให้พอดีกับพารามิเตอร์เหล่านี้ อย่างไรก็ตามฉันไม่รู้วิธีคำนวณช่วงความมั่นใจ % สำหรับวิธีการใดดังนั้นคำตอบที่กว้างขึ้นก็ยินดีต้อนรับเช่นกัน959595 f=a⋅e−btf=a⋅e−btf= a\cdot e^{-bt} เมื่อฉันมีค่าของฉันสำหรับฉันจะคำนวณช่วงความมั่นใจ % ได้อย่างไร ขอบคุณล่วงหน้า!95bbb959595

12 confidence-interval  nonlinear-regression  fitting 

วิธีการคำนวณความไม่แน่นอนของความชันการถดถอยเชิงเส้นตามความไม่แน่นอนของข้อมูล (อาจเป็นใน Excel / Mathematica) ตัวอย่าง: เรามีจุดข้อมูล (0,0), (1,2), (2,4), (3,6), (4,8), ... (8, 16) แต่ค่า y แต่ละค่ามี ความไม่แน่นอนของ 4. ฟังก์ชั่นส่วนใหญ่ที่ฉันพบจะคำนวณความไม่แน่นอนเป็น 0 เนื่องจากคะแนนตรงกับฟังก์ชัน y = 2x แต่ดังที่แสดงในภาพ y = x / 2 ตรงกับจุดเช่นกัน มันเป็นตัวอย่างที่พูดเกินจริง แต่ฉันหวังว่ามันจะแสดงสิ่งที่ฉันต้องการ แก้ไข: ถ้าฉันพยายามอธิบายให้มากขึ้นในขณะที่ทุกจุดในตัวอย่างมีค่าที่แน่นอนของ y เราทำท่าว่าเราไม่รู้ว่ามันจริงหรือไม่ ตัวอย่างเช่นจุดแรก (0,0) อาจเป็นจริง (0,6) หรือ (0, -6) หรืออะไรก็ตามที่อยู่ระหว่างนั้น ฉันถามว่ามีอัลกอริทึมในปัญหายอดนิยมใด ๆ ที่พิจารณาในบัญชีนี้หรือไม่ …

12 regression  uncertainty 

ฉันเดาว่าฉันเข้าใจสมการของเงื่อนไขสมดุลโดยละเอียดซึ่งระบุว่าสำหรับความเป็นไปได้ในการเปลี่ยนแปลงและการแจกแจงแบบคงที่ , ห่วงโซ่มาร์คอฟตอบสนองความสมดุลโดยละเอียดถ้าπ q ( x | y ) π ( y ) = q ( y | x ) π ( x ) ,qqqππ\piq(x|y)π(y)=q(y|x)π(x),q(x|y)π(y)=q(y|x)π(x),q(x|y)\pi(y)=q(y|x)\pi(x), ทำให้ฉันมีเหตุผลมากขึ้นถ้าฉันย้ำเป็น: q(x|y)q(y|x)=π(x)π(y).q(x|y)q(y|x)=π(x)π(y).\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}. โดยทั่วไปความน่าจะเป็นของการเปลี่ยนจากสถานะเป็นสถานะควรเป็นสัดส่วนกับอัตราส่วนของความหนาแน่นของความน่าจะเป็นyxxxyyy

12 probability  mcmc  markov-process 

คุณจะทำการทดสอบสมมติฐานด้วยข้อมูลขนาดใหญ่ได้อย่างไร ฉันเขียนสคริปต์ MATLAB ต่อไปนี้เพื่อเน้นความสับสนของฉัน สิ่งที่มันทำคือสร้างชุดสุ่มสองชุดและเรียกใช้การถดถอยเชิงเส้นอย่างง่ายของตัวแปรหนึ่งในอีกตัวแปรหนึ่ง จะดำเนินการถดถอยนี้หลายครั้งโดยใช้ค่าสุ่มที่แตกต่างกันและรายงานค่าเฉลี่ย สิ่งที่เกิดขึ้นคือเมื่อฉันเพิ่มขนาดตัวอย่างค่า p โดยเฉลี่ยจะน้อยมาก ฉันรู้ว่าเนื่องจากพลังของการทดสอบเพิ่มขึ้นตามขนาดตัวอย่างเมื่อได้รับตัวอย่างมากพอค่า p จะมีขนาดเล็กพอแม้จะมีข้อมูลแบบสุ่มเพื่อปฏิเสธการทดสอบสมมติฐานใด ๆ ฉันถามไปรอบ ๆ และบางคนบอกว่าด้วย 'ข้อมูลขนาดใหญ่' สำคัญกว่าที่จะดูขนาดเอฟเฟกต์เช่น การทดสอบนั้นสำคัญหรือไม่และมีผลกระทบมากพอที่เราจะสนใจหรือไม่ นี้เป็นเพราะในขนาดตัวอย่างที่มีขนาดใหญ่ P-ค่าจะรับความแตกต่างของขนาดเล็กมากเหมือนมันจะมีการอธิบายที่นี่ อย่างไรก็ตามขนาดของเอฟเฟกต์สามารถกำหนดได้โดยการปรับขนาดของข้อมูล ด้านล่างฉันปรับขนาดตัวแปรอธิบายให้มีขนาดเล็กพอที่ให้ขนาดตัวอย่างใหญ่พอมันมีผลอย่างมากต่อตัวแปรตาม ดังนั้นฉันสงสัยว่าเราจะได้รับข้อมูลเชิงลึกจาก Big Data ได้อย่างไรหากปัญหาเหล่านี้มีอยู่ %make average %decide from how many values to make average obs_inside_average = 100; %make average counter average_count = 1; for average_i = 1:obs_inside_average, …

12 hypothesis-testing  large-data 

วิกิพีเดียผิด ... หรือฉันไม่เข้าใจ วิกิพีเดีย:สี่เหลี่ยมสีขาวและสีดำ ("รูปแบบหมากรุก") จะแยกย้ายกันอย่างสมบูรณ์แบบดังนั้นโมแรนฉันจะเป็น −1 หากสี่เหลี่ยมสีขาวซ้อนกันครึ่งหนึ่งของกระดานและสี่เหลี่ยมสีดำอยู่อีกอันหนึ่งโมแรนฉันจะเข้าใกล้ +1 การจัดเรียงสีแบบสุ่มจะทำให้ค่าของ Moran I ใกล้เคียงกับ 0 # Example data: x_coor<-rep(c(1:8), each=8) y_coor<-rep(c(1:8), length=64) my.values<-rep(c(1,0,1,0,1,0,1,0,0,1,0,1,0,1,0,1), length=64) rbPal <- colorRampPalette(c("darkorchid","darkorange")) my.Col <- rbPal(10)[as.numeric(cut(my.values,breaks = 10))] # plot the point pattern... plot(y_coor,x_coor,col = my.Col, pch=20, cex=8, xlim=c(0,9),ylim=c(0,9)) ดังนั้นอย่างที่คุณเห็นจุดต่าง ๆ กระจัดกระจายอย่างสมบูรณ์แบบ # Distance matrix my.dists <- …

12 r  autocorrelation  spatial  pattern-recognition