สถิติและข้อมูลขนาดใหญ่

แล้วเรามีด้ายขอให้ผู้ที่มีความ Bayesiansและเป็นหนึ่งถามถ้า frequentists มี Bayesiansแต่มีด้ายไม่มีถามโดยตรงที่มี frequentists ? นี่เป็นคำถามที่ถูกถามโดย@whuberว่าเป็นความคิดเห็นของกระทู้นี้และจะต้องตอบ พวกมันมีอยู่จริงหรือไม่ บางทีพวกเขาถูกสร้างขึ้นโดย Bayesians ที่ต้องการแพะรับบาปเพื่อตำหนิเมื่อวิพากษ์วิจารณ์สถิติกระแสหลัก? Meta-comment ต่อคำตอบที่ได้รับมาแล้ว:ในทางตรงกันข้ามสถิติแบบเบย์ไม่ได้ถูกนิยามไว้เฉพาะในแง่ของการใช้ทฤษฎีบทแบบเบส์ การพูดสิ่งต่าง ๆ เช่น "ฉันเดิมพันได้โอกาสน้อยกว่า 50:50!"แบบเบย์) - ดังนั้นเราสามารถกำหนดความถี่ในแง่ของการตีความความน่าจะเป็นที่ยอมรับได้หรือไม่? นอกจากนี้สถิตินำมาใช้น่าจะเป็น≠≠\neดังนั้นควรนิยามของ frequentism จะมุ่งเน้น แต่เพียงผู้เดียวในการตีความของความน่าจะ?

55 bayesian  frequentist 

มีหลายกระทู้ในเว็บไซต์นี้สำหรับคำแนะนำหนังสือเกี่ยวกับการมีสถิติเบื้องต้นและการเรียนรู้เครื่องแต่ฉันกำลังมองหาข้อความบนสถิติขั้นสูงรวมทั้งในลำดับความสำคัญ: ความน่าจะเป็นสูงสุดทั่วไปรุ่นเชิงเส้นวิเคราะห์องค์ประกอบหลักรุ่นที่ไม่ใช่เชิงเส้น ฉันลองแบบจำลองทางสถิติโดย AC Davison แต่ตรงไปตรงมาฉันต้องวางมันลงหลังจาก 2 บท ข้อความเป็นสารานุกรมในความครอบคลุมและการปฏิบัติทางคณิตศาสตร์ แต่ในฐานะผู้ปฏิบัติงานฉันชอบที่จะเข้าใกล้วิชาโดยการทำความเข้าใจสัญชาตญาณก่อนแล้วจึงเจาะลึกภูมิหลังทางคณิตศาสตร์ นี่คือข้อความบางส่วนที่ฉันพิจารณาว่าโดดเด่นสำหรับคุณค่าการสอนของพวกเขา ฉันต้องการหาวิชาที่เทียบเท่าสำหรับวิชาขั้นสูงที่ฉันกล่าวถึง สถิติ , D. อิสระ, R. Pisani, R. Purves การพยากรณ์: วิธีการและการประยุกต์ใช้ R. Hyndman และคณะ การถดถอยหลายครั้งและอื่นๆ TZ Keith การใช้เทคนิคทางสถิติร่วมสมัยแรนด์อาร์วิลคอกซ์ แนะนำการเรียนรู้เชิงสถิติด้วยแอปพลิเคชั่นใน R - (เวอร์ชันที่เผยแพร่ในรูปแบบ PDF) , Gareth James, Daniela Witten, Trevor Hastie และ Robert Tibshirani องค์ประกอบของการเรียนรู้ทางสถิติ: การทำเหมืองข้อมูลการอนุมานและการทำนาย - (เวอร์ชั่นที่วางจำหน่ายในรูปแบบ PDF) , …

55 generalized-linear-model  pca  maximum-likelihood  references  saddlepoint-approximation 

ในปี 2000, เพิร์ลจูเดียตีพิมพ์เวรกรรม การถกเถียงกันเรื่องงานนี้คืออะไร? การวิพากษ์วิจารณ์ที่สำคัญคืออะไร?

55 causality 

เมื่อไม่นานมานี้ฉันได้วัดความหมายของคำศัพท์ใหม่ผ่านการสัมผัสซ้ำ ๆ (การปฏิบัติ: วันที่ 1 ถึงวันที่ 10) โดยการวัด ERP (EEG) เมื่อดูคำศัพท์ในบริบทที่แตกต่างกัน ฉันยังควบคุมคุณสมบัติของบริบทเช่นมีประโยชน์สำหรับการค้นหาความหมายคำใหม่ (สูงกับต่ำ) ฉันสนใจผลของการฝึกซ้อมเป็นพิเศษ (วัน) เนื่องจากการบันทึก ERP แต่ละครั้งมีเสียงดังค่าส่วนประกอบของ ERP จะได้รับโดยเฉลี่ยจากการทดลองตามเงื่อนไขเฉพาะ ด้วยlmerฟังก์ชั่นฉันใช้สูตรต่อไปนี้: lmer(ERPindex ~ practice*context + (1|participants), data=base) และ lmer(ERPindex ~ practice*context + (1+practice|participants), data=base) ฉันยังได้เห็นผลเทียบเท่าแบบสุ่มต่อไปนี้ในวรรณคดี: lmer(ERPindex ~ practice*context + (practice|participants) + (practice|participants:context), data=base) อะไรคือความสำเร็จโดยใช้ปัจจัยสุ่มของรูปแบบparticipants:context? มีแหล่งข้อมูลที่ดีที่จะอนุญาตให้ใครบางคนที่มีความรู้คร่าวๆของพีชคณิตเมทริกซ์เข้าใจอย่างแม่นยำว่าปัจจัยแบบสุ่มทำอะไรในโมเดลเชิงเส้นผสมและพวกเขาควรเลือกอย่างไร?

55 r  mixed-model  lme4-nlme  random-effects-model 

ฉันต้องการอัลกอริทึมเป็นจำนวนมากที่ทำงานเช่นเดียวกับการถดถอยโลจิสติก นั่นคืออัลกอริธึม / แบบจำลองที่สามารถทำนายการตอบสนองแบบไบนารี (Y) ด้วยตัวแปรอธิบาย (X) ฉันจะดีใจถ้าคุณตั้งชื่ออัลกอริทึมถ้าคุณจะแสดงวิธีการใช้ในอาร์นี่คือรหัสที่สามารถอัปเดตกับรุ่นอื่น ๆ ได้: set.seed(55) n <- 100 x <- c(rnorm(n), 1+rnorm(n)) y <- c(rep(0,n), rep(1,n)) r <- glm(y~x, family=binomial) plot(y~x) abline(lm(y~x), col='red', lty=2) xx <- seq(min(x), max(x), length=100) yy <- predict(r, data.frame(x=xx), type='response') lines(xx, yy, col='blue', lwd=5, lty=2) title(main='Logistic regression with the "glm" …

55 r  regression  logistic  classification  predictive-models 

ฉันมีSPSSเอาต์พุตสำหรับโมเดลการถดถอยโลจิสติก การส่งออกรายงานสองมาตรการสำหรับรูปแบบพอดีและCox & SnellNagelkerke ดังนั้นตามกฎของหัวแม่มือคุณจะรายงานการวัดR2R²R^²ใดในรูปแบบที่เหมาะสม? หรือดัชนีใดที่เหมาะสมเหล่านี้เป็นสิ่งที่มักจะรายงานในวารสาร? พื้นหลังบางส่วน: การถดถอยพยายามทำนายว่ามีหรือไม่มีนก (capercaillie) จากตัวแปรสภาพแวดล้อมบางอย่าง (เช่นความชันความครอบคลุมของพืชพรรณ ... ) น่าเสียดายที่นกไม่ปรากฏบ่อยนัก (35 ครั้งถึง 468 คิดถึง) ดังนั้นการถดถอยจึงทำได้ไม่ดีนัก Cox & Snell คือ. 09, Nagelkerke, .23 หัวเรื่องคือวิทยาศาสตร์สิ่งแวดล้อมหรือนิเวศวิทยา

55 logistic  goodness-of-fit  r-squared 

ใครสามารถอธิบายได้ว่าอะไรคือเลเยอร์รวมกำไรสูงสุดทั่วโลกและทำไมและเมื่อไหร่ที่เราจะใช้มันเพื่อฝึกอบรมโครงข่ายประสาทเทียม พวกเขามีข้อได้เปรียบเหนือชั้นรวมกำไรสูงสุดธรรมดาหรือไม่?

55 neural-networks  conv-neural-network  pooling 

ฉันใหม่ในด้านการเรียนรู้อย่างลึกซึ้งและสำหรับฉันขั้นตอนแรกคือการอ่านบทความที่น่าสนใจจากเว็บไซต์ deeplearning.net ในเอกสารเกี่ยวกับการเรียนรู้อย่างลึกซึ้งฮินตันและคนอื่น ๆ ส่วนใหญ่พูดถึงการใช้มันกับปัญหาภาพ ใครบางคนพยายามที่จะตอบฉันว่ามันสามารถนำไปใช้กับปัญหาของการทำนายค่าอนุกรมเวลา (การเงินการจราจรทางอินเทอร์เน็ต ... ) และสิ่งที่สำคัญที่ฉันควรมุ่งเน้นถ้าเป็นไปได้?

54 time-series  machine-learning  prediction  deep-learning  deep-belief-networks 

ตกลงนี่เป็นคำถามพื้นฐาน แต่ฉันสับสนเล็กน้อย ในวิทยานิพนธ์ของฉันฉันเขียน: ข้อผิดพลาดมาตรฐานสามารถพบได้โดยการคำนวณค่าผกผันของสแควร์รูทขององค์ประกอบเส้นทแยงมุมของเมทริกซ์ข้อมูลฟิชเชอร์ (สังเกต) เนื่องจากคำสั่งการเพิ่มประสิทธิภาพในการวิจัยลด-เข้าสู่ระบบL(การปฏิบัติ) ข้อมูลฟิชเชอร์เมทริกซ์สามารถพบได้โดยการคำนวณค่าผกผันของรัฐนี้ ฉัน(μ,σ2)=H-1sμ^, σ^2= 1ฉัน ( μ^, σ^2)------√sμ^,σ^2=1I(μ^,σ^2)\begin{align*} s_{\hat{\mu},\hat{\sigma}^2}=\frac{1}{\sqrt{\mathbf{I}(\hat{\mu},\hat{\sigma}^2)}} \end{align*}- บันทึกL−log⁡L-\log\mathcal{L}ฉัน ( μ^, σ^2) = H- 1I(μ^,σ^2)=H−1\begin{align*} \mathbf{I}(\hat{\mu},\hat{\sigma}^2)=\mathbf{H}^{-1} \end{align*} คำถามหลักของฉัน: ถูกต้องสิ่งที่ฉันพูด ? ฉันสับสนเล็กน้อยเพราะในแหล่งที่มาในหน้า 7 มันบอกว่า: ข้อมูลเมทริกซ์เป็นค่าลบของค่าที่คาดหวังของเมทริกซ์ Hessian (ดังนั้นจึงไม่ตรงกันข้ามกับ Hessian) ในขณะที่ในนี้แหล่งที่มาในหน้า 7 (เชิงอรรถ 5) มันพูดว่า: (−H)−1(−H)−1(-H)^{-1} (ดังนั้นนี่คือสิ่งที่ตรงกันข้าม) ฉันตระหนักถึงเครื่องหมายลบและควรใช้เมื่อใดและเมื่อใด แต่ทำไมจึงมีความแตกต่างในการกลับด้านหรือไม่

54 maximum-likelihood  fisher-information 

คุณสามารถให้ตัวอย่างชีวิตจริงของอนุกรมเวลาที่กระบวนการเฉลี่ยเคลื่อนที่ที่เป็นระเบียบของได้เช่น มีเหตุผลเบื้องต้นในการเป็นแบบอย่างที่ดีหรือไม่? อย่างน้อยสำหรับฉันกระบวนการตอบโต้อัตโนมัติดูเหมือนจะค่อนข้างง่ายที่จะเข้าใจโดยสังหรณ์ใจในขณะที่กระบวนการ MA ไม่ได้ดูเป็นธรรมชาติตั้งแต่แรกเห็น โปรดทราบว่าฉันไม่สนใจผลลัพธ์ทางทฤษฎีที่นี่ (เช่นทฤษฎีบทของ Woldหรือการกลับหัว)qqqyt=∑i=1qθiεt−i+εt, where εt∼N(0,σ2)yt=∑i=1qθiεt−i+εt, where εt∼N(0,σ2) y_t = \sum_{i=1}^q \theta_i \varepsilon_{t-i} + \varepsilon_t, \text{ where } \varepsilon_t \sim \mathcal{N}(0, \sigma^2) ในฐานะที่เป็นตัวอย่างของสิ่งที่ฉันกำลังมองหาสมมติว่าคุณมีผลตอบแทนหุ้นประจำวัน2) จากนั้นผลตอบแทนหุ้นรายสัปดาห์เฉลี่ยจะมีโครงสร้าง MA (4) เป็นสิ่งประดิษฐ์ทางสถิติอย่างหมดจดrt∼IID(0,σ2)rt∼IID(0,σ2)r_t \sim \text{IID}(0, \sigma^2)

54 time-series  arima  interpretation  moving-average 

ในแบบฝึกหัดหรือคู่มือต่างๆการบรรยายดูเหมือนจะบอกเป็นนัยว่า R และ python อยู่ร่วมกันเป็นองค์ประกอบเสริมของกระบวนการวิเคราะห์ อย่างไรก็ตามสำหรับตาที่ไม่ได้รับการฝึกฝนของฉันดูเหมือนว่าทั้งสองภาษาจะทำสิ่งเดียวกัน ดังนั้นคำถามของฉันคือถ้ามี niches พิเศษสำหรับสองภาษาหรือถ้าเป็นเพียงการตั้งค่าส่วนตัวว่าจะใช้อย่างใดอย่างหนึ่งหรือไม่

54 r  python  software 

บรรทัดล่างยิ่งฉันเรียนรู้เกี่ยวกับสถิติมากเท่าไหร่ฉันก็ยิ่งเชื่อถือเอกสารที่ตีพิมพ์น้อยลงในสาขาของฉัน ฉันแค่เชื่อว่านักวิจัยไม่ได้ทำสถิติของพวกเขาดีพอ ฉันเป็นคนธรรมดาดังนั้นต้องพูด ฉันได้รับการฝึกฝนด้านชีววิทยา แต่ไม่มีการศึกษาอย่างเป็นทางการในสถิติหรือคณิตศาสตร์ ฉันสนุกกับ R และมักจะพยายามอ่าน (และเข้าใจ ... ) รากฐานทางทฤษฎีบางอย่างของวิธีการที่ฉันใช้เมื่อทำการวิจัย ไม่แปลกใจเลยถ้าคนส่วนใหญ่ที่ทำการวิเคราะห์ในวันนี้ไม่ได้รับการฝึกฝนอย่างเป็นทางการ ฉันตีพิมพ์ต้นฉบับประมาณ 20 ฉบับซึ่งบางฉบับได้รับการยอมรับโดยวารสารและนักสถิติที่มีชื่อเสียงมักมีส่วนเกี่ยวข้องในกระบวนการตรวจทานอยู่บ่อยครั้ง การวิเคราะห์โดยทั่วไปของฉันรวมถึงการวิเคราะห์ความอยู่รอดการถดถอยเชิงเส้นการถดถอยแบบโลจิสติก ผู้ตรวจทานไม่เคยถามเกี่ยวกับสมมติฐานของแบบจำลองความเหมาะสมหรือการประเมินผล ดังนั้นฉันไม่เคยใส่ใจมากเกินไปเกี่ยวกับสมมติฐานแบบจำลองความพอดีและการประเมินผล ฉันเริ่มต้นด้วยสมมติฐานดำเนินการถดถอยแล้วนำเสนอผลลัพธ์ ในบางกรณีผมทำให้ความพยายามในการประเมินสิ่งเหล่านี้ แต่ฉันมักจะจบลงด้วย " ดีที่มันไม่ได้ปฏิบัติตามสมมติฐานทั้งหมด แต่ผมเชื่อว่าผล (" ความรู้เรื่อง ") และพวกเขาจะเป็นไปได้ดังนั้นจึงเป็นเรื่องที่ดี " และ เมื่อปรึกษานักสถิติพวกเขาดูเหมือนจะเห็นด้วยเสมอ ตอนนี้ฉันได้พูดคุยกับนักสถิติคนอื่น ๆ และผู้ที่ไม่ใช่นักสถิติ (นักเคมีแพทย์และนักชีววิทยา) ที่ทำการวิเคราะห์ตัวเอง ดูเหมือนว่าผู้คนไม่ได้ใส่ใจมากเกินไปเกี่ยวกับสมมติฐานและการประเมินที่เป็นทางการ แต่ที่นี่ในประวัติย่อมีผู้คนมากมายถามเกี่ยวกับสิ่งที่เหลือแบบจำลองวิธีการประเมินค่าลักษณะเฉพาะเวกเตอร์และรายการดำเนินต่อไป ให้ฉันใช้วิธีนี้เมื่อ lme4 เตือนเกี่ยวกับค่าลักษณะเฉพาะขนาดใหญ่ฉันสงสัยจริงๆว่าผู้ใช้จำนวนมากสนใจที่จะจัดการกับ ... มันคุ้มค่ากับความพยายามพิเศษหรือไม่? เป็นไปได้หรือไม่ที่ผลลัพธ์ส่วนใหญ่ที่เผยแพร่ทั้งหมดไม่เคารพสมมติฐานเหล่านี้และอาจไม่ได้ประเมินด้วยซ้ำ นี่อาจเป็นปัญหาที่เพิ่มขึ้นเนื่องจากฐานข้อมูลมีขนาดใหญ่ขึ้นทุกวันและมีความคิดว่ายิ่งข้อมูลมีขนาดใหญ่ขึ้นความสำคัญน้อยกว่าก็คือสมมติฐานและการประเมินผล ฉันอาจจะผิดอย่างแน่นอน แต่นี่คือวิธีที่ฉันได้รับรู้นี้ อัปเดต: การอ้างอิงที่ยืมมาจาก …

54 mathematical-statistics  multiple-regression  modeling 

หมายเหตุ: ผมรู้สึกตระหนักถึงปรัชญาความแตกต่างระหว่างสถิติคชกรรมและ frequentist ตัวอย่างเช่น "ความน่าจะเป็นที่เหรียญบนโต๊ะเป็นหัว" ไม่สมเหตุสมผลในสถิติบ่อยครั้งเนื่องจากมันมีหัวหรือก้อยแล้ว - ไม่มีความน่าจะเป็นเกี่ยวกับมัน ดังนั้นคำถามที่ไม่มีคำตอบในแง่บ่อย แต่ความแตกต่างเป็นพิเศษไม่ได้ชนิดของความแตกต่างที่ฉันขอเกี่ยวกับ แต่ฉันอยากรู้ว่าการคาดการณ์ของพวกเขาสำหรับคำถามที่มีรูปแบบที่ดีนั้นแตกต่างกันอย่างไรในโลกแห่งความเป็นจริงโดยไม่รวมความแตกต่างทางทฤษฎี / ปรัชญาเช่นตัวอย่างที่ฉันกล่าวถึงข้างต้น ดังนั้นในคำอื่น ๆ : ตัวอย่างของคำถามคืออะไรตอบได้ทั้งสถิติประจำและสถิติแบบเบย์ซึ่งคำตอบต่างจากทั้งสอง (เช่นบางทีหนึ่งในนั้นตอบ "1/2" สำหรับคำถามเฉพาะและอีกคำตอบ "2/3") มีความแตกต่างเช่นนี้หรือไม่? ถ้าเป็นเช่นนั้นมีตัวอย่างอะไรบ้าง? ถ้าไม่เช่นนั้นจริง ๆ แล้วมันจะสร้างความแตกต่างได้อย่างไรเมื่อฉันใช้สถิติแบบเบย์หรือสถิติที่พบบ่อยเมื่อแก้ไขปัญหาเฉพาะ ทำไมฉันจะหลีกเลี่ยงสิ่งหนึ่งเพื่อประโยชน์ของผู้อื่น?

54 bayesian  frequentist 

ฉันใหม่สำหรับการเลือกคุณสมบัติและฉันสงสัยว่าคุณจะใช้ PCA เพื่อดำเนินการเลือกคุณลักษณะอย่างไร PCA คำนวณคะแนนสัมพัทธ์สำหรับตัวแปรอินพุตแต่ละตัวที่คุณสามารถใช้เพื่อกรองตัวแปรอินพุตที่ไม่ใช่ข้อมูลหรือไม่? โดยทั่วไปฉันต้องการที่จะสามารถสั่งซื้อคุณสมบัติเดิมในข้อมูลตามความแปรปรวนหรือจำนวนข้อมูลที่มีอยู่

54 r  pca  feature-selection 

หรือมากกว่านั้น "มันจะเป็น"? ข้อมูลขนาดใหญ่ทำให้สถิติและความรู้ที่เกี่ยวข้องมีความสำคัญมากขึ้น แต่ดูเหมือนว่าจะมีผลต่อทฤษฎีการสุ่มตัวอย่าง ฉันเห็นโฆษณานี้ใน 'บิ๊กดาต้า' และไม่สามารถช่วยสงสัยได้ว่า "ทำไม" ฉันต้องการวิเคราะห์ทุกอย่าง ? ไม่มีเหตุผลสำหรับ "ทฤษฎีการสุ่มตัวอย่าง" ที่จะออกแบบ / นำมาใช้ / ประดิษฐ์ / ค้นพบหรือไม่? ฉันไม่เข้าใจการวิเคราะห์ 'ประชากร' ทั้งหมดของชุดข้อมูล เพียงเพราะคุณสามารถทำได้ไม่ได้หมายความว่าคุณควรจะ (ความโง่เขลาเป็นสิทธิพิเศษ แต่คุณไม่ควรละเมิด :) ดังนั้นคำถามของฉันคือสิ่งนี้: มีความเกี่ยวข้องทางสถิติในการวิเคราะห์ชุดข้อมูลทั้งหมดหรือไม่ สิ่งที่ดีที่สุดที่คุณสามารถทำได้คือลดข้อผิดพลาดให้น้อยที่สุดหากคุณสุ่มตัวอย่าง แต่ค่าใช้จ่ายในการลดข้อผิดพลาดนั้นคุ้มหรือไม่ "คุณค่าของข้อมูล" คุ้มค่ากับความพยายามเวลาที่ต้องเสียไป ฯลฯ ในการวิเคราะห์ข้อมูลขนาดใหญ่บนคอมพิวเตอร์คู่ขนานขนาดใหญ่หรือไม่? แม้ว่าจะมีคนวิเคราะห์ประชากรทั้งหมดผลลัพธ์ก็น่าจะเดาได้ดีที่สุดโดยมีความน่าจะเป็นที่สูงขึ้น อาจจะสูงกว่าการสุ่มตัวอย่างเล็กน้อย (หรือมากกว่านั้นอีก) ความเข้าใจที่ได้จากการวิเคราะห์ประชากรกับการวิเคราะห์ตัวอย่างนั้นแตกต่างกันอย่างกว้างขวางหรือไม่? หรือเราควรยอมรับว่า "เวลามีการเปลี่ยนแปลง"? การสุ่มตัวอย่างเป็นกิจกรรมอาจมีความสำคัญน้อยลงหากให้พลังงานในการคำนวณที่เพียงพอ :) หมายเหตุ: ฉันไม่ได้พยายามที่จะเริ่มการโต้วาที แต่กำลังมองหาคำตอบที่จะเข้าใจว่าทำไมข้อมูลขนาดใหญ่ถึงทำในสิ่งที่มันทำ (เช่นวิเคราะห์ทุกอย่าง) และไม่สนใจทฤษฎีการสุ่มตัวอย่าง (หรือไม่?)

54 sampling  data-mining  large-data