สถิติและข้อมูลขนาดใหญ่

การเรียนรู้สถิติแบบเบย์เป็นครั้งแรก ในมุมมองของการทำความเข้าใจ MCMC ฉันสงสัยว่า: มันเป็นการทำสิ่งที่ไม่สามารถทำได้โดยพื้นฐานหรือไม่หรือมันแค่ทำสิ่งที่มีประสิทธิภาพมากกว่าทางเลือกหรือไม่? โดยวิธีการภาพประกอบสมมติว่าเรากำลังพยายามที่จะคำนวณความน่าจะเป็นของพารามิเตอร์ของเราได้รับข้อมูลกำหนดรูปแบบที่คำนวณตรงข้ามเป็นz) การคำนวณนี้โดยตรงกับ Bayes' ทฤษฎีบทเราต้องหารเป็นแหลมออกที่นี่ แต่เราสามารถคำนวณได้โดยรวมเข้าด้วยกันพูดดังนี้:P(x,y,z|D)P(x,y,z|D)P(x,y,z|D)P(D|x,y,z)P(D|x,y,z)P(D|x,y,z)P(D)P(D)P(D) p_d = 0. for x in range(xmin,xmax,dx): for y in range(ymin,ymax,dy): for z in range(zmin,zmax,dz): p_d_given_x_y_z = cdf(model(x,y,z),d) p_d += p_d_given_x_y_z * dx * dy * dz การทำงานนั้น (แม้ว่าจะไม่มีประสิทธิภาพกับตัวแปรจำนวนมากขึ้น) หรือมีอย่างอื่นที่จะทำให้วิธีการนี้ล้มเหลวหรือไม่

13 bayesian  mcmc 

ไม่แน่ใจว่านี่เป็นไซต์สแต็กที่ถูกต้องหรือไม่ วิธีการ. ความคุ้นเคยทำงานอย่างไร ว้าว spaCy ยอดเยี่ยมมาก! รูปแบบ tfidf นั้นง่ายกว่า แต่ w2v มีโค้ดเพียงบรรทัดเดียว! ในบทช่วยสอน 10 บรรทัดของเขา บน spaCy andrazhribernik แสดงให้เราเห็นถึงวิธีการ. similarity ที่สามารถเรียกใช้บนโทเค็น, เซ็นต์, การส่งคำ, ชิ้นคำและเอกสาร หลังจากnlp = spacy.load('en')และdoc = nlp(raw_text) เราสามารถทำ. สอบถามความคล้ายคลึงกันระหว่างโทเค็นและชิ้น อย่างไรก็ตามการคำนวณอะไรที่อยู่เบื้องหลังของฉากใน.similarityวิธีนี้? SpaCy มีความเรียบง่ายอย่างไม่น่าเชื่อ.vectorซึ่งคำนวณเวกเตอร์ w2v ที่ผ่านการฝึกอบรมจากแบบจำลอง GloVe (วิธี.tfidfหรือ.fasttextวิธีการที่ยอดเยี่ยมจะเป็นอย่างไร) แบบจำลองนั้นคำนวณความคล้ายคลึงโคไซน์ระหว่างสอง w2v, .vector, เวกเตอร์หรือการเปรียบเทียบเมทริกซ์อื่น ๆ หรือไม่? ข้อมูลเฉพาะไม่ชัดเจนในเอกสาร ; ความช่วยเหลือใด ๆ ชื่นชม!

13 natural-language  word2vec  tf-idf  nltk 

ฟังก์ชั่นวัตถุประสงค์ของการวิเคราะห์องค์ประกอบหลัก (PCA) จะลดการผิดพลาดในการฟื้นฟูใน L2 บรรทัดฐาน (ดูหัวข้อ 2.12 นี่อีกมุมมองหนึ่งพยายามที่จะเพิ่มความแปรปรวนในการฉายนอกจากนี้เรายังมีการโพสต์ที่ยอดเยี่ยมที่นี่:.. เป็นฟังก์ชันวัตถุประสงค์ของ PCA อะไร ? ) คำถามของฉันคือการเพิ่มประสิทธิภาพ PCA นูนหรือไม่ (ฉันพบการสนทนาที่นี่แต่หวังว่าใครบางคนสามารถให้หลักฐานที่ดีเกี่ยวกับ CV)

13 machine-learning  pca  optimization  convex 

ฉันจะผ่านหลักสูตร Deepai ของ Cousera (วิดีโอสัปดาห์ที่ 3 1 "ภาพรวมโครงข่ายใยประสาท") และ Andrew Ng อธิบายว่าแต่ละเลเยอร์ในเครือข่ายประสาทเป็นเพียงการถดถอยโลจิสติกอื่น แต่เขาไม่ได้อธิบายว่ามันแม่นยำมากขึ้นอย่างไร ดังนั้นในเครือข่ายเลเยอร์ 2 การคำนวณโลจิสติกหลายครั้งทำให้แม่นยำยิ่งขึ้นได้อย่างไร

13 logistic  neural-networks 

ตัวจําแนก Naive Bayes เป็นตัวจําแนกซึ่งกําหนดรายการให้กับคลาสCโดยใช้การเพิ่มหลังP ( C | x )สําหรับสมาชิกระดับสูงสุดและถือว่าคุณสมบัติของรายการนั้นเป็นอิสระxxxคCCP( C| x)P(C|x)P(C|x) การสูญเสีย 0-1 คือการสูญเสียซึ่งกำหนดให้การสูญเสียประเภทใด ๆ ของการจำแนก "1" และการสูญเสีย "0" ไปยังการจำแนกประเภทที่ถูกต้อง ฉันมักจะอ่าน (1) ว่าลักษณนาม "Naive Bayes" ดีที่สุดสำหรับการสูญเสีย 0-1 ทำไมเรื่องนี้ถึงเป็นจริง? (1) แหล่งที่เป็นแบบอย่างหนึ่งแหล่ง: ตัวจําแนกBayes และข้อผิดพลาด Bayes

13 machine-learning  bayesian  optimization  naive-bayes  loss-functions 

เมื่อเร็ว ๆ นี้ฉันได้อ่านบทความโดย Yann Dauphin และคณะ การระบุและโจมตีปัญหาจุดอานในการเพิ่มประสิทธิภาพแบบ non-convex ในระดับสูงซึ่งพวกเขาแนะนำอัลกอริธึมที่น่าสนใจที่เรียกว่าSaddle-Free Newtonซึ่งดูเหมือนว่าจะเหมาะสำหรับการเพิ่มประสิทธิภาพเครือข่ายประสาทและไม่ควรติดอยู่ที่จุดอาน ชอบวิธีการสั่งซื้อครั้งแรกเช่นวานิลลา SGD กระดาษวันที่กลับไปในปี 2014 ดังนั้นจึงไม่มีอะไรใหม่ แต่ฉันไม่ได้เห็นมันถูกใช้ "ในป่า" ทำไมไม่ใช้วิธีนี้? การคำนวณแบบ Hessian เป็นข้อห้ามเกินไปสำหรับปัญหา / เครือข่ายขนาดจริงหรือไม่? มีการใช้โอเพ่นซอร์สของอัลกอริทึมนี้หรือไม่และอาจใช้กับกรอบการเรียนรู้ที่สำคัญบางส่วนได้หรือไม่? อัปเดต ก.พ. 2019:มีการติดตั้งใช้งานแล้ว: https://github.com/dave-fernandes/SaddleFreeOptimizer )

13 optimization  deep-learning  gradient-descent 

ในเศรษฐมิติที่ไม่เป็นอันตรายส่วนใหญ่: สหายของนักประจักษ์ (Angrist and Pischke, 2009: หน้า 209) ฉันได้อ่านสิ่งต่อไปนี้: ( ... ) ในความเป็นจริง 2SLS เพียงระบุ (พูด, ประมาณการ Wald ง่าย) จะอยู่ที่ประมาณเป็นกลาง นี่เป็นเรื่องยากที่จะแสดงอย่างเป็นทางการเพราะ 2SLS ที่เพิ่งระบุมีช่วงเวลาไม่นาน (เช่นการกระจายตัวตัวอย่างมีหางอ้วน) อย่างไรก็ตามถึงแม้จะมีเครื่องมือที่อ่อนแอ แต่ 2SLS ที่เพิ่งได้รับการระบุก็ยังมีศูนย์กลางอยู่ที่ควร ดังนั้นเราจึงกล่าวว่า 2SLS ที่เพิ่งระบุมีค่ามัธยฐาน ( ... ) แม้ว่าผู้เขียนบอกว่า 2SLS เพียงระบุเป็นค่ามัธยฐาน-เป็นกลางพวกเขาไม่พิสูจน์มันมิได้ให้การอ้างอิงถึงหลักฐาน ที่หน้า 213 พวกเขากล่าวถึงข้อเสนออีกครั้ง แต่ไม่มีการอ้างอิงถึงข้อพิสูจน์ นอกจากนี้ฉันไม่สามารถหาแรงจูงใจสำหรับข้อเสนอในบันทึกการบรรยายของพวกเขาเกี่ยวกับตัวแปรเครื่องมือจาก MIT , หน้า 22 เหตุผลอาจเป็นไปได้ว่าเรื่องที่เป็นเท็จตั้งแต่พวกเขาปฏิเสธมันในข้อความในบล็อกของพวกเขา อย่างไรก็ตาม 2SLS ที่เพิ่งได้รับการระบุนั้นมีค่ามัธยฐานโดยประมาณโดยประมาณพวกเขาเขียน …

13 regression  self-study  multiple-regression  econometrics  instrumental-variables 

ความแตกต่างระหว่างกำลังสองน้อยที่สุดกับการถดถอยเชิงเส้นคืออะไร มันเป็นสิ่งเดียวกันหรือไม่?

13 regression  least-squares  terminology 

การถดถอยแบบขั้นตอนได้รับการใช้มากเกินไปในเอกสารชีวการแพทย์จำนวนมากในอดีต แต่สิ่งนี้ดูเหมือนว่าจะดีขึ้นด้วยการศึกษาที่ดีขึ้นของปัญหามากมาย ผู้ตรวจสอบรุ่นเก่าหลายคนยังคงขอมัน สถานการณ์ใดที่การถดถอยแบบขั้นตอนมีบทบาทและควรใช้ถ้ามี

13 regression  multiple-regression  feature-selection  model-selection  stepwise-regression 

สถานที่ตั้ง: นี่อาจเป็นคำถามที่โง่ ฉันรู้เพียงคำแถลงเกี่ยวกับคุณสมบัติของ asymptotic ของ MLE แต่ฉันไม่เคยศึกษาหลักฐานเลย ถ้าฉันทำฉันอาจจะไม่ถามคำถามเหล่านี้หรือฉันอาจรู้ว่าคำถามเหล่านี้ไม่สมเหตุสมผล ... ดังนั้นโปรดไปที่ฉันเถอะ :) ฉันมักจะเห็นข้อความที่บอกว่าตัวประมาณค่า MLE ของพารามิเตอร์ของโมเดลนั้นเป็นเรื่องปกติและมีประสิทธิภาพ คำสั่งมักจะเขียนเป็น N→∞θ^→dN(θ0,I(θ0)−1)θ^→dN(θ0,I(θ0)−1)\hat{\theta}\xrightarrow[]{d}\mathcal{N}(\theta_0,\mathbf{I}(\theta_0)^{-1})เป็นN→∞N→∞N\to\infty ที่คือจำนวนของกลุ่มตัวอย่างที่เป็นข้อมูลที่ฟิชเชอร์และเป็นพารามิเตอร์ (เวกเตอร์) มูลค่าที่แท้จริง ตอนนี้เนื่องจากมีการอ้างอิงถึงโมเดลจริงนี่หมายความว่าผลลัพธ์จะไม่ถูกเก็บไว้หากโมเดลไม่เป็นจริงหรือไม่?ฉันθ 0NNNII\mathbf{I}θ0θ0\theta_0 ตัวอย่าง: สมมติว่าฉันเป็นแบบจำลองกำลังไฟฟ้าออกจากกังหันลม เป็นฟังก์ชั่นของความเร็วลมบวกกับเสียงรบกวนแบบเกาส์เพิ่มเติม5PPPVVV P=β0+β1V+β2V2+ϵP=β0+β1V+β2V2+ϵP=\beta_0+\beta_1V+\beta_2V^2+\epsilon ฉันรู้ว่าแบบจำลองนั้นผิดด้วยเหตุผลอย่างน้อยสองประการ: 1)เป็นสัดส่วนจริง ๆ กับกำลังสามของและ 2) ข้อผิดพลาดนั้นไม่ได้เป็นสารเติมแต่งเพราะฉันละเลยตัวทำนายอื่น ๆ ซึ่งไม่ได้เกี่ยวข้องกับความเร็วลม ที่ควรเป็น 0 เพราะที่ 0 ความเร็วลมไม่มีอำนาจจะถูกสร้างขึ้น แต่ที่ไม่เกี่ยวข้องที่นี่) ทีนี้สมมติว่าฉันมีฐานข้อมูลพลังงานและความเร็วลมที่ไม่มีที่สิ้นสุดจากกังหันลมของฉัน ฉันสามารถวาดตัวอย่างได้มากเท่าที่ต้องการขนาดใดก็ได้ สมมติว่าฉันดึงตัวอย่าง 1,000 ตัวอย่างแต่ละขนาด 100 และคำนวณ\ hat {\ boldsymbol {\ …

13 maximum-likelihood  model  asymptotics 

ฉันต้องการคำนวณ AICc ของตัวแบบการถดถอยแนวสัน ปัญหาคือจำนวนพารามิเตอร์ สำหรับการถดถอยเชิงเส้นคนส่วนใหญ่แนะนำว่าจำนวนของพารามิเตอร์เท่ากับจำนวนของค่าสัมประสิทธิ์โดยประมาณพร้อมซิกม่า (ความแปรปรวนของข้อผิดพลาด) เมื่อพูดถึงการถดถอยของสันเขาฉันได้อ่านว่าร่องรอยของเมทริกซ์ของหมวก - ระดับความเป็นอิสระ (df) - นั้นถูกใช้เป็นจำนวนพารามิเตอร์ในสูตร AIC (เช่นที่นี่หรือที่นี่ ) ถูกต้องหรือไม่ ฉันสามารถใช้ df เพื่อคำนวณ AICc ได้หรือไม่ ฉันสามารถเพิ่ม +1 ลงในบัญชี df เพื่อดูความแปรปรวนข้อผิดพลาดได้หรือไม่

13 regression  aic  ridge-regression  degrees-of-freedom 

พื้นหลัง: ฉันพยายามที่จะทำตามการตรวจสอบพรินซ์ตันของการประมาณค่า MLE สำหรับ GLM ฉันเข้าใจพื้นฐานของการประมาณค่า MLE นี้likelihood, scoreข้อสังเกตและคาดว่าFisher informationและFisher scoringเทคนิค และฉันรู้ว่าวิธีการที่จะแสดงให้เห็นถึงการถดถอยเชิงเส้นที่เรียบง่ายด้วยการประมาณค่า MLE คำถาม: ฉันไม่เข้าใจแม้แต่บรรทัดแรกของวิธีนี้ :( สัญชาตญาณของตัวแปรการทำงานของZผมziz_iหมายถึงอะไร: Zผม= η^ผม+ ( yผม- μ^ผม) dηผมdμผมzi=η^i+(yi−μ^i)dηidμi z_i = \hat\eta_i + (y_i -\hat\mu_i)\frac{d\eta_i}{d\mu_i} ทำไมพวกเขาจะนำมาใช้แทนYผมyiy_iที่จะประเมินββ\beta ? และสิ่งที่พวกเขามีความสัมพันธ์กับresponse/link functionซึ่งคือการเชื่อมต่อระหว่างηη\etaและμμ\mu หากใครมีคำอธิบายง่าย ๆ หรือสามารถนำฉันไปที่ข้อความระดับพื้นฐานเพิ่มเติมเกี่ยวกับเรื่องนี้ฉันจะขอบคุณ

13 regression  generalized-linear-model  maximum-likelihood  link-function  irls 

ฟังก์ชั่น CDF เชิงประจักษ์มักจะประมาณโดยฟังก์ชั่นขั้นตอน มีเหตุผลที่ทำเช่นนี้และไม่ใช้การแก้ไขเชิงเส้นหรือไม่ ฟังก์ชันขั้นตอนมีคุณสมบัติทางทฤษฎีที่น่าสนใจซึ่งทำให้เราชอบหรือไม่ นี่คือตัวอย่างของทั้งสอง: ecdf2 <- function (x) { x <- sort(x) n <- length(x) if (n < 1) stop("'x' must have 1 or more non-missing values") vals <- unique(x) rval <- approxfun(vals, cumsum(tabulate(match(x, vals)))/n, method = "linear", yleft = 0, yright = 1, f = 0, ties …

13 r  distributions  ecdf 

ฉันเคยใช้การจูนโมเดลcaretแต่แล้วก็รันโมเดลอีกครั้งโดยใช้gbmแพ็คเกจ ฉันเข้าใจว่าcaretแพ็กเกจที่ใช้gbmและเอาต์พุตควรเหมือนกัน อย่างไรก็ตามการทดสอบการทำงานอย่างรวดเร็วโดยใช้data(iris)แสดงความแตกต่างในรูปแบบประมาณ 5% โดยใช้ RMSE และ R ^ 2 เป็นตัวชี้วัดการประเมินผล ฉันต้องการค้นหาประสิทธิภาพของแบบจำลองที่ดีที่สุดโดยใช้caretแต่เรียกใช้อีกครั้งgbmเพื่อใช้ประโยชน์จากแผนการพึ่งพาบางส่วน รหัสด้านล่างสำหรับการทำซ้ำ คำถามของฉันจะเป็น: 1) เหตุใดฉันจึงเห็นความแตกต่างระหว่างแพ็คเกจทั้งสองนี้ถึงแม้ว่าพวกเขาจะเหมือนกัน (ฉันเข้าใจว่าพวกมันสุ่ม แต่ 5% ค่อนข้างแตกต่างกันมากโดยเฉพาะอย่างยิ่งเมื่อฉันไม่ได้ใช้ชุดข้อมูลที่ดีirisสำหรับการสร้างแบบจำลองของฉัน) . 2) มีข้อดีหรือข้อเสียในการใช้ทั้งสองแพคเกจหรือไม่ 3) ไม่เกี่ยวข้อง: การใช้irisชุดข้อมูลที่ดีที่สุดinteraction.depthคือ 5 แต่สูงกว่าที่ฉันได้อ่านควรจะใช้สูงสุดfloor(sqrt(ncol(iris)))ซึ่งควรจะเป็น 2 นี่เป็นกฎง่ายๆหรือเข้มงวดหรือไม่? library(caret) library(gbm) library(hydroGOF) library(Metrics) data(iris) # Using caret caretGrid <- expand.grid(interaction.depth=c(1, 3, 5), n.trees = (0:50)*50, shrinkage=c(0.01, 0.001), n.minobsinnode=10) metric …

13 r  caret  gbm  matrix  linear-algebra  logistic  modeling  logit  ordered-logit  r  confidence-interval  survival  population  weibull  classification  separation  hypothesis-testing  correlation  statistical-significance  p-value  python  r  data-visualization  r  regression  multiple-regression  chi-squared  multivariate-analysis  distributions  random-variable  experiment-design  distributions  poisson-regression  residuals  excel  time-series  garch  var  survival  modeling  cox-model  interaction  r  pca  normality-assumption 

ฉันค่อนข้างใหม่กับกระบวนการเกาส์เซียนและวิธีการใช้ในการเรียนรู้ของเครื่อง ฉันอ่านและฟังเกี่ยวกับฟังก์ชันความแปรปรวนร่วมซึ่งเป็นจุดดึงดูดหลักของวิธีการเหล่านี้ ดังนั้นทุกคนสามารถอธิบายด้วยวิธีที่เข้าใจง่ายว่าเกิดอะไรขึ้นในฟังก์ชันความแปรปรวนร่วมเหล่านี้? มิฉะนั้นหากคุณสามารถชี้ไปที่บทช่วยสอนหรือเอกสารอธิบาย

13 machine-learning  probability  bayesian