สถิติและข้อมูลขนาดใหญ่

คำถามของฉันมาจากข้อเท็จจริงต่อไปนี้ ฉันได้อ่านโพสต์บล็อกการบรรยายรวมถึงหนังสือเกี่ยวกับการเรียนรู้ของเครื่อง ความประทับใจของฉันคือผู้ปฏิบัติงานการเรียนรู้ด้วยเครื่องดูเหมือนจะไม่สนใจสิ่งต่าง ๆ ที่นักสถิติ / นักเศรษฐศาสตร์สนใจ โดยเฉพาะผู้ปฏิบัติงานการเรียนรู้ด้วยเครื่องเน้นความแม่นยำในการทำนายมากกว่าการอนุมาน ตัวอย่างหนึ่งเกิดขึ้นเมื่อฉันเรียนรู้การใช้งานเครื่องจักรของ Andrew Ng บน Coursera เมื่อเขาพูดถึง Simple Linear Model เขาไม่ได้พูดถึงคุณสมบัติ BLUE ของตัวประมาณค่าหรือวิธีการที่ heteroskedasticity เขามุ่งเน้นไปที่การนำทางลาดลงและแนวคิดของการตรวจสอบข้าม / เส้นโค้ง ROC หัวข้อเหล่านี้ไม่ได้กล่าวถึงในชั้นเรียนเศรษฐมิติ / สถิติของฉัน อีกตัวอย่างหนึ่งเกิดขึ้นเมื่อฉันเข้าร่วมการแข่งขัน Kaggle ฉันอ่านรหัสและความคิดของคนอื่น ส่วนใหญ่ของผู้เข้าร่วมเพียงแค่โยนทุกอย่างลงใน SVM / random forest / XGBoost ยังมีอีกตัวอย่างหนึ่งที่เกี่ยวกับการเลือกแบบจำลองตามลำดับ เทคนิคนี้ใช้กันอย่างแพร่หลายอย่างน้อยออนไลน์และ Kaggle หนังสือเรียนรู้ด้วยเครื่องจักรคลาสสิกจำนวนมากยังครอบคลุมเช่นการเรียนรู้สถิติเบื้องต้น อย่างไรก็ตามตามคำตอบนี้ (ซึ่งค่อนข้างน่าเชื่อถือ) การเลือกรุ่นแบบขั้นตอนต้องเผชิญกับปัญหาจำนวนมากโดยเฉพาะอย่างยิ่งเมื่อมันลงมาที่ "การค้นพบรูปแบบที่แท้จริง" ดูเหมือนว่ามีความเป็นไปได้เพียงสองอย่างเท่านั้น: ผู้เรียนรู้การเรียนรู้ด้วยเครื่องทั้งสองไม่รู้จักปัญหาแบบขั้นตอนหรือพวกเขาทำ แต่พวกเขาไม่สนใจ ดังนั้นนี่คือคำถามของฉัน: …

13 machine-learning  self-study  inference 

ฉันเข้าใจว่าเหตุผลหนึ่งที่การถดถอยโลจิสติกส์ใช้บ่อยในการทำนายอัตราการคลิกผ่านบนเว็บคือมันสร้างแบบจำลองที่ได้รับการสอบเทียบอย่างดี มีคำอธิบายทางคณิตศาสตร์ที่ดีสำหรับเรื่องนี้หรือไม่?

13 regression  logistic 

การจับคู่คะแนนความชอบใช้สำหรับการหาสาเหตุในการศึกษาเชิงสังเกตการณ์ (ดูที่กระดาษ Rosenbaum / Rubin ) สัญชาตญาณง่าย ๆ ของเบื้องหลังทำไมมันทำงาน อีกนัยหนึ่งทำไมถ้าเราแน่ใจว่าความน่าจะเป็นของการมีส่วนร่วมในการรักษานั้นเท่ากันทั้งสองกลุ่มผลข้างเคียงที่หายไปและเราสามารถใช้ผลลัพธ์เพื่อสรุปข้อสรุปเกี่ยวกับการรักษาได้?

13 causality  regression-strategies  propensity-scores  confounding 

ฉันใช้ Scikit เรียนรู้เพื่อดำเนินการถดถอยโลจิสติกด้วย crossvalidation ในชุดของข้อมูล (ประมาณ 14 พารามิเตอร์ด้วย> 7000 การสังเกตปกติ) ฉันยังมีตัวจําแนกเป้าหมายที่มีค่าเป็น 1 หรือ 0 ปัญหาที่ฉันมีคือไม่ว่าจะใช้ตัวแก้ปัญหาแบบใดฉันก็จะได้รับคำเตือนการลู่เข้า ... model1 = linear_model.LogisticRegressionCV(cv=10,verbose=1,n_jobs=-1,scoring='roc_auc',solver='newton-cg',penalty='l2') /home/b/anaconda/lib/python2.7/site-packages/scipy/optimize/linesearch.py:285: LineSearchWarning: The line search algorithm did not converge warn('The line search algorithm did not converge', LineSearchWarning) /home/b/anaconda/lib/python2.7/site-packages/sklearn/utils/optimize.py:193: UserWarning: Line Search failed model2 = linear_model.LogisticRegressionCV(cv=10,verbose=1,n_jobs=-1,scoring='roc_auc',solver='sag',penalty='l2') max_iter reached after 2 seconds max_iter …

13 logistic  cross-validation  scikit-learn 

ฉันกำลังพยายามจัดทำแบบจำลองกฎหมายพลังงานอย่างง่ายกับชุดข้อมูลที่เป็นดังนี้: mydf: rev weeks 17906.4 1 5303.72 2 2700.58 3 1696.77 4 947.53 5 362.03 6 เป้าหมายคือการส่งผ่านสายไฟฟ้าและใช้มันเพื่อทำนายrevvlaues สำหรับสัปดาห์ต่อ ๆ ไป มีงานวิจัยมากมายพาฉันไปที่nlsฟังก์ชั่นซึ่งฉันได้ปฏิบัติดังนี้ newMod <- nls(rev ~ a*weeks^b, data=modeldf, start = list(a=1,b=1)) predict(newMod, newdata = data.frame(weeks=c(1,2,3,4,5,6,7,8,9,10))) ในขณะที่งานนี้สำหรับlmรุ่นที่ผมได้รับsingular gradientข้อผิดพลาดที่ผมเข้าใจจะทำอย่างไรกับค่าเริ่มต้นของฉันและa bฉันลองใช้ค่าที่แตกต่างกันไปจนถึงการพล็อตเรื่องนี้ใน Excel ผ่าน lone รับสมการจากนั้นใช้ค่าจากสมการ แต่ฉันยังคงได้รับข้อผิดพลาด ฉันดูคำตอบจำนวนมากเช่นนี้และลองคำตอบที่สอง (ไม่เข้าใจคำตอบแรก) แต่ไม่มีผลลัพธ์ ฉันสามารถใช้ความช่วยเหลือบางอย่างที่นี่เกี่ยวกับวิธีค้นหาค่าเริ่มต้นที่ถูกต้อง หรือมิฉะนั้นฉันสามารถใช้ฟังก์ชั่นอื่นแทน nls ได้ ในกรณีที่คุณต้องการสร้างใหม่mydfได้อย่างง่ายดาย: …

13 r  predictive-models  nonlinear-regression  power-law  nls 

ฉันมีความคิดเกี่ยวกับข้อดีข้อเสียของการถดถอยสันและ LASSO แล้ว สำหรับ LASSO คำสั่งลงโทษ L1 จะให้ค่าสัมประสิทธิ์แบบเบาบางซึ่งสามารถดูได้ว่าเป็นวิธีการเลือกคุณลักษณะ อย่างไรก็ตามมีข้อ จำกัด บางประการสำหรับ LASSO หากคุณสมบัติมีความสัมพันธ์สูง LASSO จะเลือกหนึ่งในนั้นเท่านั้น นอกจากนี้สำหรับปัญหาที่ > LASSO จะเลือกพารามิเตอร์มากที่สุด (และคือจำนวนการสังเกตและพารามิเตอร์ตามลำดับ) สิ่งเหล่านี้ทำให้ LASSO สังเกตุว่าเป็นวิธีที่ไม่ดีในแง่ของความสามารถในการคาดการณ์เมื่อเทียบกับการถดถอยของสันเขาพีพีpnnnnnnnnnพีพีp สำหรับการถดถอยของสันเขามันให้การคาดการณ์ที่ดีกว่าโดยทั่วไป อย่างไรก็ตามความสามารถในการตีความไม่ดีเท่า LASSO คำอธิบายข้างต้นมักพบได้ในหนังสือเรียนในการเรียนรู้ของเครื่อง / การขุดข้อมูล อย่างไรก็ตามฉันยังคงสับสนเกี่ยวกับสองสิ่ง: หากเราทำให้ช่วงของคุณลักษณะเป็นปกติ (พูดระหว่าง 0 ถึง 1 หรือด้วยค่าเฉลี่ยศูนย์และความแปรปรวนของหน่วย) และเรียกใช้การถดถอยของสันเขาเรายังคงมีแนวคิดสำคัญของคุณลักษณะโดยการเรียงลำดับค่าสัมบูรณ์ของสัมประสิทธิ์ ค่าสัมประสิทธิ์สัมบูรณ์สูงสุดของสัมบูรณ์) แม้ว่าเราจะไม่ได้เลือกคุณสมบัติอย่างชัดเจน แต่การตีความก็ไม่ได้หายไปจากการถดถอยของสันเขา ในขณะเดียวกันเรายังสามารถบรรลุพลังการทำนายสูง ถ้าอย่างนั้นทำไมเราถึงต้องการ LASSO ฉันทำอะไรบางอย่างหายไปหรือเปล่า LASSO เป็นที่ต้องการเนื่องจากลักษณะการเลือกคุณสมบัติหรือไม่? เพื่อความเข้าใจของฉันเหตุผลที่เราต้องเลือกคุณสมบัติคือความสามารถในการพูดคุยทั่วไปและความสะดวกในการคำนวณ เพื่อความสะดวกในการคำนวณเราไม่ต้องการฟีดทั้งหมด 1 ล้านฟีเจอร์ในแบบจำลองของเราหากเราทำงาน …

13 feature-selection  lasso  regularization  ridge-regression  elastic-net 

นิ่งงันจริงๆในอันนี้ ฉันต้องการตัวอย่างหรือสถานการณ์ที่ตัวประมาณค่า B จะสอดคล้องและลำเอียง

13 mathematical-statistics  estimation  econometrics 

ฉันเข้าใจเหตุผลที่อยู่เบื้องหลังการทำให้คอลัมน์เป็นมาตรฐานเนื่องจากทำให้คุณสมบัตินั้นมีน้ำหนักเท่ากันแม้ว่าจะไม่ได้วัดในระดับเดียวกัน - อย่างไรก็ตามบ่อยครั้งในวรรณกรรมเพื่อนบ้านที่ใกล้ที่สุดทั้งคอลัมน์และแถวจะถูกทำให้เป็นมาตรฐาน การนอร์มัลไลซ์แถวสำหรับ / ทำไมทำให้แถวเป็นมาตรฐาน โดยเฉพาะผลลัพธ์ของการปรับสภาพแถวมีผลต่อความเหมือน / ระยะห่างระหว่างเวกเตอร์แถวอย่างไร

13 normalization  distance  similarities  k-nearest-neighbour 

ฉันสับสนกับข้อสมมติของความเป็นเชิงเส้นต่อ logit สำหรับตัวแปรทำนายอย่างต่อเนื่องในการวิเคราะห์การถดถอยโลจิสติก เราจำเป็นต้องตรวจสอบความสัมพันธ์เชิงเส้นในขณะที่คัดกรองผู้ทำนายที่มีศักยภาพโดยใช้การวิเคราะห์การถดถอยโลจิสติกที่ไม่เปลี่ยนแปลงหรือไม่? ในกรณีของฉันฉันใช้การวิเคราะห์การถดถอยโลจิสติกหลายครั้งเพื่อระบุปัจจัยที่เกี่ยวข้องกับภาวะโภชนาการ (ผลแบบคู่) ของผู้เข้าร่วม ตัวแปรอย่างต่อเนื่องรวมถึงอายุ, คะแนนการดูดซับของชาร์ลสัน, ดัชนีบาร์เทล, ความแข็งแรงของมือ, คะแนน GDS, ค่าดัชนีมวลกายเป็นต้นขั้นตอนแรกของฉันคือการคัดกรองตัวแปรที่สำคัญโดยใช้การถดถอยโลจิสติกอย่างง่าย ฉันต้องตรวจสอบสมมติฐานเชิงเส้นตรงในระหว่างการวิเคราะห์การถดถอยโลจิสติกอย่างง่ายสำหรับตัวแปรต่อเนื่องแต่ละตัวหรือไม่ หรือฉันควรตรวจสอบในรูปแบบการถดถอยโลจิสติกหลายขั้นสุดท้าย? นอกจากนี้เพื่อความเข้าใจของฉันเราต้องเปลี่ยนตัวแปรต่อเนื่องที่ไม่ใช่เชิงเส้นก่อนที่จะใส่ลงในโมเดล ฉันสามารถจัดหมวดหมู่ตัวแปรต่อเนื่องแบบไม่เชิงเส้นแทนการแปลงได้หรือไม่?

13 regression  logistic  assumptions  splines  regression-strategies 

ฉันพยายามปรับค่าพารามิเตอร์ไฮเปอร์พารามิเตอร์ของอัลกอริทึมการถดถอยกระบวนการ Gaussian ที่ฉันได้ดำเนินการ ฉันเพียงต้องการเพิ่มความเป็นไปได้ที่จะได้รับจากสูตร โดยที่kคือเมทริกซ์ความแปรปรวนร่วมกับ องค์ประกอบK_ {ij} = k (x_i, x_j) = b ^ {- 1} \ exp (- \ frac {1} {2} (x_i-x_j) ^ TM (x_i-x_j) + a ^ {- 1 } \ delta_ {ij}โดยที่M = lIและa, bและlคือพารามิเตอร์หลายมิติlog(y|X,θ)=−12yTK−1yy−12log(det(K))−n2log(2π)log⁡(y|X,θ)=−12yTKy−1y−12log⁡(det(K))−n2log⁡(2π)\log(\mathbf{y}|X,\mathbf{\theta})=-\frac{1}{2} \mathbf{y}^TK_y^{-1}\mathbf{y}-\frac{1}{2}\log(\det(K))-\frac{n}{2}\log(2\pi)KKKKij=k(xi,xj)=b−1exp(−12(xi−xj)TM(xi−xj))+a−1δijKij=k(xi,xj)=b−1exp⁡(−12(xi−xj)TM(xi−xj))+a−1δijK_{ij}=k(x_i,x_j)=b^{-1}\exp(-\frac{1}{2}(x_i-x_j)^TM(x_i-x_j))+a^{-1}\delta_{ij}M=lIM=lIM=lIa,ba,ba,blll อนุพันธ์บางส่วนของพารามิเตอร์ความเป็นไปได้ของการบันทึก wrt โอกาสถูกกำหนดโดยlog(y|X,θ)dθ=12trace(K−1dKdθ)+12(ydKdθK−1dKdθy)log⁡(y|X,θ)dθ=12trace(K−1dKdθ)+12(ydKdθK−1dKdθy)\frac{\log(\mathbf{y}|X,\mathbf{\theta})}{d\theta}=\frac{1}{2}\mathrm{trace}(K^{-1}\frac{dK}{d\theta})+\frac{1}{2}(\mathbf{y}\frac{dK}{d\theta}K^{-1}\frac{dK}{d\theta}\mathbf{y}) ในฐานะที่เป็นรายการของKKKขึ้นอยู่กับพารามิเตอร์เพื่อทำสัญญาซื้อขายล่วงหน้าและผกผันของKKKKซึ่งหมายความว่าเมื่อใช้เครื่องมือเพิ่มประสิทธิภาพไล่ระดับสีการประเมินการไล่ระดับสี ณ จุดที่กำหนด (ค่าพารามิเตอร์) จะต้องมีการคำนวณค่าความแปรปรวนร่วมใหม่ของเมทริกซ์ความแปรปรวนร่วม ในใบสมัครของฉันมันเป็นไปไม่ได้เพราะการคำนวณเมทริกซ์ความแปรปรวนร่วมตั้งแต่เริ่มต้นและคำนวณผกผันในการทำซ้ำของการไล่ระดับสีทุกครั้งที่มีราคาแพงเกินไป คำถามของฉันคือสิ่งที่ตัวเลือกของฉันคือการหาการผสมผสานที่ดีของพารามิเตอร์ทั้งสามนี้ …

13 regression  optimization  gaussian-process  hyperparameter 

ฉันได้ศึกษาสถาปัตยกรรมของเครือข่ายประสาทเทียมที่แนะนำโดย Yann LeCun และเพื่อนร่วมงานของเขาในปี 1994 เพื่อรับรู้ลายเซ็น ( “ การตรวจสอบลายเซ็นโดยใช้เครือข่ายประสาทเทียมหน่วงเวลาสยาม” .pdf , NIPS 1994) ฉันเข้าใจแนวคิดทั่วไปของสถาปัตยกรรมนี้ แต่ฉันไม่เข้าใจจริงๆว่าการ backpropagation ทำงานอย่างไรในกรณีนี้ ฉันไม่เข้าใจว่าค่าเป้าหมายของเครือข่ายประสาทคืออะไรซึ่งจะทำให้ backpropagation ตั้งค่าน้ำหนักของแต่ละเซลล์ประสาทอย่างเหมาะสม ในสถาปัตยกรรมนี้อัลกอริธึมคำนวณความคล้ายคลึงโคไซน์ระหว่างการแสดงขั้นสุดท้ายของเครือข่ายนิวรัลสองแห่งกระดาษระบุ: "ผลลัพธ์ที่ต้องการสำหรับมุมเล็ก ๆ ระหว่างเอาท์พุทของเครือข่ายย่อยทั้งสอง (f1 และ f2) และมุมกว้างถ้าหนึ่งในลายเซ็นนั้นเป็นของปลอม " ฉันไม่เข้าใจจริง ๆ ว่าพวกเขาสามารถใช้ฟังก์ชันเลขฐานสองได้อย่างไร (ความคล้ายคลึงโคไซน์ระหว่างเวกเตอร์สองตัว) เป็นเป้าหมายในการเรียกใช้การขยายภาพย้อนหลัง การคำนวณ backpropagation ในเครือข่ายประสาทเทียมของสยามเป็นอย่างไร?

13 neural-networks 

สิ่งนี้คล้ายกับBootstrap: การประเมินอยู่นอกช่วงความมั่นใจ ฉันมีข้อมูลบางอย่างที่แสดงถึงจำนวนของจีโนไทป์ในประชากร ฉันต้องการประเมินความหลากหลายทางพันธุกรรมโดยใช้ดัชนีของแชนนอนและสร้างช่วงความมั่นใจโดยใช้การบูตสแตรป อย่างไรก็ตามฉันสังเกตเห็นว่าการประเมินผ่านการบูตสแตรปปิ้งมีแนวโน้มที่จะมีอคติอย่างมากและส่งผลให้เกิดช่วงความมั่นใจที่อยู่นอกสถิติที่ฉันสังเกตเห็น ด้านล่างเป็นตัวอย่าง # Shannon's index H <- function(x){ x <- x/sum(x) x <- -x * log(x, exp(1)) return(sum(x, na.rm = TRUE)) } # The version for bootstrapping H.boot <- function(x, i){ H(tabulate(x[i])) } การสร้างข้อมูล set.seed(5000) X <- rmultinom(1, 100, prob = rep(1, 50))[, 1] การคำนวณ H(X) …

13 r  confidence-interval  bootstrap  bias  diversity 

การหดตัวของคำถูกโยนลงไปมากในบางวงการ แต่สิ่งที่หดตัวดูเหมือนจะไม่มีคำจำกัดความที่ชัดเจน หากฉันมีอนุกรมเวลา (หรือการรวบรวมการสังเกตของกระบวนการบางอย่าง) อะไรคือวิธีการที่แตกต่างกันที่ฉันสามารถวัดการหดตัวเชิงประจักษ์บางประเภทในซีรีย์ การหดตัวเชิงทฤษฎีประเภทต่างๆที่ฉันสามารถพูดคุยเกี่ยวกับคืออะไร? การหดตัวสามารถช่วยในการทำนายได้อย่างไร ผู้คนสามารถให้ข้อมูลเชิงลึกหรือการอ้างอิงที่ดีได้หรือไม่?

13 estimation  predictive-models  shrinkage 

สมมติว่าเกมเสนอเหตุการณ์ที่เมื่อดำเนินการเสร็จแล้วอาจให้รางวัลหรือไม่ทำอะไรเลย กลไกที่แน่ชัดในการพิจารณาว่าการให้รางวัลนั้นไม่เป็นที่รู้จักหรือไม่ แต่ฉันคิดว่าจะใช้ตัวสร้างตัวเลขแบบสุ่มและหากผลลัพธ์นั้นมีค่ามากกว่าค่าฮาร์ดโค้ดบางตัวคุณจะได้รับรางวัล ถ้าฉันต้องการวิศวกรรมย้อนกลับโดยทั่วไปแล้วโปรแกรมเมอร์ใช้ค่าอะไรในการพิจารณาความถี่ที่ได้รับรางวัล (ประมาณ 15-30%) ฉันจะคำนวณจำนวนตัวอย่างที่ฉันต้องการได้อย่างไร ฉันเริ่มต้นด้วยส่วน "เครื่องมือประมาณความน่าจะเป็นจริง" ที่นี่: Checking_whether_a_coin_is_fairแต่ฉันไม่แน่ใจว่าฉันกำลังมุ่งหน้าไปทางที่ถูกต้อง ฉันได้รับผลลัพธ์จาก ~ 1,000 ตัวอย่างที่จำเป็นสำหรับข้อผิดพลาดสูงสุด 3% ที่ความมั่นใจ 95% ท้ายที่สุดนี่คือสิ่งที่ฉันพยายามแก้ไข: กิจกรรม # 1 ให้รางวัล 1.0R, X% ของเวลา กิจกรรม # 2 ให้รางวัล 1.4R กับ Y% ของเวลา ฉันต้องการประเมิน X & Y อย่างแม่นยำพอที่จะตัดสินว่ากิจกรรมใดมีประสิทธิภาพมากกว่า ขนาดตัวอย่างที่มีขนาดใหญ่เป็นปัญหาเนื่องจากฉันสามารถได้รับ 1 ตัวอย่างทุก ๆ 20 นาทีเท่านั้น

13 logistic  mathematical-statistics  sample-size  power-analysis  bernoulli-distribution 

อะไรคือวิธีเลือกเคอร์เนลที่จะส่งผลให้มีการแยกข้อมูลที่ดีในเอาต์พุตข้อมูลขั้นสุดท้ายโดย kernel PCA (การวิเคราะห์องค์ประกอบหลัก) และวิธีใดที่จะปรับพารามิเตอร์ของเคอร์เนลให้เหมาะสม? เงื่อนไขของคนธรรมดาถ้าเป็นไปได้จะได้รับการชื่นชมอย่างมากและการเชื่อมโยงไปยังเอกสารที่อธิบายวิธีการดังกล่าวก็จะดี

13 pca  cross-validation  dimensionality-reduction  kernel-trick  manifold-learning