สถิติและข้อมูลขนาดใหญ่

คุณจะตีความสัมประสิทธิ์ของ inverse Mills ratio (แลมบ์ดา) ในสองHeckman model ได้อย่างไร

10 econometrics  heckman  selection-bias 

ใครสามารถอธิบายให้ฉันในแง่ง่ายว่าเมทริกซ์ความแปรปรวนร่วม isotropic คืออะไร? ฉันไม่พบสิ่งใดทางออนไลน์

10 terminology  covariance-matrix  definition 

"เศษเหลือของนักเรียน" และ "เศษซากมาตรฐาน" เหมือนกันในแบบจำลองการถดถอยหรือไม่ ฉันสร้างแบบจำลองการถดถอยเชิงเส้นใน R และต้องการพล็อตกราฟของค่าติดตั้ง Studentized v / s ที่ติดตั้งไว้ แต่ไม่พบวิธีอัตโนมัติในการทำเช่นนี้ใน R สมมติว่าฉันมีรูปแบบ library(MASS) lm.fit <- lm(Boston$medv~(Boston$lstat)) จากนั้นการใช้plot(lm.fit)ไม่ได้ให้พล็อตใด ๆ ของค่าเศษ Studentized เทียบกับค่าติดตั้ง แต่ยังให้ค่าพล็อตค่ามาตรฐานกับค่าที่ติดตั้ง ฉันใช้plot(lm.fit$fitted.values,studres(lm.fit)แล้วมันจะพล็อตกราฟที่ต้องการดังนั้นเพียงแค่ต้องการยืนยันว่าฉันกำลังไปทางที่ถูกต้องและส่วนที่เหลือเป็นนักเรียนและมาตรฐานไม่ใช่สิ่งเดียวกัน หากพวกเขาแตกต่างกันโปรดให้คำแนะนำในการคำนวณพวกเขาและคำจำกัดความของพวกเขา ฉันค้นหาผ่านเน็ตและพบว่ามันสับสนเล็กน้อย

10 r  regression  residuals  terminology 

วิธีการถดถอยสันที่ไม่เป็นลบ บาศแบบไม่เป็นค่าลบมีให้บริการscikit-learnแต่สำหรับสันเขาฉันไม่สามารถบังคับใช้แบบไม่ลบล้างของเบต้าและแน่นอนฉันได้รับค่าสัมประสิทธิ์เชิงลบ ไม่มีใครรู้ว่าทำไมถึงเป็นเช่นนี้? นอกจากนี้ฉันสามารถใช้สันในแง่ของกำลังสองน้อยที่สุดได้หรือไม่? ย้ายสิ่งนี้ไปยังคำถามอื่น: ฉันสามารถใช้การถดถอยแบบสันในแง่ของการถดถอยแบบ OLS ได้หรือไม่?

10 regression  lasso  regularization  ridge-regression 

สถานการณ์:นกสองตัว (ตัวผู้และตัวเมีย) ปกป้องไข่ของพวกมันในรังจากผู้บุกรุก นกแต่ละตัวสามารถใช้การโจมตีหรือการคุกคามเพื่อการป้องกันและอาจมีอยู่หรือขาดหายไป มีรูปแบบที่เกิดขึ้นจากข้อมูลที่พฤติกรรมอาจเสริม - การโจมตีชายในขณะที่การใช้งานของผู้หญิงแสดงภัยคุกคามและในทางกลับกัน คำถามของฉันคือ: วิธีการพิสูจน์ความร่วมมือดังกล่าวทางสถิติ? หรือใครสามารถรู้การศึกษาพฤติกรรมที่เกี่ยวข้องกับการวิเคราะห์ที่คล้ายกัน? การวิเคราะห์ตามลำดับส่วนใหญ่ที่ฉันพบนั้นมุ่งเน้นไปที่ DNA ที่นี่ฉันให้ข้อมูลหุ่นบางส่วนแต่ชุดข้อมูลดั้งเดิมของฉันประกอบด้วยหลายสิบคู่ซึ่งถูกบันทึกไว้ 10 นาทีในขณะที่ปกป้องรังของพวกเขา ลำดับพฤติกรรมของนกทุกตัวมีความยาว 600 รัฐ (แต่ละวินาทีมีสถานะ) ข้อมูลที่สั้นกว่าเหล่านี้ควรมีรูปแบบที่คล้ายคลึงกับชุดข้อมูลทั้งหมด male_seq <- rep(c("absent","present","attack","threat","present","attack", "threat","present","attack","absent"), times = c(3,4,8,2,6,3,2,6,2,1)) female_seq <- rep(c("absent","present","threat","present","threat","present", "threat","attack","present","threat","attack","present", "attack","threat","absent"), times = c(2,6,2,1,2,1,1,3,5,3,1,3,3,2,2))

10 r  sequence-analysis 

ฉันกำลังเรียนรู้เกี่ยวกับการเรียนรู้เชิงลึก (โดยเฉพาะอย่างยิ่ง CNNs) และวิธีการที่ต้องใช้ข้อมูลจำนวนมากเพื่อป้องกันไม่ให้ข้อมูลมากเกินไป อย่างไรก็ตามฉันยังได้รับแจ้งว่ามีความจุสูงกว่า / พารามิเตอร์เพิ่มเติมที่แบบจำลองมีข้อมูลเพิ่มเติมจำเป็นต้องมีเพื่อป้องกันการ overfitting ดังนั้นคำถามของฉันคือ: ทำไมคุณไม่สามารถลดจำนวนเลเยอร์ / โหนดต่อเลเยอร์ในเครือข่ายนิวรัลลึกและทำให้มันทำงานกับข้อมูลจำนวนน้อยลงได้ มี "จำนวนพารามิเตอร์ขั้นต่ำ" ขั้นพื้นฐานหรือไม่ที่เครือข่ายประสาทต้องการจนกว่าจะถึง "kicks" ด้านล่างของเลเยอร์จำนวนหนึ่งดูเหมือนว่าเครือข่ายประสาทจะไม่ทำงานเช่นเดียวกับคุณสมบัติที่เขียนด้วยมือ

10 machine-learning  neural-networks  deep-learning  conv-neural-network 

ฉันเข้าใจว่าเราสามารถใช้การทำให้เป็นมาตรฐานในปัญหาการถดถอยกำลังสองน้อยที่สุดเช่น w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] และปัญหานี้มีวิธีแก้ปัญหาแบบปิดเป็น: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. เราเห็นว่าในสมการที่ 2 การทำให้เป็นมาตรฐานนั้นเป็นการเพิ่มλλ\lambdaไปยังแนวทแยงของXTXXTX\boldsymbol{X}^T\boldsymbol{X}ซึ่งทำเพื่อปรับปรุงเสถียรภาพเชิงตัวเลขของการผกผันเมทริกซ์ ความเข้าใจ 'หยาบ' ปัจจุบันของฉันเกี่ยวกับเสถียรภาพเชิงตัวเลขคือถ้าฟังก์ชั่นมากขึ้น 'เสถียรภาพเชิงตัวเลข' ดังนั้นเอาต์พุตของมันจะได้รับผลกระทบน้อยลงอย่างมากจากเสียงรบกวนในอินพุต ฉันมีปัญหาเกี่ยวกับแนวคิดของความเสถียรเชิงตัวเลขที่ได้รับการปรับปรุงให้ดีขึ้นเพื่อภาพรวมที่ใหญ่ขึ้นว่าจะหลีกเลี่ยง / ลดปัญหาการ overfitting อย่างไร ฉันลองดูที่Wikipediaและเว็บไซต์มหาวิทยาลัยอื่น ๆ ไม่กี่แห่ง แต่พวกเขาก็ไม่ได้อธิบายอย่างลึกซึ้งว่าทำไมถึงเป็นเช่นนั้น

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

ใครบางคนสามารถให้คำอธิบายง่ายๆ (บุคคลทั่วไป) เกี่ยวกับความสัมพันธ์ระหว่างการแจกแจงแบบพาเรโตกับทฤษฎีการ จำกัด ศูนย์กลาง (เช่นนำมาประยุกต์ใช้ได้หรือไม่ทำไม / เพราะเหตุใด) ฉันพยายามที่จะเข้าใจคำสั่งต่อไปนี้: "ทฤษฎีบทขีด จำกัด กลางนั้นใช้ไม่ได้กับการแจกแจงทุกครั้งนี่เป็นเพราะความจริงที่น่าสะพรึงกลัว - ค่าเฉลี่ยตัวอย่างจะถูกจัดกลุ่มรอบค่าเฉลี่ยของการแจกแจงต้นแบบถ้ามีอยู่ แต่การแจกแจงจะไม่มีความหมายได้อย่างไร นั่นไม่ได้หมายความว่าการแจกแจงแบบพาเรโตถ้าคุณพยายามคำนวณโดยใช้วิธีการปกติมันจะเปลี่ยนไปเป็นอนันต์ "

10 variance  central-limit-theorem  intuition  pareto-distribution  fat-tails 

อัลกอริทึม SVM นั้นค่อนข้างเก่า - ได้รับการพัฒนาในปี 1960 แต่ได้รับความนิยมอย่างมากในปี 1990 และ 2000 มันเป็นส่วนที่คลาสสิก (และค่อนข้างสวยงาม) ของหลักสูตรการเรียนรู้ของเครื่อง วันนี้ดูเหมือนว่าในการประมวลผลสื่อ (ภาพเสียงและอื่น ๆ ) เครือข่ายประสาทเทียมมีอิทธิพลอย่างสมบูรณ์ในขณะที่ในพื้นที่อื่น ๆ การไล่ระดับสีไล่ระดับมีตำแหน่งที่แข็งแกร่งมาก นอกจากนี้ในการแข่งขันข้อมูลล่าสุดฉันสังเกตว่าไม่มีโซลูชั่นที่ใช้ SVM ฉันกำลังมองหาตัวอย่างแอปพลิเคชันที่ SVM ยังคงให้ผลลัพธ์ที่ทันสมัย ​​(ณ ปี 2016) อัปเดต:ฉันต้องการมีตัวอย่างที่ฉันสามารถให้เช่นนักเรียน / เพื่อนร่วมงานเมื่ออธิบาย SVM เพื่อให้ดูเหมือนว่าวิธีการทางทฤษฎีหรือเลิกใช้หมดจด

10 machine-learning  svm 

ฉันกำลังทำการวิเคราะห์ Matlab กับข้อมูล MRI ที่ฉันได้ทำ PCA บนเมทริกซ์ขนาด 10304x236 โดยที่ 10304 คือจำนวน voxels (คิดว่าเป็นพิกเซล) และ 236 คือจำนวนของ timepoints PCA ให้ฉัน 236 ค่าลักษณะเฉพาะและค่าสัมประสิทธิ์ที่เกี่ยวข้อง ทั้งหมดนี้เป็นเรื่องปกติ อย่างไรก็ตามเมื่อถึงเวลาที่ต้องตัดสินใจว่าต้องเก็บส่วนประกอบกี่ชิ้นกระดาษที่ฉันลอกเลียนแบบจะกล่าวต่อไปนี้ (โปรดแจ้งให้เราทราบหากต้องการคำชี้แจงใด ๆ เนื่องจากนี่เป็นเพียงส่วนสั้น ๆ ของกระดาษทั้งหมด): จากนั้นเราทำการจำลอง Monte Carlo เพื่อกำหนดจำนวนขององค์ประกอบหลัก (พีซี) เพื่อแยกจากข้อมูล ROI ที่น่ารำคาญสำหรับการสแกนแต่ละครั้ง การกระจายตัวของค่าลักษณะเฉพาะที่คาดหวังถูกสร้างขึ้นแยกต่างหากสำหรับการเข้ารหัสและข้อมูลส่วนที่เหลือสำหรับแต่ละเรื่องโดยดำเนินการ PCA กับข้อมูลที่กระจายตามปกติในระดับที่เท่าเทียมกันกับการเข้ารหัสและข้อมูล ROI ที่น่ารำคาญ พีซีจากข้อมูล ROI ที่น่ารำคาญจริงนั้นถูกเลือกสำหรับการพักผ่อนหรือเข้ารหัสการสแกนหากค่าลักษณะเฉพาะที่เกี่ยวข้องมีค่าเกินช่วงความเชื่อมั่น 99% ของค่าลักษณะเฉพาะจากการจำลอง Monte Carlo Tambini & …

10 pca  eigenvalues  neuroimaging 

ฉันกำลังศึกษาวิเคราะห์พินิจพิเคราะห์ แต่ฉันมีช่วงเวลาที่ยากลำบากในการปรับคำอธิบายที่แตกต่างกันหลายอย่าง ฉันเชื่อว่าฉันต้องพลาดบางสิ่งบางอย่างเพราะฉันไม่เคยพบกับความแตกต่างในระดับนี้ (ดู) มาก่อน ดังที่กล่าวไปแล้วจำนวนคำถามเกี่ยวกับการวิเคราะห์การเลือกปฏิบัติบนเว็บไซต์นี้ดูเหมือนจะเป็นเครื่องยืนยันถึงความซับซ้อน LDA และ QDA สำหรับหลายคลาส หนังสือข้อความหลักของฉันคือ Johnson & Wichern ประยุกต์การวิเคราะห์เชิงสถิติหลายตัวแปร (AMSA) และบันทึกของครูตามสิ่งนี้ ฉันจะเพิกเฉยต่อการตั้งค่าทั้งสองกลุ่มเพราะฉันเชื่อว่าสูตรง่าย ๆ ของการตั้งค่านี้ทำให้เกิดความสับสนอย่างน้อย แหล่งอ้างอิง LDA และ QDA นี้ถูกกำหนดให้เป็นส่วนขยายแบบ Parametric (สมมติว่ามีภาวะปกติหลายตัวแปร) ของกฎการจำแนกประเภทตามค่าใช้จ่ายที่คาดหวังของการจำแนกประเภท (ECM) ECM จะรวมกับค่าใช้จ่ายที่คาดหวังตามเงื่อนไขสำหรับการจำแนกการสังเกตการณ์ x ใหม่ให้กับกลุ่มใด ๆ (รวมค่าการแบ่งประเภทและความน่าจะเป็นก่อนหน้านี้) และเราเลือกภูมิภาคการจำแนกที่ลดสิ่งนี้ลง ที่ไหนECM=∑i=1groupspi[∑k=1; i≠kgroupsP(k|i)c(k|i)]ECM=∑i=1groupspi[∑k=1; i≠kgroupsP(k|i)c(k|i)]ECM = \sum_{i=1}^{groups} p_i [\sum_{k=1;\space i \ne k}^{groups}P(k|i)c(k|i)]P(k|i)=P(classifying item as group k …

10 multivariate-analysis  discriminant-analysis 

ฉันมีการกระจายแบบไม่ต่อเนื่องโดยที่เป็นค่าคงที่ที่รู้จัก:α,βα,β\alpha,\beta p(x;α,β)=Beta(α+1,β+x)Beta(α,β)for x=0,1,2,…p(x;α,β)=Beta(α+1,β+x)Beta(α,β)for x=0,1,2,… p(x;\alpha,\beta) = \frac{\text{Beta}(\alpha+1, \beta+x)}{\text{Beta}(\alpha,\beta)} \;\;\;\;\text{for } x = 0,1,2,\dots มีวิธีใดบ้างในการสุ่มตัวอย่างอย่างมีประสิทธิภาพจากการกระจายนี้

10 sampling  mcmc  computational-statistics  importance-sampling  rejection-sampling 

โหลดแพ็คเกจที่จำเป็น library(ggplot2) library(MASS) สร้าง 10,000 หมายเลขที่พอดีกับการแจกแจงแกมม่า x <- round(rgamma(100000,shape = 2,rate = 0.2),1) x <- x[which(x>0)] วาดฟังก์ชันความหนาแน่นของความน่าจะเป็นถ้าเราไม่รู้ว่าการกระจายตัว x พอดีกับอะไร t1 <- as.data.frame(table(x)) names(t1) <- c("x","y") t1 <- transform(t1,x=as.numeric(as.character(x))) t1$y <- t1$y/sum(t1[,2]) ggplot() + geom_point(data = t1,aes(x = x,y = y)) + theme_classic() จากกราฟเราสามารถเรียนรู้ว่าการแจกแจงของ x นั้นเหมือนกับการแจกแจงแกมม่าดังนั้นเราใช้fitdistr()ในแพ็คเกจMASSเพื่อรับพารามิเตอร์ของรูปร่างและอัตราการกระจายแกมม่า fitdistr(x,"gamma") ## output ## shape …

10 r  mathematical-statistics  goodness-of-fit  gamma-distribution  ggplot2 

ฉันประหลาดใจเล็กน้อยที่เห็นโฆษณาทางจิตวิทยาสำหรับการมีส่วนร่วมในการศึกษาทดลอง แน่นอนคนที่ตอบสนองต่อโฆษณาเหล่านี้จะไม่สุ่มตัวอย่างแบบสุ่มและดังนั้นจึงเป็นประชากรที่เลือกด้วยตนเอง เนื่องจากเป็นที่รู้จักกันว่าการสุ่มเลือกแก้ปัญหาการเลือกตนเองฉันสงสัยว่าการสุ่มตัวอย่างของกลุ่มตัวอย่างที่ไม่สุ่มเปลี่ยนอะไรจริงหรือไม่ คุณคิดอย่างไร ? และเราควรทำอะไรจากการทดลองทางจิตวิทยาทั้งหมดเหล่านี้จากตัวอย่างที่เลือกมาอย่างหนัก

10 sampling  psychology  random-allocation 

ฉันต้องการเรียนรู้ ANOVA ก่อนที่ฉันจะเริ่มเรียนรู้วิธีการทำงานของอัลกอริธึม (การคำนวณแบบใดที่ต้องทำ) และสาเหตุที่ได้ผลฉันต้องรู้ก่อนว่าเราแก้ปัญหาอะไรกับ ANOVA หรือเราพยายามตอบคำถามใด กล่าวอีกนัยหนึ่ง: อินพุตคืออะไรและเอาต์พุตของอัลกอริทึมคืออะไร ฉันเข้าใจสิ่งที่เราใช้เป็นอินพุต เรามีชุดของตัวเลข แต่ละหมายเลขมาพร้อมกับค่าของตัวแปรเด็ดขาดอย่างน้อยหนึ่งตัวแปร (หรือเรียกอีกอย่างว่า "ปัจจัย") ตัวอย่างเช่น: +------------+------------+-------+ | factor 1 | factor 2 | value | +------------+------------+-------+ | "A" | "a" | 1.0 | | "A" | "a" | 2.4 | | "A" | "b" | 0.3 | | "A" | …

10 anova