สถิติและข้อมูลขนาดใหญ่

ฉันกำลังมองหาแพคเกจซอฟต์แวร์เชิงสถิติซึ่งฉันสามารถใช้ในหลักสูตรเบื้องต้นของสถิติสำหรับโปรแกรมการศึกษาด้านสังคมศาสตร์ นักเรียนไม่มีความรู้ด้านสถิติมาก่อนและไม่มีประสบการณ์ในการเขียนโปรแกรมภาษา เป้าหมายคือเพื่อแนะนำแนวคิดทางสถิติพื้นฐาน (เช่นความแปรปรวนผลรวมของกำลังสองค่า p-value ... และการถดถอยเชิงเส้นในที่สุด) และเพื่อให้พวกเขาสามารถทำการวิเคราะห์ขั้นพื้นฐานด้วยตนเองโดยใช้ชุดข้อมูลตัวอย่าง หลักสูตรควรเกี่ยวกับแนวคิดการเรียนรู้โดยการทำสถิติมากกว่าการท่องจำสูตร (แม้ว่าฉันคิดว่าสูตรมีความสำคัญ) ดังนั้นฉันกำลังมองหาทางเลือกอื่นสำหรับไวยากรณ์ปกติ (ตามปกติ R) หรือซอฟต์แวร์ชี้และคลิก (เป็น SPSS หรือ Rcmdr) ซอฟต์แวร์ควรเรียนรู้ได้ง่ายและควรมีส่วนต่อประสานกราฟิกกับผู้ใช้ที่เห็นภาพชุดข้อมูลและเสนอกราฟและตารางมาตรฐาน สิ่งที่ดีที่สุดคือถ้ามันแสดงให้เห็นถึงขั้นตอนต่าง ๆ ของการวิเคราะห์ (เช่นการอ่านและการจัดการข้อมูลการคำนวณมาตรการเชิงพรรณนาการสร้างตารางและกราฟเชิงพรรณนาการคำนวณการวัดเชิงอนุมานการพล็อตกราฟเชิงอนุมานส่งออกไปยังรายงาน) คุณมีข้อเสนอแนะเกี่ยวกับซอฟต์แวร์ทางสถิติ (โอเพนซอร์ซหรือฟรี) ซึ่งเหมาะสำหรับการเรียนรู้และฝึกหัดทางสถิติเป็นอันดับแรก แก้ไข ขอบคุณสำหรับคำแนะนำของคุณ ฉันค้นหาgretlและโปรแกรมอื่นอีกสองโปรแกรมที่ฉันพบระหว่างการสอบถามออนไลน์ของฉัน: RapidMinerและห้องปฏิบัติการทางสถิติ [1] ฉันพบว่าgretlส่วนต่อประสานและเอาต์พุตมีความชัดเจนและมุ่งเน้นมากกว่า Rcmdr, SPSS หรือ Stata ดังนั้นจึงเป็นเครื่องมือที่เหมาะสมสำหรับการเริ่มสอนสถิติจากมุมมองของฉัน อย่างไรก็ตามผังงาน GUI ของRapidMinerและStatistical Labทำให้ฉันประทับใจเมื่อพวกเขาเห็นภาพขั้นตอนเดียวของการวิเคราะห์ทางสถิติ (เริ่มต้นด้วยการโหลดข้อมูล) ฉันคิดว่านี่อาจเป็นประโยชน์กับนักเรียนหลายคนที่ต่อสู้กับการเน้นคำอธิบายทางคณิตศาสตร์ตามปกติ แน่นอนว่า RapidMiner ดูเหมือนว่าฉันจะมีฟังก์ชั่นเมนูและปุ่มมากเกินไปสำหรับผู้เริ่มต้นในขณะที่แล็บทางสถิติจะเน้นมากขึ้น ข้อดีที่สำคัญของห้องทดลองทางสถิติคือ "R-Calculator" ที่มีลักษณะคล้ายคอนโซลพร้อมกับ "R-code …

11 software  teaching 

ฉันกำลังอ่านบทความนี้เกี่ยวกับกระบวนการ Wishart ทั่วไป (GWP) กระดาษคำนวณความแปรปรวนร่วมระหว่างตัวแปรสุ่มที่แตกต่างกัน (ตามกระบวนการ Gaussian ) โดยใช้ฟังก์ชันความแปรปรวนแบบยกกำลังสองกำลังสองคือขวา) มันบอกว่าเมทริกซ์ความแปรปรวนร่วมนี้ติดตาม GWPK(x,x′)=exp(−|(x−x′)|22l2)K(x,x′)=exp⁡(−|(x−x′)|22l2)K(x,x') = \exp\left(-\frac{|(x-x')|^2}{2l^2}\right) ฉันเคยคิดว่าเมทริกซ์ความแปรปรวนร่วมที่คำนวณจากฟังก์ชันความแปรปรวนเชิงเส้นตรง ( )K(x,x′)=xTx′K(x,x′)=xTx′K(x,x') = x^Tx'ตามการแจกแจง Wishart ด้วยพารามิเตอร์ที่เหมาะสม คำถามของฉันคือเราจะยังคงสมมติว่าความแปรปรวนร่วมเป็นไปตามการกระจายของ Wishart ด้วยฟังก์ชันความแปรปรวนแบบยกกำลังสองได้อย่างไร โดยทั่วไปแล้วเงื่อนไขที่จำเป็นสำหรับฟังก์ชันความแปรปรวนร่วมในการผลิตเมทริกซ์ความแปรปรวนร่วม Wishart คืออะไร?

11 machine-learning  normal-distribution  covariance  wishart  nonparametric-bayes 

มีการสำรวจเมื่อผู้คนเลือกสิ่งที่พวกเขาใช้ยิ้มเพื่อเป็นตัวแทนและเข้าสู่ประเทศต้นกำเนิด ฉันเขียนข้อความตอบกลับไปเป็นตัวเลขแล้ว การวิเคราะห์รูปแบบใดที่ควรใช้ (โดยเฉพาะอย่างยิ่งใน SPSS) เพื่อตรวจสอบระดับความสัมพันธ์ระหว่างสิ่งที่ผู้คนมาจากและการเป็นตัวแทนที่พวกเขาเลือก?

11 correlation  spss  categorical-data 

คำเตือน: นี่คือสำหรับโครงการการบ้าน ฉันพยายามหาแบบจำลองที่ดีที่สุดสำหรับราคาเพชรขึ้นอยู่กับตัวแปรหลายอย่างและดูเหมือนว่าฉันจะมีแบบจำลองที่ดีอยู่แล้ว อย่างไรก็ตามฉันทำงานเป็นสองตัวแปรที่ชัดเจน collinear: >with(diamonds, cor(data.frame(Table, Depth, Carat.Weight))) Table Depth Carat.Weight Table 1.00000000 -0.41035485 0.05237998 Depth -0.41035485 1.00000000 0.01779489 Carat.Weight 0.05237998 0.01779489 1.00000000 ตารางและความลึกขึ้นอยู่กับแต่ละอื่น ๆ แต่ฉันยังต้องการรวมไว้ในแบบจำลองการทำนายของฉัน ฉันทำการวิจัยเกี่ยวกับเพชรและพบว่า Table และ Depth คือความยาวด้านบนและระยะทางจากปลายถึงบนสุดของเพชร เนื่องจากราคาของเพชรเหล่านี้ดูเหมือนจะเกี่ยวข้องกับความงามและความงามที่ดูเหมือนจะเป็นสัดส่วนที่เกี่ยวข้องฉันจึงต้องรวมอัตราส่วนของพวกเขาด้วยพูดเพื่อทำนายราคา นี่เป็นขั้นตอนมาตรฐานสำหรับการจัดการกับตัวแปร collinear หรือไม่ ถ้าไม่เป็นอะไรTa b l eD อีพีทีเอชTaขล.อีDอีพีเสื้อชั่วโมง\frac{Table}{Depth} แก้ไข: นี่คือพล็อตของความลึก ~ ตาราง:

11 regression  correlation  self-study  model-selection  multicollinearity 

ขณะนี้ฉันกำลังเรียนเพื่อรอบชิงชนะเลิศของฉันในสถิติพื้นฐานสำหรับปริญญาตรี ECE ของฉัน ในขณะที่ฉันคิดว่าฉันมีคณิตศาสตร์เป็นส่วนใหญ่ฉันไม่เข้าใจที่เข้าใจง่ายว่าตัวเลขจริงหมายถึงอะไร (บทนำ: ฉันใช้ภาษาที่ค่อนข้างเลอะเทอะ ฉันรู้ว่า E [X] คือ "ค่าเฉลี่ยถ่วงน้ำหนัก" ของผลลัพธ์ทั้งหมดของ X ที่ถ่วงน้ำหนักโดยความน่าจะเป็น Var [X] ให้ค่าความแปรปรวนที่คาดหวังจาก E [X] กำลังสองแล้วบอกเราบางอย่างเกี่ยวกับ "ความเบลอ" ของการแจกแจง คุณสมบัติอื่น ๆ ที่ฉันรู้สูตร แต่ไม่มีสัญชาติญาณใด ๆ ใครมีคำอธิบาย / แหล่งข้อมูลที่ดีเพื่อช่วยในเรื่องนั้น?

11 mathematical-statistics  stochastic-processes  covariance  pdf 

ในกระดาษน้ำเชื้อ"การกรองอนุภาค Rao - Blackwellised สำหรับเครือข่าย Bayesian แบบไดนามิก"โดย A. Doucet และ อัล ลำดับ Monte Carlo กรอง (กรองอนุภาค) เสนอซึ่งจะทำให้การใช้งานของโครงสร้างเชิงเส้นในกระบวนการมาร์คอฟx k = ( x L k , x N k ) โดย marginalization ของโครงสร้างเชิงเส้นนี้ตัวกรองสามารถแบ่งออกเป็นสองส่วน: ส่วนที่ไม่ใช่เชิงเส้นซึ่งใช้ตัวกรองอนุภาคและส่วนหนึ่งเชิงเส้นซึ่งสามารถจัดการได้โดยตัวกรองคาลมาน (ปรับอากาศบนส่วนที่ไม่ใช่เชิงเส้นx N k )xLkxkLx^L_kxk=(xLk,xNk)xk=(xkL,xkN)x_k = (x^L_k, x^N_k)xNkxkNx^N_k ฉันเข้าใจว่าส่วนชายขอบ (และบางครั้งตัวกรองที่อธิบายไว้ก็เรียกอีกอย่างว่าตัวกรองชายขอบ) สัญชาตญาณของฉันทำไมมันถูกเรียกว่า Rao-Blackwellized Particle Filter (RBPF) ก็คือพารามิเตอร์ Gaussian เป็นสถิติที่เพียงพอสำหรับกระบวนการเชิงเส้นพื้นฐานและจากทฤษฎีบทของ Rao-Blackwell …

11 monte-carlo  particle-filter 

ฉันกำลังสอนหลักสูตรเกี่ยวกับสถิติเบื้องต้นและเรากำลังทำการทดสอบแบบทดสอบ t สำหรับสองตัวอย่างอิสระที่มีความแปรปรวนไม่เท่ากัน (Welch test) ในตัวอย่างที่ฉันเห็นระดับความเป็นอิสระที่ปรับแล้วซึ่งใช้โดยการทดสอบ Welch นั้นน้อยกว่าหรือเท่ากับเสมอ n1+ n2- 2n1+n2−2n_1+n_2-2 เป็นเช่นนี้เสมอหรือไม่ การทดสอบ Welch จะลด (หรือไม่เปลี่ยนแปลง) องศาอิสระของการทดสอบ t แบบรวม (ความแปรปรวนเท่ากัน) หรือไม่ และในเรื่องเดียวกันถ้าค่าเบี่ยงเบนมาตรฐานของกลุ่มตัวอย่างมีค่าเท่ากันทำ DF ของการทดสอบเวลช์ลด ? ฉันดูที่สูตร แต่พีชคณิตยุ่งเหยิงn1+ n2- 2n1+n2−2n_1+n_2-2

11 hypothesis-testing  t-test 

ฉันมีชุดข้อมูลที่มีจำนวนการกระทำที่ดำเนินการโดยบุคคลในระยะเวลา 7 วัน การกระทำที่เฉพาะเจาะจงไม่ควรเกี่ยวข้องกับคำถามนี้ นี่คือสถิติเชิงพรรณนาสำหรับชุดข้อมูล: RangeMeanVarianceNumber of observations0−77218.22791696Range0−772Mean18.2Variance2791Number of observations696 \begin{array}{|c|c|} \hline \text{Range} & 0 - 772 \\ \hline \text{Mean} & 18.2 \\ \hline \text{Variance} & 2791 \\ \hline \text{Number of observations} & 696 \\ \hline \end{array} นี่คือฮิสโตแกรมของข้อมูล: เมื่อพิจารณาจากแหล่งข้อมูลฉันคิดว่ามันจะพอดีกับการแจกแจงปัวซอง อย่างไรก็ตามความแปรปรวนเฉลี่ยและฮิสโตแกรมนั้นมีน้ำหนักทางด้านซ้ายอย่างมาก นอกจากนี้ฉันgoodfitทำการทดสอบใน R และได้รับ: > gf <- goodfit(actions,type="poisson", method = "MinChisq") …

11 r  distributions  poisson-distribution  mean  sample 

ตัวอย่างของการวัดความสามารถในการแบ่งแยกชั้นเรียนที่ดีในผู้เรียนที่เลือกปฏิบัติแบบเส้นตรงคืออัตราส่วนการจำแนกเชิงเส้นของฟิชเชอร์ มีตัวชี้วัดที่มีประโยชน์อื่น ๆ หรือไม่ในการพิจารณาว่าชุดคุณลักษณะให้การแยกคลาสที่ดีระหว่างตัวแปรเป้าหมายหรือไม่ โดยเฉพาะอย่างยิ่งฉันสนใจในการค้นหาแอตทริบิวต์อินพุตหลายตัวแปรที่ดีสำหรับการเพิ่มการแยกชั้นเป้าหมายและมันจะดีถ้ามีการวัดแบบไม่เชิงเส้น / ไม่อิงพารามิเตอร์เพื่อกำหนดว่าการแยกนั้นดีหรือไม่

11 machine-learning  classification  feature-selection  discriminant-analysis 

ฉันอาจจะจัดการกับปัญหาที่อาจแก้ไขได้หลายร้อยครั้งก่อนหน้านี้ แต่ฉันไม่แน่ใจว่าจะหาคำตอบได้ที่ไหน เมื่อใช้การถดถอยโลจิสติกให้คุณสมบัติมากมายและพยายามทำนายค่าหมวดหมู่ไบนารีฉันสนใจในการเลือกชุดย่อยของคุณสมบัติที่ทำนายดี y yx1, . . . , xnx1,...,xnx_1,...,x_nYyyYyy มีขั้นตอนคล้ายกับบ่วงบาศที่สามารถใช้ได้หรือไม่? (ฉันเคยเห็นบ่วงบาศที่ใช้สำหรับการถดถอยเชิงเส้นเท่านั้น) ดูที่ค่าสัมประสิทธิ์ของรุ่นที่ติดตั้งแล้วซึ่งบ่งบอกถึงความสำคัญของคุณสมบัติที่แตกต่างกันหรือไม่? แก้ไข - การชี้แจงหลังจากเห็นคำตอบบางส่วน: เมื่อฉันอ้างถึงขนาดของสัมประสิทธิ์การติดตั้งฉันหมายถึงคุณลักษณะที่ได้รับการปรับให้เป็นมาตรฐาน (หมายถึง 0 และความแปรปรวน 1) มิฉะนั้นตามที่ @probabilityislogic ชี้ให้เห็น 1000x จะมีความสำคัญน้อยกว่า x ฉันไม่สนใจเพียงแค่ค้นหา k-subset ที่ดีที่สุด (ตามที่ @Davide กำลังนำเสนอ) แต่ให้น้ำหนักความสำคัญของคุณลักษณะที่แตกต่างกันเมื่อเทียบกัน ตัวอย่างเช่นคุณลักษณะหนึ่งอาจเป็น "อายุ" และอีกคุณสมบัติหนึ่งคืออายุ> 30 " ความสำคัญที่เพิ่มขึ้นของพวกเขาอาจมีเพียงเล็กน้อย แต่ทั้งคู่อาจมีความสำคัญ

11 machine-learning  logistic  classification 

ความเป็นมาทางชีวภาพ เมื่อเวลาผ่านไปพืชบางชนิดมีแนวโน้มที่จะทำซ้ำจีโนมทั้งหมดของพวกเขาได้รับสำเนาเพิ่มเติมของแต่ละยีน เนื่องจากความไม่แน่นอนของการตั้งค่านี้ทำให้ยีนเหล่านี้จำนวนมากถูกลบออกและจีโนมจัดเรียงตัวเองใหม่และทำให้เสถียรพร้อมที่จะทำซ้ำอีกครั้ง เหตุการณ์การทำซ้ำเหล่านี้เกี่ยวข้องกับการเก็งกำไรและการบุกรุกและทฤษฎีก็คือการทำซ้ำช่วยให้พืชสามารถปรับตัวเข้ากับสภาพแวดล้อมใหม่ได้เร็วขึ้น Lupinus เป็นพืชดอกออกดอกบุกรุก Andes ในเหตุการณ์ speciation ที่เร็วที่สุดเท่าที่เคยตรวจพบและยิ่งไปกว่านั้นดูเหมือนว่าจะมีสำเนาที่ซ้ำกันในจีโนมมากกว่า Baptisia ที่เกี่ยวข้องมากที่สุด และตอนนี้ปัญหาทางคณิตศาสตร์: จีโนมของสมาชิกของ Lupinus และสมาชิกของ Baptisia ได้รับการจัดลำดับโดยให้ข้อมูลดิบประมาณ 25,000 ยีนในแต่ละสปีชีส์ ด้วยการสอบถามกับฐานข้อมูลของยีนที่รู้จักกันในฟังก์ชั่นตอนนี้ฉันมี "คาดเดาที่ดีที่สุด" สำหรับสิ่งที่ฟังก์ชั่นที่ยีนอาจทำ - ตัวอย่างเช่น Gene1298 อาจเกี่ยวข้องกับ "เมตาบอลิซึมฟรุกโตส ฉันอยากรู้ว่าถ้ามีเหตุการณ์การทำซ้ำระหว่าง Baptisia และ Lupinus ไม่ว่าการสูญเสียยีนจะเกิดขึ้นแบบสุ่มหรือว่ายีนที่ทำหน้าที่เฉพาะนั้นมีแนวโน้มที่จะถูกเก็บหรือลบมากกว่า ฉันมีสคริปต์ที่จะส่งออกตารางเช่นเดียวกับที่แสดงด้านล่าง L * คือจำนวนยีน Lupinus ทั้งหมดที่เกี่ยวข้องกับฟังก์ชัน L 1+ คือจำนวนยีน lupinus ที่เกี่ยวข้องกับฟังก์ชันที่มีสำเนาอย่างน้อยหนึ่งสำเนา ฉันสามารถทำให้มันผลิต L 2+, L 3+ ฯลฯ …

11 generalized-linear-model  contingency-tables  fishers-exact  genetics  bioinformatics 

ฉันต้องการอธิบาย "ความแหลม" และ "ความหนักเบา" ของฟังก์ชันความหนาแน่นของความน่าจะเป็นแบบเบ้ คุณสมบัติที่ฉันต้องการจะอธิบายพวกเขาจะถูกเรียกว่า "kurtosis" หรือไม่? ฉันเคยเห็นเพียงคำว่า "kurtosis" ใช้สำหรับการแจกแจงแบบสมมาตรหรือไม่

11 pdf  descriptive-statistics  skewness  kurtosis 

การใช้งาน RandomForest ไม่อนุญาตให้มีการสุ่มตัวอย่างเกินจำนวนการสังเกตแม้ว่าจะสุ่มตัวอย่างด้วยการเปลี่ยน ทำไมนี้ ทำงานได้ดี: rf <- randomForest(Species ~ ., iris, sampsize=c(1, 1, 1), replace=TRUE) rf <- randomForest(Species ~ ., iris, sampsize=3, replace=TRUE) สิ่งที่ฉันต้องการจะทำ: rf <- randomForest(Species ~ ., iris, sampsize=c(51, 1, 1), replace=TRUE) Error in randomForest.default(m, y, ...) : sampsize can not be larger than class frequency ข้อผิดพลาดที่คล้ายกันโดยไม่มีตัวอย่างแบ่งชั้น: rf …

11 r  sampling  random-forest  stratification  oversampling 

จากวิกิพีเดีย Dynamic Bayesian Network (DBN) เป็นเครือข่ายแบบเบย์ซึ่งเชื่อมโยงตัวแปรซึ่งกันและกันผ่านขั้นตอนเวลาที่อยู่ติดกัน นี้มักจะเรียกว่าสอง timeslice BN เพราะมันบอกว่าที่จุดใด ๆ ในเวลา T, ค่าของตัวแปรที่สามารถคำนวณได้จาก regressors ภายในและค่าก่อนทันที (เวลา T-1) DBN นั้นเป็นเรื่องปกติในหุ่นยนต์และได้แสดงศักยภาพสำหรับแอพพลิเคชั่นการขุดข้อมูลที่หลากหลาย ตัวอย่างเช่นพวกมันถูกใช้ในการรู้จำเสียง, ลำดับโปรตีนและชีวสารสนเทศศาสตร์ DBN ได้แสดงให้เห็นถึงการผลิตโซลูชั่นที่เทียบเท่ากับรุ่น Hidden Markov และตัวกรองคาลมาน ฉันสงสัยว่า "ค่าก่อนหน้าทันที (เวลา T-1)" หมายความว่าดัชนีเวลาใน DBN ไม่ต่อเนื่องหรือไม่ "ณ จุดใดก็ได้ในเวลา T ค่าของตัวแปรสามารถคำนวณได้จาก regressors ภายในและค่าก่อนหน้าทันที (เวลา T-1)" หมายความว่า DBN เป็นกระบวนการมาร์คอฟแบบไม่ต่อเนื่องหรือไม่? หากฉันเข้าใจอย่างถูกต้อง HMM ก็เป็นกระบวนการมาร์คอฟแบบแยกเวลาเช่นกันหากไม่สนใจเอาต์พุตจากสถานะในเวลาเดียวกัน ดังนั้นฉันสงสัยว่า HMM …

11 hidden-markov-model  graphical-model 

สมมติว่าเรามีคำถาม "ใช่ / ไม่ใช่" ที่เราต้องการทราบคำตอบ และมีคน N คน "โหวต" สำหรับคำตอบที่ถูกต้อง ผู้มีสิทธิเลือกตั้งทุกคนมีประวัติ - รายชื่อ 1 และ 0 แสดงว่าพวกเขาถูกหรือผิดเกี่ยวกับคำถามประเภทนี้ในอดีต หากเราถือว่าประวัติศาสตร์เป็นการกระจายแบบทวินามเราสามารถค้นหาประสิทธิภาพเฉลี่ยของผู้มีสิทธิเลือกตั้งในคำถามเช่นรูปแบบที่เปลี่ยนแปลง CI และตัวชี้วัดความเชื่อมั่นอื่น ๆ โดยทั่วไปคำถามของฉันคือ: วิธีการรวมข้อมูลความมั่นใจในระบบการลงคะแนนได้อย่างไร ตัวอย่างเช่นหากเราพิจารณาว่าหมายถึงประสิทธิภาพของผู้ลงคะแนนแต่ละคนเท่านั้นเราสามารถสร้างระบบการลงคะแนนแบบถ่วงน้ำหนักง่ายๆ: result=sign(∑v∈votersμv×(−1)1−vote)result=sign(∑v∈votersμv×(−1)1−vote)result = sign(\sum_{v \in voters}\mu_v \times (-1)^{1-vote}) นั่นคือเราสามารถรวมน้ำหนักของผู้ลงคะแนนคูณด้วย (สำหรับ "ใช่") หรือ (สำหรับ "ไม่") มันสมเหตุสมผลแล้ว: หากผู้ออกเสียงลงคะแนน 1 มีคำตอบที่ถูกต้องโดยเฉลี่ยเท่ากับและผู้ออกเสียงลงคะแนน 2 มีเพียง.มากกว่าอาจจะเป็นการลงคะแนนเสียงของบุคคลที่ 1 ที่มีความสำคัญมากกว่า ในทางกลับกันถ้าคนที่ 1 ตอบคำถามเพียง 10 ข้อและคนที่ …

11 accuracy  uncertainty  weighted-mean  voting-system