สถิติและข้อมูลขนาดใหญ่

ฉันเป็นผู้ใช้ที่คุ้นเคยกับ R มากขึ้นและพยายามประเมินความลาดแบบสุ่ม (ค่าสัมประสิทธิ์การเลือก) ประมาณ 35 คนตลอด 5 ปีสำหรับตัวแปรที่อยู่อาศัยสี่ตัว ตัวแปรการตอบสนองคือที่อยู่อาศัย "ที่ใช้" (1) หรือ "พร้อมใช้งาน" (0) ที่อยู่อาศัย ("ใช้" ด้านล่าง) ฉันใช้คอมพิวเตอร์ Windows 64 บิต ในรุ่น R 3.1.0 ฉันใช้ข้อมูลและการแสดงออกด้านล่าง PS, TH, RS และ HW เป็นเอฟเฟกต์คงที่ (มาตรฐานระยะทางที่วัดได้กับประเภทที่อยู่อาศัย) lme4 V 1.1-7 str(dat) 'data.frame': 359756 obs. of 7 variables: $ use : num 1 1 1 …

12 r  binomial  sas  random-effects-model  lme4-nlme 

ฉันกำลังทำงานเกี่ยวกับสถิติสำหรับการสร้างซอฟต์แวร์ ฉันมีข้อมูลสำหรับแต่ละบิลด์เมื่อผ่าน / ไม่ผ่านและเวลาที่ผ่านไปและเราสร้าง ~ 200 ต่อสัปดาห์ อัตราความสำเร็จนั้นง่ายต่อการรวบรวมฉันสามารถพูดได้ว่า 45% ผ่านไปสัปดาห์ใดก็ตาม แต่ฉันต้องการรวมเวลาที่ผ่านไปด้วยและฉันต้องการตรวจสอบให้แน่ใจว่าฉันไม่ได้บิดเบือนข้อมูลที่ไม่ดีเกินไป คิดว่าฉันควรถามข้อดี :-) บอกว่าฉันมี 10 ช่วงเวลา พวกเขาเป็นตัวแทนของทั้งสองกรณีผ่านและล้มเหลว บางงานสร้างล้มเหลวทันทีซึ่งทำให้ระยะเวลาสั้นผิดปกติ บางคนหยุดระหว่างการทดสอบและหมดเวลาในที่สุดทำให้เกิดระยะเวลาที่ยาวนานมาก เราสร้างผลิตภัณฑ์ที่แตกต่างกันดังนั้นการสร้างที่ประสบความสำเร็จก็แตกต่างกันไประหว่าง 90 วินาทีและ 4 ชั่วโมง ฉันอาจได้ชุดแบบนี้: [50, 7812, 3014, 13400, 21011, 155, 60, 8993, 8378, 9100] วิธีแรกของฉันคือการหาค่ามัธยฐานโดยเรียงลำดับชุดและเลือกค่ากลางในกรณีนี้ 7812 (ฉันไม่ได้ใส่ใจกับค่าเฉลี่ยเลขคณิตสำหรับชุดเลขคู่) น่าเสียดายนี่ดูเหมือนจะสร้างความเปลี่ยนแปลงได้มากมายเนื่องจากฉันเลือกเพียงมูลค่าที่กำหนด ดังนั้นถ้าฉันจะแนวโน้มค่านี้มันจะกระเด้งประมาณระหว่าง 5,000-10,000 วินาทีขึ้นอยู่กับว่ารุ่นใดอยู่ที่ค่ามัธยฐาน เพื่อทำให้เรื่องนี้ราบรื่นขึ้นฉันลองวิธีอื่น - ลบค่าผิดปกติแล้วคำนวณค่าเฉลี่ยของค่าที่เหลือ ฉันตัดสินใจที่จะแยกมันออกเป็น tertiles และทำงานเฉพาะตรงกลาง: [50, 60, …

12 outliers  robust  average 

เรื่องย่อ:มีทฤษฎีทางสถิติใดบ้างที่สนับสนุนการใช้การแจกแจงแบบ (มีองศาอิสระตามส่วนเบี่ยงเบนส่วนที่เหลือ) สำหรับการทดสอบสัมประสิทธิ์การถดถอยโลจิสติกมากกว่าการแจกแจงแบบปกติมาตรฐานหรือไม่?ttt บางเวลาที่ผ่านมาฉันค้นพบว่าเมื่อปรับโมเดลการถดถอยโลจิสติกใน SAS PROC GLIMMIX ภายใต้การตั้งค่าเริ่มต้นสัมประสิทธิ์การถดถอยโลจิสติกจะถูกทดสอบโดยใช้การแจกแจงแบบแทนการแจกแจงแบบปกติมาตรฐาน 1นั่นคือ GLIMMIX รายงานคอลัมน์ที่มีอัตราส่วนβ 1 / √ttt11^1 (ซึ่งผมจะเรียกZในส่วนที่เหลือของคำถามนี้) แต่ยังมีรายงานว่า "องศาความเป็นอิสระ" คอลัมน์เช่นเดียวกับP-value ขึ้นอยู่กับสมมติฐานทีจัดจำหน่ายสำหรับZกับองศาอิสระ ขึ้นอยู่กับการเบี่ยงเบนที่เหลือ - นั่นคือองศาอิสระ = จำนวนการสังเกตทั้งหมดลบด้วยจำนวนพารามิเตอร์ ที่ด้านล่างของคำถามนี้ฉันให้รหัสและผลลัพธ์ใน R และ SAS สำหรับการสาธิตและการเปรียบเทียบ 2β^1/var(β^1)−−−−−−√β^1/var(β^1)\hat{\beta}_1/\sqrt{\text{var}(\hat{\beta}_1)}zzzppptttzzz22^2 สิ่งนี้ทำให้ฉันสับสนเนื่องจากฉันคิดว่าสำหรับโมเดลเชิงเส้นแบบทั่วไปเช่นการถดถอยโลจิสติกไม่มีทฤษฎีทางสถิติที่จะสนับสนุนการใช้ -distribution ในกรณีนี้ แต่ฉันคิดว่าสิ่งที่เรารู้เกี่ยวกับกรณีนี้คือttt คือ "ปกติ" กระจายโดยปกติ;zzz การประมาณนี้อาจไม่ดีสำหรับตัวอย่างขนาดเล็ก อย่างไรก็ตามมันไม่สามารถสันนิษฐานได้ว่ามีการแจกแจงแบบtเราสามารถสมมติในกรณีของการถดถอยปกติzzzttt zzzttttttttt zzzttt ttt โดยทั่วไปมีการสนับสนุนจริง ๆ สำหรับสิ่งที่ GLIMMIX กำลังทำที่นี่นอกเหนือจากสัญชาตญาณที่อาจสมเหตุสมผลโดยทั่วไปหรือไม่ รหัส R: summary(glm(y …

12 r  logistic  mathematical-statistics  sas  degrees-of-freedom 

ฉันพยายามที่จะนำหัวของฉันไปรอบ ๆ แพคเกจสื่อกลางใน R โดยใช้บทความสั้นสำหรับแพคเกจ ฉันพยายามที่จะเข้าใจผลลัพธ์ของmediate()ฟังก์ชัน require("mediation") require("sandwich") data("framing") med.fit <- lm(emo ~ treat + age + educ + gender + income, data = framing) out.fit <- glm(cong_mesg ~ emo + treat + age + educ + gender + income, data = framing, family = binomial("probit")) summary(out.fit) # OR for …

12 r  mediation 

ฉันมีคำถาม / ความสับสนเกี่ยวกับชุดเครื่องเขียนที่จำเป็นสำหรับการสร้างแบบจำลองด้วย ARIMA (X) ฉันคิดถึงสิ่งนี้มากขึ้นในแง่ของการอนุมาน (ผลของการแทรกแซง) แต่อยากรู้ว่าการคาดการณ์และการอนุมานนั้นสร้างความแตกต่างในการตอบสนองหรือไม่ คำถาม: แหล่งข้อมูลเบื้องต้นทั้งหมดที่ฉันได้อ่านระบุว่าซีรีส์ต้องหยุดนิ่งซึ่งทำให้ฉันรู้สึกว่าเหมาะสมและนั่นคือที่ "ฉัน" ใน arima เข้ามา (ต่างกัน) สิ่งที่ทำให้ฉันสับสนคือการใช้แนวโน้มและการล่องลอยใน ARIMA (X) และความหมาย (ถ้ามี) สำหรับข้อกำหนดที่อยู่กับที่ การใช้เทอมคงที่ / ดริฟท์และ / หรือตัวแปรเทรนด์เป็นตัวแปรภายนอก (เช่นการเพิ่ม 't' เป็น regressor) ลบล้างความต้องการของซีรีส์ที่อยู่กับที่หรือไม่? คำตอบนั้นแตกต่างกันไปหรือไม่ขึ้นอยู่กับว่าซีรี่ส์มีรูทยูนิต (เช่น adf test) หรือมีแนวโน้มที่กำหนดขึ้น แต่ไม่มีรูทยูนิตหรือไม่ หรือ ซีรีย์ต้องหยุดนิ่งอยู่เสมอโดยสร้างความแตกต่างและ / หรือทำให้เสียโฉมก่อนใช้ ARIMA (X)

12 time-series  econometrics  arima  inference 

ฉันมักจะเห็นคนสร้างมิติ / คุณสมบัติของชุดข้อมูลให้มีค่าเป็นศูนย์โดยการลบค่าเฉลี่ยจากองค์ประกอบทั้งหมด แต่ฉันไม่เคยเข้าใจเลยว่าทำไมต้องทำเช่นนั้น? ผลของการทำเช่นนั้นเป็นขั้นตอน preprocessing คืออะไร มันปรับปรุงประสิทธิภาพการจำแนกประเภทหรือไม่? ช่วยตอบบางอย่างเกี่ยวกับชุดข้อมูลหรือไม่ มันช่วยได้หรือไม่เมื่อสร้างภาพข้อมูลเพื่อทำความเข้าใจกับข้อมูล?

12 data-mining  dataset 

ฉันมักจะเห็นชุดข้อมูลที่แยกออกมาเป็นพล็อตบรรทัด แต่มันเกิดขึ้นกับฉันที่บรรทัด infers ค่าที่จุดระหว่างช่วงการวัดที่ไม่มีความหมายสำหรับชุดข้อมูลที่ไม่ต่อเนื่อง ดังนั้นจึงเป็นกรณีการใช้เส้นแปลงสำหรับข้อมูลที่ไม่ต่อเนื่องผิดหรือไม่? ยกตัวอย่างเช่นใช้ชุดข้อมูลอนุกรมสองชุดหนึ่งชุดต่อเนื่อง (น้ำหนักของฉันวัดทุกวันในตอนเช้า) และหนึ่งชุดแยกกัน (จำนวนโดนัทที่ฉันกินต่อวัน) มันสมเหตุสมผลสำหรับชุดข้อมูลแรกที่เป็นพล็อตบรรทัดเนื่องจากมีความสมเหตุสมผลที่จะสรุปว่าน้ำหนักของฉันในช่วงบ่ายใด ๆ นั้นจะเกี่ยวข้องกับน้ำหนักของฉันในตอนเช้าก่อนหน้าและต่อไปนี้ อย่างไรก็ตามหากจำนวนโดนัทถูกแสดงเป็นกราฟเส้นบรรทัดระหว่างจุดจะไม่สามารถอนุมานความหมายจากบรรทัดนั้นได้ แก้ไข นี่คืออีกตัวอย่าง: ค่าแรงขั้นต่ำของรัฐบาลกลางทุกชั่วโมงตั้งแต่พล็อตการลงทะเบียนเรียนที่http://mste.illinois.edu/courses/ci330ms/youtsey/lineinfo.html การเปลี่ยนแปลงค่าแรงขั้นต่ำนั้นไม่ต่อเนื่องดังนั้นฉันจึงไม่สามารถค้นหาเวลาที่เลือกโดยพลการและกำหนดค่าแรงขั้นต่ำ ณ จุดโดยใช้บรรทัดที่เชื่อมต่อจุดต่าง ๆ

12 data-visualization 

ฉันเป็นผู้ช่วยวิจัยสำหรับห้องแล็บ (อาสาสมัคร) ฉันและกลุ่มย่อยได้รับมอบหมายให้ทำการวิเคราะห์ข้อมูลสำหรับชุดข้อมูลที่ดึงมาจากการศึกษาขนาดใหญ่ น่าเสียดายที่ข้อมูลถูกรวบรวมด้วยแอปออนไลน์บางประเภทและไม่มีการตั้งโปรแกรมให้ส่งออกข้อมูลในรูปแบบที่ใช้งานได้มากที่สุด รูปภาพด้านล่างแสดงถึงปัญหาพื้นฐาน ฉันบอกว่านี่เรียกว่า "Reshape" หรือ "Restructure" คำถาม: กระบวนการที่ดีที่สุดสำหรับการเปลี่ยนจากรูปภาพ 1 เป็นรูปภาพ 2 พร้อมชุดข้อมูลขนาดใหญ่ที่มีรายการมากกว่า 10k คืออะไร

12 r  excel  data-cleaning 

สมมติว่าเรามี IID ตัวแปรสุ่มที่มีการกระจายtheta) เราจะสังเกตตัวอย่างของในวิธีต่อไปนี้ให้เป็นอิสระตัวแปรสุ่มสมมติว่าและของ มีความเป็นอิสระและกำหนดขนาดของกลุ่มตัวอย่างY_i 's ระบุของ ' s อยู่ในตัวอย่างและเราต้องการที่จะศึกษาส่วนของความสำเร็จในตัวอย่างที่กำหนดโดย X1,…,XnX1,…,XnX_1,\dots,X_nBer(θ)Ber(θ)\mathrm{Ber}(\theta)XiXiX_iY1,…,YnY1,…,YnY_1,\dots,Y_nBer(1/2)Ber(1/2)\mathrm{Ber}(1/2)XiXiX_iYiYiY_iN=∑ni=1YiN=∑i=1nYiN=\sum_{i=1}^n Y_iYiYiY_iXiXiX_iZ={1N∑ni=1XiYi0ifN>0,ifN=0.Z={1N∑i=1nXiYiifN>0,0ifN=0. Z = \begin{cases} \frac{1}{N}\sum_{i=1}^n X_i Y_i & \text{if}\quad N > 0\, , \\ 0 & \text{if} \quad N = 0 \, . \end{cases} สำหรับ , เราต้องการที่จะหาที่ถูกผูกไว้บนสำหรับที่สูญสลายชี้แจงกับnความไม่เสมอภาคของ Hoeffding ไม่ได้ใช้งานได้ทันทีเนื่องจากการพึ่งพาระหว่างตัวแปรϵ>0ϵ>0\epsilon>0Pr(Z≥θ+ϵ)Pr(Z≥θ+ϵ)\mathrm{Pr}\!\left(Z \geq \theta + \epsilon\right)nnn

12 probability-inequalities 

ที่นี่การตีความที่ผิดของสมมติฐานของภาวะปกติในการถดถอยเชิงเส้นถูกกล่าวถึง (ที่ 'ปกติ' หมายถึง X และ / หรือ Y มากกว่าที่เหลือ) และโปสเตอร์ถามว่ามันเป็นไปได้ที่จะมีการกระจาย X และ Y ไม่ปกติ และยังคงมีการกระจายสารตกค้างตามปกติ คำถามของฉันคือ: โดยทั่วไปมีการกระจาย X และ Y มีแนวโน้มที่จะส่งผลให้ส่วนที่เหลือกระจายตามปกติ? มีการโพสต์ที่เกี่ยวข้องมากมาย แต่ฉันไม่เชื่อว่ามีใครถามคำถามนี้โดยเฉพาะ ฉันรู้ว่านี่อาจเป็นจุดที่น่าสนใจหากมีเพียงการถดถอยเพียงครั้งเดียวที่ต้องทำ แต่ก็น้อยลงหากมีการทดสอบหลายครั้ง สมมติว่าฉันมีตัวแปร 100 X ซึ่งทั้งหมดมีความเบ้เหมือนกันและฉันต้องการทดสอบพวกเขาทั้งหมด ถ้าฉันเปลี่ยนพวกมันทั้งหมดเป็นการกระจายตัวแบบปกติมันจะเป็นไปได้ไหมที่ฉันจะมีตัวแปร X น้อยกว่าที่ต้องการการตรวจสอบอีกครั้ง (โดยไม่มีการแปลงที่ต่างกัน / ไม่มีการเปลี่ยนแปลง) เนื่องจากเศษซากที่ไม่กระจายตามปกติ

12 regression  normal-distribution  data-transformation  residuals  assumptions 

เรามีสองกลุ่มตัวอย่าง 1,000 ตัวอย่าง เราวัดปริมาณ 2 หน่วยในแต่ละรุ่น คนแรกคือตัวแปรไบนารี ที่สองคือจำนวนจริงที่ตามหลังการกระจายหางหนา เราต้องการประเมินว่ากลุ่มใดมีประสิทธิภาพดีที่สุดสำหรับแต่ละเมตริก มีการทดสอบทางสถิติให้เลือกมากมาย: ผู้คนแนะนำให้ z-test, คนอื่น ๆ ใช้ t-test, และคนอื่น ๆ Mann – Whitney U เราควรเลือกการทดสอบหรือการทดสอบใดสำหรับแต่ละเมตริกสำหรับกรณีของเรา จะเกิดอะไรขึ้นหากการทดสอบหนึ่งบ่งบอกถึงความแตกต่างอย่างมีนัยสำคัญระหว่างกลุ่มและการทดสอบอื่น ๆ ที่ชี้ให้เห็นถึงความแตกต่างที่ไม่สำคัญ

12 ab-test 

ฉันรู้วิธีดำเนินการ PCA (การวิเคราะห์องค์ประกอบหลัก) แต่ฉันต้องการทราบขั้นตอนที่ควรใช้สำหรับการวิเคราะห์ปัจจัย ในการดำเนินการ PCA ให้เราพิจารณาเมทริกซ์ตัวอย่างเช่นAAA 3 1 -1 2 4 0 4 -2 -5 11 22 20 ฉันได้คำนวณเมทริกซ์สหสัมพันธ์แล้วB = corr(A): 1.0000 0.9087 0.9250 0.9087 1.0000 0.9970 0.9250 0.9970 1.0000 จากนั้นฉันได้ทำการประเมินค่าการสลายตัวของ[V,D] = eig(B)ไอเคิล 0.5662 0.8209 -0.0740 0.5812 -0.4613 -0.6703 0.5844 -0.3366 0.7383 และค่าลักษณะเฉพาะ: 2.8877 0 0 0 0.1101 0 …

12 pca  factor-analysis  algorithms 

ฉันพยายามค้นหาการกระจายลักษณะเฉพาะที่เหมาะสมที่สุดของข้อมูลการวัดซ้ำประเภทหนึ่ง โดยพื้นฐานแล้วในสาขาธรณีวิทยาของฉันเรามักจะใช้การตรวจสอบด้วยรังสีของแร่ธาตุจากตัวอย่าง (ก้อนหิน) เพื่อหาว่านานแค่ไหนที่มีเหตุการณ์เกิดขึ้น (หินเย็นลงต่ำกว่าอุณหภูมิที่กำหนด) โดยทั่วไปการวัดหลาย ๆ (3-10) จะทำจากตัวอย่างแต่ละตัวอย่าง จากนั้นค่าเฉลี่ยและค่าเบี่ยงเบนมาตรฐานσจะถูกนำ นี่คือธรณีวิทยาดังนั้นอายุการระบายความร้อนของตัวอย่างสามารถปรับได้ตั้งแต่10 5ถึง10 9ปีขึ้นอยู่กับสถานการณ์μμ\muσσ\sigma10510510^510910910^9 อย่างไรก็ตามฉันมีเหตุผลที่เชื่อได้ว่าการวัดไม่ใช่ Gaussian: 'Outliers' ไม่ว่าจะเป็นการประกาศโดยพลการหรือผ่านเกณฑ์บางอย่างเช่นเกณฑ์ของ Peirce [Ross, 2003]หรือการทดสอบ Q ของ Dixon [Dean and Dixon, 1951]นั้นค่อนข้างยุติธรรม ทั่วไป (พูด 1 ใน 30) และสิ่งเหล่านี้เกือบจะเก่ากว่าทุกครั้งซึ่งบ่งชี้ว่าการวัดเหล่านี้มีลักษณะเอียงไปทางขวา มีเหตุผลที่เข้าใจกันดีเกี่ยวกับสิ่งสกปรกที่เกี่ยวกับแร่วิทยา μμ\muσσ\sigma ฉันสงสัยว่าวิธีที่ดีที่สุดในการทำเช่นนี้คืออะไร ถึงตอนนี้ฉันมีฐานข้อมูลประมาณ 600 ตัวอย่างและ 2-10 (หรือมากกว่านั้น) ทำซ้ำการวัดต่อตัวอย่าง ฉันได้ลองทำตัวอย่างให้เป็นมาตรฐานโดยการหารค่าเฉลี่ยหรือค่ามัธยฐานแล้วดูที่ฮิสโตแกรมของข้อมูลที่ทำให้เป็นมาตรฐาน สิ่งนี้สร้างผลลัพธ์ที่สมเหตุสมผลและดูเหมือนว่าบ่งชี้ว่าข้อมูลนั้นเป็นลักษณะเฉพาะของ Laplacian: อย่างไรก็ตามฉันไม่แน่ใจว่านี่เป็นวิธีการที่เหมาะสมหรือไม่หรือมีข้อแม้ที่ฉันไม่ทราบว่าอาจทำให้เกิดผลลัพธ์ของฉันดังนั้นพวกเขาจึงมีลักษณะเช่นนี้ ใครบ้างมีประสบการณ์กับสิ่งนี้และรู้วิธีปฏิบัติที่ดีที่สุด?

12 distributions  normal-distribution  normalization  histogram 

ฉันสงสัยว่า bootstrap CIs (และ BCa เป็น barticular) ทำงานกับข้อมูลที่กระจายแบบปกติได้อย่างไร ดูเหมือนว่าจะมีงานจำนวนมากที่ตรวจสอบประสิทธิภาพการทำงานของพวกเขาในการแจกแจงแบบต่าง ๆ แต่ไม่พบข้อมูลใด ๆ เกี่ยวกับข้อมูลที่กระจายตามปกติ เนื่องจากดูเหมือนเป็นสิ่งที่ชัดเจนในการศึกษาก่อนฉันจึงคิดว่าเอกสารนั้นเก่าเกินไป ฉันทำแบบจำลอง Monte Carlo โดยใช้แพ็คเกจการบูต R และพบว่า bootstrap CIs สอดคล้องกับ CIs ที่แน่นอนแม้ว่าสำหรับกลุ่มตัวอย่างขนาดเล็ก (N <20) พวกเขามีแนวโน้มที่จะเสรีเล็กน้อย (CIs ที่เล็กกว่า) สำหรับตัวอย่างที่มีขนาดใหญ่พอพวกมันจะเหมือนกัน นี้ทำให้ผมสงสัยว่ามีเหตุผลที่ดีใด ๆ ที่จะไม่เสมอใช้ความร่วมมือ ด้วยความยากลำบากในการประเมินว่าการแจกแจงเป็นเรื่องปกติหรือไม่และข้อผิดพลาดมากมายที่อยู่เบื้องหลังสิ่งนี้ดูเหมือนว่ามีเหตุผลที่จะไม่ตัดสินใจและรายงาน bootstrap CIs โดยไม่คำนึงถึงการกระจาย ฉันเข้าใจแรงจูงใจที่ไม่ใช้การทดสอบที่ไม่ใช่พารามิเตอร์อย่างเป็นระบบเนื่องจากมีพลังงานน้อยกว่า แต่การจำลองของฉันบอกฉันว่านี่ไม่ใช่กรณีของ bootstrap CIs พวกมันเล็กลง คำถามที่คล้ายกันที่ทำให้ฉันเป็นบ้าคือทำไมไม่ใช้ค่ามัธยฐานเป็นมาตรวัดแนวโน้มกลางเสมอไป ผู้คนมักจะแนะนำให้ใช้มันเพื่อจำแนกลักษณะข้อมูลที่ไม่ได้กระจายแบบปกติ แต่เนื่องจากค่ามัธยฐานเป็นเช่นเดียวกับค่าเฉลี่ยสำหรับข้อมูลที่กระจายตามปกติทำไมถึงแตกต่าง? มันจะมีประโยชน์มากถ้าเราสามารถกำจัดขั้นตอนการตัดสินใจว่าการแจกแจงเป็นเรื่องปกติหรือไม่ ฉันอยากรู้มากเกี่ยวกับความคิดของคุณเกี่ยวกับปัญหาเหล การอ้างอิงจะได้รับการชื่นชมอย่างมาก ขอบคุณ! …

12 confidence-interval  bootstrap  normality-assumption  resampling 

ฉันมีชุดข้อมูลที่มีขนาดใหญ่มากและมีค่าสุ่มประมาณ 5% หายไป ตัวแปรเหล่านี้มีความสัมพันธ์ซึ่งกันและกัน ตัวอย่างชุดข้อมูล R ต่อไปนี้เป็นเพียงตัวอย่างของเล่นที่มีข้อมูลที่สัมพันธ์กันจำลอง set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", 1:10000, sep ="") rownames(xmat) <- paste("sample", 1:200, sep = "") #M variables are correlated N <- 2000000*0.05 # 5% random missing values inds …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf