สถิติและข้อมูลขนาดใหญ่

ถามตอบสำหรับผู้ที่สนใจในสถิติการเรียนรู้ของเครื่องจักรการวิเคราะห์ข้อมูลการขุดข้อมูล

1
ทำไม
ในชุดปัญหาฉันได้พิสูจน์ "บทแทรก" ซึ่งผลลัพธ์ของฉันไม่เข้าใจง่าย ZZZคือการแจกแจงแบบปกติมาตรฐานในรูปแบบการเซ็นเซอร์ อย่างเป็นทางการ Z* * * *∼ No r m ( 0 , σ2)Z* * * *~ยังไม่มีข้อความโอRม.(0,σ2)Z^* \sim Norm(0, \sigma^2)และZ= m a x ( Z* * * *, c )Z=ม.ax(Z* * * *,ค)Z = max(Z^*, c) ) จากนั้น E[ Z| Z> c ]= ∫∞คZผมϕ ( zผม) d zผม= …

2
ในตัวอย่างหนึ่ง t-test, เกิดอะไรขึ้นถ้าในความแปรปรวนประมาณการค่าเฉลี่ยของกลุ่มตัวอย่างจะถูกแทนที่ด้วย
สมมติหนึ่งตัวอย่าง t-test ที่สมมติฐานคือ\สถิติแล้วโดยใช้กลุ่มตัวอย่างส่วนเบี่ยงเบนมาตรฐานsในการประเมินหนึ่งเปรียบเทียบการสังเกตกับค่าเฉลี่ยตัวอย่าง : t = ¯ x - μ 0μ = μ0μ=μ0\mu=\mu_0 ss¯xt = x¯¯¯- μ0s / n√เสื้อ=x¯-μ0s/nt=\frac{\overline{x}-\mu_0}{s/\sqrt{n}}ssssssx¯¯¯x¯\overline{x} s = 1n - 1Σni = 1( xผม- x¯¯¯)2---------------√s=1n-1Σผม=1n(xผม-x¯)2s=\sqrt{\frac{1}{n-1}\sum_{i=1}^n (x_i-\overline{x})^2}2} อย่างไรก็ตามหากเราถือว่าที่ระบุเป็นจริงเราสามารถประมาณค่าเบี่ยงเบนมาตรฐานโดยใช้แทนค่าเฉลี่ยตัวอย่าง :s ∗ μ 0 ¯ xμ0μ0\mu_0s* * * *s* * * *s^*μ0μ0\mu_0x¯¯¯x¯\overline{x} s* * * *= 1n - 1Σni = …

1
อะไรคือความแตกต่างพื้นฐานระหว่างตัวแบบการถดถอยสองตัวนี้
สมมติว่าฉันมีการตอบสนองแบบ bivariate ที่มีความสัมพันธ์อย่างมีนัยสำคัญ ฉันพยายามเปรียบเทียบทั้งสองวิธีเพื่อจำลองผลลัพธ์เหล่านี้ วิธีหนึ่งคือการสร้างแบบจำลองความแตกต่างระหว่างผลลัพธ์ทั้งสอง: อีกวิธีหนึ่งคือการใช้หรือสร้างแบบจำลองพวกเขา: ( y i j = β 0 + เวลา+ X ′ β )(yi2−yi1=β0+X′β)(yi2−yi1=β0+X′β)(y_{i2}-y_{i1}=\beta_0+X'\beta)glsgee(yij=β0+time+X′β)(yij=β0+time+X′β)(y_{ij}=\beta_0+\text{time}+X'\beta) นี่คือตัวอย่างของ foo: #create foo data frame require(mvtnorm) require(reshape) set.seed(123456) sigma <- matrix(c(4,2,2,3), ncol=2) y <- rmvnorm(n=500, mean=c(1,2), sigma=sigma) cor(y) x1<-rnorm(500) x2<-rbinom(500,1,0.4) df.wide<-data.frame(id=seq(1,500,1),y1=y[,1],y2=y[,2],x1,x2) df.long<-reshape(df.wide,idvar="id",varying=list(2:3),v.names="y",direction="long") df.long<-df.long[order(df.long$id),] df.wide$diff_y<-df.wide$y2-df.wide$y1 #regressions fit1<-lm(diff_y~x1+x2,data=df.wide) fit2<-lm(y~time+x1+x2,data=df.long) fit3<-gls(y~time+x1+x2,data=df.long, correlation = …

1
จำนวน ss ทั้งหมดและระหว่าง ss หมายถึงอะไรในการจัดกลุ่ม k-mean
ฉันยังใหม่กับการวิเคราะห์กลุ่ม ฉันใช้ R สำหรับการจัดกลุ่ม k หมายถึงและฉันสงสัยว่าสิ่งเหล่านั้นคืออะไร และอะไรจะดีกว่าถ้าอัตราส่วนของพวกมันเล็กกว่าหรือใหญ่กว่า?
10 clustering 

1
การเปรียบเทียบ CPH แบบจำลองเวลาความล้มเหลวเร่งหรือโครงข่ายประสาทเทียมสำหรับการวิเคราะห์การอยู่รอด
ฉันยังใหม่กับการวิเคราะห์การเอาชีวิตรอดและเมื่อเร็ว ๆ นี้ฉันได้เรียนรู้ว่ามีวิธีที่แตกต่างในการทำเพื่อให้ได้เป้าหมายที่แน่นอน ฉันสนใจในการนำไปใช้จริงและความเหมาะสมของวิธีการเหล่านี้ ฉันได้รับการนำเสนอด้วยCox Proportional-Hazards , โมเดลเวลาความล้มเหลวเร่งความเร็วและเครือข่ายประสาท (multilayer perceptron) เป็นวิธีการที่จะทำให้ผู้ป่วยรอดชีวิตจากการได้รับเวลาสถานะและข้อมูลทางการแพทย์อื่น ๆ การศึกษานี้ได้รับการกล่าวถึงในอีกห้าปีข้างหน้าและเป้าหมายคือการให้ความเสี่ยงต่อการอยู่รอดในแต่ละปีเพื่อให้มีการบันทึกใหม่ ฉันพบสองอินสแตนซ์ที่มีวิธีอื่นที่เลือกไว้เหนือ Cox PH: ฉันพบ " วิธีรับการทำนายในแง่ของเวลาการเอาชีวิตรอดจากโมเดล Cox PH " และได้มีการกล่าวไว้ว่า: หากคุณมีความสนใจโดยเฉพาะอย่างยิ่งในการได้รับการประเมินความน่าจะเป็นของการอยู่รอดที่จุดเวลาโดยเฉพาะอย่างยิ่งผมจะชี้ให้คุณไปสู่รูปแบบการอยู่รอดพารา (เวลาในการเร่ง aka ความล้มเหลว) สิ่งเหล่านี้ถูกนำมาใช้ในแพ็คเกจการเอาตัวรอดสำหรับ R และจะให้การแจกแจงเวลาการอยู่รอดแบบอิงพารามิเตอร์ซึ่งคุณสามารถเสียบเวลาที่คุณสนใจและกลับมาเป็นความอยู่รอดได้ ฉันไปที่เว็บไซต์ที่แนะนำและพบว่าหนึ่งในsurvivalแพคเกจ - survregฟังก์ชั่น เครือข่ายประสาทถูกแนะนำในความคิดเห็นนี้ : ... ข้อดีอย่างหนึ่งของวิธีการวิเคราะห์การอยู่รอดของโครงข่ายใยประสาทคือพวกมันไม่ได้ใช้สมมติฐานที่รองรับการวิเคราะห์ Cox ... อีกคนที่มีคำถามว่า " โมเดลเครือข่ายนิวรัลกับเวกเตอร์เป้าหมายเป็นผลลัพธ์ที่มีการทำนายการรอดชีวิต " เป็นวิธีที่ละเอียดถี่ถ้วนในการพิจารณาความอยู่รอดในเครือข่ายประสาทและ Cox PH รหัส R สำหรับการเอาตัวรอดจะเป็นดังนี้: mymodel …

2
มีเหตุผลหรือไม่ที่จะปล่อยให้โซลูชันการวิเคราะห์ปัจจัยเชิงสำรวจไม่ได้รับการป้องกัน
มีเหตุผลใดบ้างที่จะไม่หมุนโซลูชันการวิเคราะห์ปัจจัยเชิงสำรวจ? มันง่ายที่จะหาการสนทนาเปรียบเทียบการแก้ปัญหามุมฉากกับการแก้ปัญหาแบบเอียงและฉันคิดว่าฉันเข้าใจสิ่งทั้งหมดอย่างสมบูรณ์ นอกจากนี้จากสิ่งที่ฉันสามารถหาได้ในตำราเรียนผู้เขียนมักจะอธิบายวิธีการวิเคราะห์การวิเคราะห์ปัจจัยในการอธิบายวิธีการหมุนและตัวเลือกที่แตกต่างกัน สิ่งที่ฉันไม่ได้เห็นคือการสนทนาว่าจะหมุนในตอนแรกหรือไม่ ในฐานะโบนัสฉันขอขอบคุณเป็นพิเศษหากใคร ๆ ก็สามารถโต้เถียงกับการหมุนของประเภทใด ๆ ที่จะใช้ได้สำหรับหลายวิธีในการประเมินปัจจัย (เช่นวิธีส่วนประกอบหลักและวิธีโอกาสสูงสุด)

2
องศาอิสระใน lmerTest :: anova ถูกต้องหรือไม่? พวกเขาแตกต่างจาก RM-ANOVA มาก
ฉันกำลังวิเคราะห์ผลลัพธ์ของการทดสอบเวลาตอบสนองใน R ฉันใช้มาตรการ ANOVA ซ้ำหลายครั้ง (1 ปัจจัยภายในเรื่องที่มี 2 ระดับและ 1 ระหว่างปัจจัยหัวเรื่องกับ 2 ระดับ) ฉันวิ่งคล้ายรูปแบบผสมเชิงเส้นและผมอยากจะสรุปผลการ lmer lmerTest::anovaในรูปแบบของตารางโดยใช้การวิเคราะห์ความแปรปรวน อย่าเข้าใจฉันผิด: ฉันไม่ได้คาดหวังผลลัพธ์ที่เหมือนกัน แต่ฉันไม่แน่ใจเกี่ยวกับระดับของเสรีภาพในlmerTest::anovaผลลัพธ์ สำหรับฉันแล้วมันค่อนข้างสะท้อนถึง ANOVA ที่ไม่มีการรวมกลุ่มวิชา ผมตระหนักถึงความจริงที่ว่าการคำนวณองศาอิสระในรูปแบบผสมผลเป็นเรื่องยุ่งยาก แต่lmerTest::anovaเป็นที่กล่าวถึงเป็นวิธีแก้ปัญหาที่เป็นไปได้ในการปรับปรุง?pvaluesหัวข้อ ( lme4แพคเกจ) การคำนวณนี้ถูกต้องหรือไม่ ผลลัพธ์ของการlmerTest::anovaสะท้อนรุ่นที่ระบุถูกต้องหรือไม่ ปรับปรุง:ฉันทำให้ความแตกต่างของแต่ละบุคคลมีขนาดใหญ่ขึ้น องศาความอิสระlmerTest::anovaนั้นแตกต่างจากโนวาแบบง่าย ๆ แต่ฉันก็ยังไม่แน่ใจว่าทำไมพวกเขาถึงมีขนาดใหญ่มากสำหรับปัจจัย / การโต้ตอบภายใน # mini example with ANT dataset from ez package library(ez); library(lme4); library(lmerTest) # repeated measures ANOVA …

1
การกระจายแบบใดที่มีค่าเอนโทรปีสูงสุดสำหรับค่าเบี่ยงเบนสัมบูรณ์ที่ทราบค่าเฉลี่ย?
ฉันอ่านการสนทนาเรื่อง Hacker Newsเกี่ยวกับการใช้ส่วนเบี่ยงเบนมาตรฐานตรงข้ามกับตัวชี้วัดอื่น ๆ เช่นค่าเบี่ยงเบนสัมบูรณ์แบบเฉลี่ย ดังนั้นถ้าเราทำตามหลักการของเอนโทรปีสูงสุดเราจะใช้การกระจายแบบไหนถ้าเรารู้ค่าเฉลี่ยของการแจกแจงและค่าเบี่ยงเบนสัมบูรณ์เฉลี่ยเท่านั้น หรือมีเหตุผลมากกว่าที่จะใช้ค่ามัธยฐานและค่าเบี่ยงเบนสัมบูรณ์เฉลี่ยจากค่ามัธยฐาน? ฉันพบกระดาษเอนโทรปีหลักการสูงสุดที่มีมาตรการเบี่ยงเบนทั่วไปโดย Grechuk, Molyboha และ Zabarankin ซึ่งดูเหมือนว่าจะมีข้อมูลที่ฉันอยากรู้ แต่มันใช้เวลาสักครู่ในการถอดรหัส

3
ข้อมูลความหลากหลายของการสำรวจชุมชนอเมริกันใหม่จะมีผลต่อระยะขอบของข้อผิดพลาดอย่างไร
ความเป็นมา: ปัจจุบันองค์กรของฉันเปรียบเทียบสถิติความหลากหลายของพนักงาน (เช่น% คนที่มีความพิการผู้หญิง% ทหารผ่านศึก%) กับความพร้อมของกำลังแรงงานทั้งหมดสำหรับกลุ่มเหล่านั้นจากการสำรวจชุมชนอเมริกัน (โครงการสำรวจโดยสำนักสำรวจสำมะโนประชากรของสหรัฐ) นี่คือมาตรฐานที่ไม่ถูกต้องเนื่องจากเรามีงานที่เฉพาะเจาะจงมากซึ่งมีข้อมูลประชากรแตกต่างจากกำลังแรงงานโดยรวม พูดเช่นว่าองค์กรของฉันส่วนใหญ่เป็นวิศวกร วิศวกรรมเป็นเพียงผู้หญิงประมาณ 20% ในรัฐของฉัน หากเราเปรียบเทียบตัวเองกับเกณฑ์มาตรฐานแรงงานโดยรวมซึ่งมีลักษณะเหมือนผู้หญิง 50% ก็ส่งผลให้เกิดความตื่นตระหนกว่า“ เรามีผู้หญิงเพียง 20% นี่เป็นหายนะ! เมื่อจริง 20% คือสิ่งที่เราควรคาดหวังเพราะนั่นคือลักษณะของแรงงาน เป้าหมายของฉัน: สิ่งที่ฉันต้องการจะทำคือใช้ข้อมูลอาชีพการสำรวจชุมชนชาวอเมริกัน (ตามหมวดหมู่ความหลากหลาย) และปรับน้ำหนักใหม่ตามองค์ประกอบของงานในธุรกิจของฉัน นี่คือชุดข้อมูลตัวอย่างสำหรับคนงานสังคมและบริการชุมชน ฉันต้องการเพิ่มรหัสงานเหล่านี้ไว้ด้วยกัน (เพราะทางม้าลายของเราคือกลุ่มงานไม่ใช่รหัสงานเฉพาะ) จากนั้นฉันต้องการให้น้ำหนักเกณฑ์มาตรฐานนั้นตามจำนวนคนที่เรามีในหมวดนั้น (เช่น 3,000 Social and พนักงานบริการชุมชน) จากนั้นฉันต้องการทำเช่นเดียวกันกับกลุ่มงานอื่น ๆ ทั้งหมดเพิ่มหมายเลขเหล่านั้นเข้าด้วยกันและหารด้วยจำนวนพนักงานทั้งหมดของเรา สิ่งนี้จะทำให้ฉันมีมาตรการวัดความหลากหลายใหม่อีกครั้ง (เช่นจาก 6% คนที่มีความพิการถึง 2% คนที่มีความพิการ) คำถามของฉัน: ฉันจะปรับระยะขอบของข้อผิดพลาดให้สอดคล้องกับเกณฑ์มาตรฐานสุดท้ายได้อย่างไร ฉันไม่มีชุดข้อมูลสำมะโนดิบ (ชัดเจน) แต่คุณสามารถดูระยะขอบของข้อผิดพลาดสำหรับแต่ละหมายเลขในลิงก์ที่ฉันให้ไว้โดยการสลับฟิลด์ "ประมาณ" เป็น …

2
ในการศึกษาระยะยาวฉันควรใส่นัยยะผลลัพธ์ Y ที่วัดได้ในเวลา 2 สำหรับบุคคลที่หลงหายไปจากการติดตาม?
ฉันมีมาตรการซ้ำ ๆ ที่ 2 ครั้งในกลุ่มตัวอย่าง มีคน 18k ในเวลา 1 และ 13k ในเวลา 2 (5,000 คนหายไปจากการติดตาม) ฉันต้องการถอยหลังผลลัพธ์ Y ที่วัดได้ในเวลา 2 (และผลลัพธ์ไม่สามารถวัดได้ในเวลา 1) ในชุดของตัวทำนาย X วัดในเวลาที่ 1 ตัวแปรทั้งหมดมีข้อมูลที่ขาดหายไปบางส่วน ส่วนใหญ่มันจะค่อนข้างสุ่มหรือความหายไปดูเหมือนจะอธิบายได้ดีจากข้อมูลที่สังเกต อย่างไรก็ตามการหายไปส่วนใหญ่ในผลลัพธ์ Y นั้นเกิดจากการติดตามผลที่สูญเสียไป ฉันจะใช้การใส่หลายครั้ง (R :: mice) และจะใช้ชุดข้อมูลแบบเต็มเพื่อใส่ค่าสำหรับ X แต่ฉันได้รับคำแนะนำที่ขัดแย้งกัน 2 ชิ้นเกี่ยวกับการใส่ความเห็นของ Y: 1) Impute Y จาก X และ V (V = ตัวแปรเสริมที่มีประโยชน์) …

4
แนวคิดแบบผสมและวิธีเบย์
ในรูปแบบผสมเราถือว่าผลกระทบแบบสุ่ม (พารามิเตอร์) เป็นตัวแปรสุ่มที่เป็นไปตามการแจกแจงปกติ มันดูคล้ายกับวิธีเบย์ซึ่งมีการสันนิษฐานว่าพารามิเตอร์ทั้งหมดเป็นแบบสุ่ม ดังนั้นแบบจำลองลักษณะพิเศษแบบสุ่มของกรณีพิเศษของวิธีการแบบเบย์?

2
มาตรการที่เหมาะสมในการค้นหาเมทริกซ์ความแปรปรวนร่วมที่เล็กที่สุด
ในหนังสือเรียนฉันกำลังอ่านว่าพวกเขาใช้ความแน่นอนเชิงบวก (กึ่งบวกแน่นอน) เพื่อเปรียบเทียบเมทริกซ์ความแปรปรวนร่วมสองตัว ความคิดที่ว่าถ้า- Bเป็น PD แล้วBมีขนาดเล็กกว่า แต่ฉันพยายามดิ้นรนเพื่อให้ได้สัญชาติญาณของความสัมพันธ์นี้?A - BA−BA-BBBBAAA มีเธรดที่คล้ายกันที่นี่: /math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices สัญชาตญาณในการใช้ความแตกต่างเพื่อเปรียบเทียบเมทริกซ์คืออะไร แม้ว่าคำตอบจะดี แต่พวกเขาไม่ได้พูดปรีชา นี่คือตัวอย่างที่ฉันรู้สึกสับสน: [ 1612129] - [ 1224][1612129]−[1224]\begin{equation} \begin{bmatrix} 16 & 12 \\ 12 & 9 \end{bmatrix} - \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \end{equation} ตอนนี้ที่นี่ดีเทอร์มีแนนต์ของความแตกต่างคือ -25 ดังนั้นความสัมพันธ์ไม่ได้เป็น pd หรือแม้กระทั่ง psd และเมทริกซ์แรกไม่มากกว่าครั้งแรก? ฉันแค่ต้องการเปรียบเทียบเมทริกซ์ความแปรปรวนร่วม 3 …

2
การอนุมานการถดถอยที่แข็งแกร่งและตัวประมาณแซนวิช
คุณช่วยยกตัวอย่างการใช้ตัวประมาณค่าแซนวิชเพื่อทำการอนุมานการถดถอยที่มีประสิทธิภาพได้หรือไม่? ฉันสามารถดูตัวอย่างใน?sandwichแต่ฉันไม่เข้าใจวิธีการที่เราสามารถไปจากlm(a ~ b, data)( R -coded) เพื่อการประมาณการและPsandwichคุ้มค่าที่เกิดจากรูปแบบการถดถอยโดยใช้เมทริกซ์ความแปรปรวนแปรปรวนส่งกลับโดยฟังก์ชั่น
10 r  regression  lm  sandwich 

3
การเปรียบเทียบแบบจำลองการถดถอยแบบโลจิสติกไบนารีที่ซ้อนกันเมื่อมีขนาดใหญ่
ที่ดีกว่าการถามคำถามของฉันฉันได้ให้บางส่วนของเอาท์พุทจากทั้งรุ่น 16 ตัวแปร ( fit) และรุ่น 17 ตัวแปร ( fit2) ด้านล่าง (ทุกตัวแปรในรูปแบบเหล่านี้เป็นอย่างต่อเนื่องที่แตกต่างระหว่างรุ่นเหล่านี้ก็คือfitไม่ได้ มีตัวแปร 17 (var17)): fit Model Likelihood Discrimination Rank Discrim. Ratio Test Indexes Indexes Obs 102849 LR chi2 13602.84 R2 0.173 C 0.703 0 69833 d.f. 17 g 1.150 Dxy 0.407 1 33016 Pr(> chi2) <0.0001 gr 3.160 gamma …

2
ทดสอบว่าผู้คนออกหรือลดการเดิมพันหลังจากมีการสูญเสียซ้ำ
ฉันมีข้อมูลเกี่ยวกับชุดของการชนะและแพ้การเดิมพันมากกว่า 5 รอบของการเดิมพันพร้อมการขัดสีหลังแต่ละรอบ ฉันใช้แผนผังการตัดสินใจดังต่อไปนี้เพื่อแสดงข้อมูล โหนไปทางด้านบนของแผนภูมิคือผู้ที่มีการเดิมพันชนะและที่ด้านล่างของแผนภูมิจะมีการสูญเสียเดิมพัน ฉันต้องการดู (a) การขัดสีที่แต่ละโหนด (b) การเปลี่ยนแปลงขนาดการเดิมพันเฉลี่ยที่แต่ละโหนด ฉันกำลังดูอัตราการขัดสีที่แต่ละโหนดจากโหนดก่อนหน้าและอัตราการรอดชีวิต (ใช้จำนวนคนที่คาดหวังในแต่ละโหนดถ้าความน่าจะเป็น 50%) ตัวอย่างเช่นหากความน่าจะเป็นคือ 50% ที่แต่ละโหนดจาก 1,000 ที่เริ่มต้นประมาณ 500 คนควรอยู่ในแต่ละโหนดที่สอง W และ L สมมติฐานคือ (a) อัตราการขัดสีสูงกว่าหลังจากสูญเสีย การเดิมพัน (b) หมายถึงขนาดการเดิมพันจะลดลงหลังจากผู้แพ้และเพิ่มขึ้นหลังจากผู้ชนะ ฉันแค่ต้องการทำสิ่งนี้ในบรรยากาศที่เรียบง่ายแบบ univariate ก่อน ฉันจะทดสอบ t-test เพื่อแสดงการเปลี่ยนแปลงของขนาดการเดิมพันเฉลี่ยจากโหนด WW เป็นโหนด WWW มีนัยสำคัญทางสถิติได้อย่างไรหากมีคน 50 คนออกไปแล้ว ฉันไม่แน่ใจว่านี่เป็นวิธีการที่ถูกต้อง: การเดิมพันแต่ละครั้งมีความเป็นอิสระ แต่ผู้คนต่างออกไปหลังจากผู้แพ้ดังนั้นตัวอย่างจะไม่ตรงกัน หากเป็นกรณีของชั้นเรียนเดียวกันที่ใช้ชุดการทดสอบแบบหนึ่งต่อเนื่องกันโดยไม่มีการเลื่อนออกไปฉันจะเข้าใจวิธีการทดสอบแบบทดสอบที่เหมาะสม แต่ฉันคิดว่านี่แตกต่างกันเล็กน้อย ฉันจะทำสิ่งนี้ได้อย่างไร นอกจากนี้หากผลลัพธ์มีการบิดเบือนจากลูกค้าจำนวนน้อยฉันจะลบ 5% แรกและ …

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.