สถิติและข้อมูลขนาดใหญ่

ฉันมีคำถามเกี่ยวกับโมเดลเชิงเส้นทั่วไป (GLM) ตัวแปรตามของฉัน (DV) นั้นต่อเนื่องและไม่ปกติ ดังนั้นฉันเข้าสู่ระบบเปลี่ยนมัน (ยังไม่ปกติ แต่ปรับปรุงมัน) ฉันต้องการเชื่อมโยง DV กับตัวแปรเด็ดขาดสองรายการและหนึ่งตัวแปรแปรปรวนต่อเนื่อง สำหรับสิ่งนี้ฉันต้องการดำเนินการ GLM (ฉันใช้ SPSS) แต่ฉันไม่แน่ใจว่าจะตัดสินใจเกี่ยวกับการกระจายและฟังก์ชั่นที่จะเลือกได้อย่างไร ฉันได้ทำการทดสอบแบบไม่มีพารามิเตอร์ของ Levene และฉันมีความแปรปรวนเหมือนกันดังนั้นฉันจึงอยากใช้การแจกแจงแบบปกติ ฉันได้อ่านว่าสำหรับการถดถอยเชิงเส้นข้อมูลไม่จำเป็นต้องเป็นปกติส่วนที่เหลือทำ ดังนั้นฉันได้พิมพ์ส่วนที่เหลือของเพียร์สันที่ได้มาตรฐานและค่าทำนายสำหรับตัวทำนายเชิงเส้นจากแต่ละ GLM แยกกัน (ฟังก์ชั่นประจำตัวปกติ GLM และฟังก์ชั่นบันทึกปกติ) ฉันได้ทำการทดสอบภาวะปกติ (ฮิสโตแกรมและชาปิโร - วิลค์) และวางแผนส่วนที่เหลือกับค่าที่คาดการณ์ไว้ (เพื่อตรวจสอบการสุ่มและความแปรปรวน) สำหรับทั้งสองแบบแยกกัน ส่วนที่เหลือจากฟังก์ชั่นตัวตนไม่ปกติ แต่ส่วนที่เหลือจากฟังก์ชั่นบันทึกเป็นเรื่องปกติ ฉันมีแนวโน้มที่จะเลือกปกติด้วยฟังก์ชั่นบันทึกการเชื่อมโยงเพราะเพียร์สันส่วนที่เหลือมีการกระจายตามปกติ ดังนั้นคำถามของฉันคือ: ฉันสามารถใช้การกระจายปกติ GLM กับฟังก์ชั่นบันทึกการเชื่อมโยงใน DV ที่ได้รับการแปลงบันทึกได้หรือไม่? การทดสอบความสม่ำเสมอของความแปรปรวนเพียงพอที่จะพิสูจน์การใช้การแจกแจงแบบปกติหรือไม่? ขั้นตอนการตรวจสอบส่วนที่เหลือถูกต้องหรือไม่เพื่อปรับการเลือกรุ่นฟังก์ชั่นลิงก์? รูปภาพของการกระจาย DV ทางด้านซ้ายและส่วนที่เหลือจาก GLM ปกติพร้อมฟังก์ชั่นบันทึกลิงค์ทางด้านขวา

10 normal-distribution  generalized-linear-model  data-transformation  residuals  histogram 

ความเป็นมา:ฉันถามผู้เข้าร่วมหลายร้อยคนในแบบสำรวจของฉันว่าพวกเขาสนใจในพื้นที่ที่เลือกไว้มากเพียงใด (โดยห้าจุด Likert มี 1 ตัวบ่งชี้ว่า "ไม่สนใจ" และ 5 ระบุว่า "สนใจ") จากนั้นฉันก็ลอง PCA ภาพด้านล่างเป็นการฉายภาพลงในองค์ประกอบหลักสองประการแรก สีที่ใช้สำหรับเพศและลูกศร PCA เป็นตัวแปรดั้งเดิม (เช่นความสนใจ) ฉันสังเกตว่า: จุด (ผู้ตอบแบบสอบถาม) ค่อนข้างแยกจากกันโดยองค์ประกอบที่สอง ไม่มีลูกศรชี้ไปทางซ้าย ลูกศรบางตัวสั้นกว่าลูกศรอื่นมาก ตัวแปรมีแนวโน้มที่จะสร้างกลุ่ม แต่ไม่ใช่การสังเกต ดูเหมือนว่าลูกศรชี้ลง (สำหรับผู้ชาย) ส่วนใหญ่เป็นความสนใจของผู้ชายและลูกศรชี้ขึ้นส่วนใหญ่เป็นความสนใจของผู้หญิง ลูกศรบางตัวชี้ไม่ขึ้นหรือลง คำถาม:วิธีการตีความความสัมพันธ์ระหว่างจุดอย่างถูกต้อง (ผู้ตอบแบบสอบถาม), สี (เพศ) และลูกศร (ตัวแปร) ได้อย่างไร? ข้อสรุปอื่น ๆ เกี่ยวกับผู้ตอบและความสนใจของพวกเขาสามารถขุดได้จากแผนนี้ ข้อมูลที่สามารถพบได้ที่นี่

10 pca  interpretation  survey  likert  biplot 

ฉันกำลังทบทวนแพคเกจ R OpenMx สำหรับการวิเคราะห์ทางระบาดวิทยาทางพันธุกรรมเพื่อเรียนรู้วิธีการระบุและเหมาะสมกับแบบจำลอง SEM ฉันยังใหม่กับสิ่งนี้ดังนั้นทนกับฉัน ฉันกำลังตัวอย่างต่อไปนี้ในหน้า 59 ของคู่มือการใช้งาน OpenMx ที่นี่พวกเขาวาดโมเดลแนวคิดต่อไปนี้: และในการระบุเส้นทางพวกเขาตั้งค่าน้ำหนักของโหนด "หนึ่ง" แฝงไปยังโหนด bmi "T1" และ "T2" ที่ประจักษ์เป็น 0.6 เพราะ: เส้นทางหลักที่น่าสนใจคือจากตัวแปรแฝงแต่ละตัวไปยังตัวแปรที่สังเกตได้ สิ่งเหล่านี้ได้รับการประเมิน (ซึ่งทั้งหมดถูกตั้งค่าไว้ฟรี) รับค่าเริ่มต้น 0.6 และป้ายกำกับที่เหมาะสม # path coefficients for twin 1 mxPath( from=c("A1","C1","E1"), to="bmi1", arrows=1, free=TRUE, values=0.6, label=c("a","c","e") ), # path coefficients for twin 2 mxPath( from=c("A2","C2","E2"), to="bmi2", …

10 correlation  sem  causality  paired-data 

มันเป็นไปได้ไหมที่จะทำการถดถอยโลจิสติกแบบไบนารีหลาย ๆ แบบแทนที่จะทำการถดถอยแบบหลายส่วน? จากคำถามนี้: การถดถอยโลจิสติก Multinomial เทียบกับการถดถอยโลจิสติกไบนารีหนึ่งส่วนที่เหลือฉันเห็นว่าการถดถอย Multinomial อาจมีข้อผิดพลาดมาตรฐานที่ต่ำกว่า อย่างไรก็ตามแพคเกจที่ฉันต้องการใช้ยังไม่ได้รับการสรุปในการถดถอยหลายระดับ ( ncvreg: http://cran.r-project.org/web/packages/ncvreg/ncvreg.pdf ) และดังนั้นฉันสงสัยว่าฉันสามารถทำได้ การถดถอยโลจิสติกไบนารีหลายรายการแทน

10 r  logistic  multinomial 

ฉันมีชุดข้อมูลสามชุด X, Y และ Z ชุดข้อมูลแต่ละชุดจะกำหนดความถี่ของเหตุการณ์ที่เกิดขึ้น ตัวอย่างเช่น: ชุดข้อมูล X: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0 และอื่น ๆ .. ชุดข้อมูล Y: E1: 2, E2: 3, E3: 7, E4: 6, E5: 0, E6: 0 และอื่น ๆ .. ชุดข้อมูล Z: E1: 0, E2: 4, E3: 8, E4: …

10 kullback-leibler 

คำถามของฉันมีความสัมพันธ์อย่างใกล้ชิดกับการโพสต์ก่อนหน้านี้ ระบุข้อผิดพลาด () ระยะในการวัดซ้ำ ANOVA ในการวิจัย อย่างไรก็ตามฉันต้องการรับข้อมูลเชิงลึกเพิ่มเติมเกี่ยวกับวิธีกำหนดคำที่ผิดพลาด สมมติว่าฉันมี ANOVA ซ้ำสองทางปัจจัยระหว่างกลุ่มผลคือการรักษา (ควบคุมเทียบกับยาหลอก) ในขณะที่เวลาคือผลกระทบภายในกลุ่มที่วัดซ้ำ ๆ กันมากกว่า 4 ครั้ง (T1 ~ T4) ID ผู้ป่วยจะถูกบันทึกเป็นหัวเรื่อง ที่นี่ฉันยืมข้อมูลจากตัวอย่างจากบทช่วยสอนในhttp://gjkerns.github.io/R/2012/01/20/power-sample-size.html ดังนั้นข้อมูลจะมีลักษณะเช่นนี้ Time Subject Method NDI 0min 1 Treat 51.01078 15min 1 Treat 47.12314 48hrs 1 Treat 26.63542 96hrs 1 Treat 20.78196 0min 2 Treat 42.61345 15min 2 Treat …

10 r  anova  repeated-measures 

effect-sizeแท็กไม่มีวิกิพีเดีย หน้าวิกิพีเดียเกี่ยวกับขนาดผลที่ไม่ได้ให้ความหมายทั่วไปที่แม่นยำ และฉันไม่เคยเห็นคำจำกัดความทั่วไปของขนาดเอฟเฟกต์ อย่างไรก็ตามเมื่อมีการอ่านการอภิปรายบางอย่างเช่นนี้ผมรู้สึกว่าคนที่มีในใจความคิดทั่วไปของขนาดผลในบริบทของการทดสอบทางสถิติ ฉันได้เห็นแล้วว่ามาตรฐานเฉลี่ยจะเรียกว่าเป็นขนาดของผลสำหรับรุ่นปกติN ( μ , σ 2 )เช่นเดียวกับความแตกต่างของค่าเฉลี่ยมาตรฐานθ = (θ = μ / σθ=μ/σ\theta=\mu/\sigmaยังไม่มีข้อความ(μ,σ2)N(μ,σ2){\cal N}(\mu,\sigma^2)สำหรับโมเดล "Gaussian หมายถึง" แต่แล้วนิยามทั่วไปล่ะ? คุณสมบัติที่น่าสนใจที่ใช้ร่วมกันโดยทั้งสองตัวอย่างข้างต้นคือเท่าที่ฉันสามารถมองเห็น พลังงานขึ้นอยู่กับพารามิเตอร์เฉพาะผ่าน θและเป็นฟังก์ชั่นที่เพิ่มขึ้นของ | θ | เมื่อเราพิจารณาการทดสอบตามปกติสำหรับ H 0 : { μ = 0 }ในกรณีแรกและ H 0 : { μ 1 = μ 2 }ในกรณีที่สอง θ=(μ1−μ2)/σθ=(μ1−μ2)/σ\theta=(\mu_1-\mu_2)/\sigmaθθ\theta| θ ||θ||\theta|H0: { …

10 hypothesis-testing  effect-size  power 

ปิด คำถามนี้ต้องการรายละเอียดหรือความคมชัด ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ เพิ่มรายละเอียดและชี้แจงปัญหาโดยแก้ไขโพสต์นี้ ปิดให้บริการใน2 ปีที่ผ่านมา ฉันอ่านLuce (1959) จากนั้นฉันก็พบคำสั่งนี้: เมื่อคนเลือกระหว่างทางเลือกบ่อยครั้งที่การตอบสนองของพวกเขาดูเหมือนจะถูกควบคุมโดยความน่าจะเป็นซึ่งถูกกำหนดไว้ในชุดตัวเลือก แต่ทฤษฎีความน่าจะเป็นทั่วไปที่มีนิยามมาตรฐานของความน่าจะเป็นแบบมีเงื่อนไขนั้นดูเหมือนจะไม่เป็นสิ่งที่ต้องการ ตัวอย่างแสดงให้เห็นถึงความยากลำบาก เมื่อตัดสินใจว่าจะเดินทางจากบ้านไปยังเมืองอื่นตัวเลือกของคุณอาจเป็นเครื่องบิน (a) รถบัส (b) หรือรถยนต์ (c) ให้ A, B, C แสดงถึงสภาวะที่ไม่แน่นอนของธรรมชาติที่เกี่ยวข้องกับรูปแบบของการเดินทาง โปรดทราบว่าหากมีคนเลือกความไม่แน่นอนทั้งหมดของ A และ B อยู่เนื่องจากเครื่องบินบินและรถเมล์วิ่งไม่ว่าคุณจะอยู่บนเครื่องบินหรือไม่ก็ตาม อย่างไรก็ตามหากคุณเลือก a หรือ b ดังนั้นรถของคุณจะยังคงอยู่ในโรงรถและชุด C จะถูกเปลี่ยนอย่างรุนแรงเมื่อรถขับเคลื่อน สัจพจน์ตัวเลือกของบทที่ 1 ได้รับการแนะนำเป็นความพยายามครั้งแรกในการสร้างทฤษฎีความน่าจะเป็นแบบเลือกได้โดยผ่านสมมติฐานตัวอย่างพื้นที่คงที่ที่เป็นสากล แหล่งที่มา: http://www.scholarpedia.org/article/Luce's_choice_axiom สำหรับผมน่าจะเป็นตัวชี้วัดที่มีการกำหนดไว้กับแฝดพื้นที่ตัวอย่างเป็นพีชคณิตซิกมาFและในที่สุดก็เป็นมาตรการPΩΩ\OmegaFF\mathcal{F}PPP ด้วยความเคารพต่อตัวอย่างที่กล่าวมาแล้วสิ่งที่ดูเหมือนจะเป็นปัญหาถ้าฉันกำหนด: Ω={bus,car,airplane}Ω={bus,car,airplane}\Omega = \{ \text{bus}, \text{car}, \text{airplane} \} …

10 probability  logistic  self-study  conditional-probability  multinomial 

ว่าฉันพอดีกับการถดถอยหลายตัวแปร p อธิบาย การทดสอบ t จะช่วยให้ฉันตรวจสอบว่าหนึ่งในนั้นมีความสำคัญ ( ) ฉันสามารถทำการทดสอบ F บางส่วนเพื่อตรวจสอบว่าเซตย่อยบางชุดมีความสำคัญหรือไม่ ( )H 0 : β ฉัน = β J = . . = β k = 0H0: βผม= 0H0:βi=0H_0: \beta_i = 0H0: βผม= βJ= . . . = βk= 0H0:βi=βj=...=βk=0H_0: \beta_i=\beta_j=...=\beta_k=0 สิ่งที่ฉันมักจะเห็นก็คือบางคนได้รับ 5 p-values ​​จาก 5 t-tests (สมมติว่าพวกเขามี covariates …

10 multiple-regression  multiple-comparisons 

ฉันกำลังอ่านบทการถดถอยหลายบทของการวิเคราะห์ข้อมูลและกราฟิกโดยใช้ R: วิธีการแบบอิงตัวอย่างและสับสนเล็กน้อยที่พบว่ามันแนะนำให้ตรวจสอบความสัมพันธ์เชิงเส้นระหว่างตัวแปรอธิบาย (ใช้แบบกระจาย) และในกรณีที่เกิดขึ้น ' t ใด ๆ เปลี่ยนพวกเขาจึงไม่กลายเป็นที่เกี่ยวข้องกับเส้นตรง นี่คือข้อความที่ตัดตอนมาบางส่วนของนี้: 6.3 กลยุทธ์สำหรับการปรับโมเดลการถดถอยหลายแบบ ( ... ) ตรวจสอบ scatterplot matrix ที่เกี่ยวข้องกับตัวแปรอธิบายทั้งหมด (รวมถึงตัวแปรตามคือ ณ ตอนนี้ทางเลือก ) มองหาหลักฐานของการไม่เป็นเชิงเส้นในแปลงของตัวแปรอธิบายซึ่งกันและกัน ( ... ) จุดนี้จะระบุกลยุทธ์รูปแบบการค้นหา - แสวงหารูปแบบซึ่งในความสัมพันธ์ระหว่างตัวแปรถดถอยอธิบายตาม "ง่าย" รูปแบบเชิงเส้น ดังนั้นถ้าบางแปลงคู่แสดงหลักฐานของการไม่เชิงเส้นพิจารณาการใช้ของการเปลี่ยนแปลง (s) เพื่อให้มากขึ้นเกือบเชิงเส้นความสัมพันธ์ แม้ว่ามันอาจจะไม่สามารถพิสูจน์ได้ว่าเป็นไปได้ตามกลยุทธ์นี้เพื่อสร้างแบบจำลองความสัมพันธ์การถดถอยอย่างเพียงพอ แต่นี่เป็นกลยุทธ์ที่ดีสำหรับเหตุผลที่ให้ไว้ด้านล่างเพื่อติดตามในการเริ่มการค้นหา ( ... ) หากความสัมพันธ์ระหว่างตัวแปรอธิบายเป็นเส้นตรงประมาณบางทีหลังจากการเปลี่ยนแปลงมันก็เป็นไปได้ที่จะตีความแปลงของตัวแปรทำนายกับตัวแปรตอบสนองด้วยความมั่นใจ ( ... ) อาจไม่สามารถค้นหาการเปลี่ยนแปลงของตัวแปรอธิบายอย่างน้อยหนึ่งตัวที่รับรองความสัมพันธ์ (คู่) ที่แสดงในพาเนลปรากฏเป็นเส้นตรง สิ่งนี้สามารถสร้างปัญหาได้ทั้งสำหรับการตีความแผนการวินิจฉัยสำหรับสมการการถดถอยที่เหมาะสมและการตีความสัมประสิทธิ์ในสมการที่พอดี ดู …

10 multiple-regression  multicollinearity 

ฉันกำลังถดถอยเชิงเส้นตรงที่ตัวแปรตามเป็นอัตราส่วนที่สามารถอยู่ในช่วงตั้งแต่ 0.01 ถึง 100 มันจะโอเคไหมที่จะใช้บันทึกของตัวแปรตามและการถดถอยของมัน? ฉันกำลังจับคู่ผลการศึกษาและนั่นคือสิ่งที่พวกเขาทำ อะไรคือความแตกต่างของการบันทึกเทียบกับการใช้อัตราส่วนตามที่เป็นอยู่?

10 regression 

ฉันต้องเปรียบเทียบความถดถอยสองจุดที่: $ y_1 ~ a + b_1x y_2 ~ a + b_2x $ ฉันจะเปรียบเทียบ b1 และ b2 ได้อย่างไร หรือในภาษาของตัวอย่างเฉพาะของฉันในหนูฉันต้องการเปรียบเทียบ antero-posterior diameter ~ a + b1 * humeral length de naso-occipital length ~ a + b2 * humeral length

10 regression  regression-coefficients 

ฉันเพิ่งเริ่มเรียนรู้เกี่ยวกับโมเดลเชิงเส้นผสมแบบทั่วไปและใช้ R เพื่อสำรวจความแตกต่างที่ทำให้ปฏิบัติต่อการเป็นสมาชิกกลุ่มเป็นลักษณะพิเศษแบบคงที่หรือแบบสุ่ม โดยเฉพาะฉันกำลังดูชุดข้อมูลตัวอย่างที่กล่าวถึงที่นี่: http://www.ats.ucla.edu/stat/mult_pkg/glmm.htm http://www.ats.ucla.edu/stat/r/dae/melogit.htm ดังที่อธิบายไว้ในบทช่วยสอนนี้ผลกระทบของ Doctor ID นั้นสามารถมองเห็นได้และฉันคาดหวังว่ารูปแบบผสมกับการสกัดแบบสุ่มเพื่อให้ได้ผลลัพธ์ที่ดีขึ้น อย่างไรก็ตามการเปรียบเทียบค่า AIC สำหรับสองวิธีแนะนำว่ารุ่นนี้แย่กว่า: > require(lme4) ; hdp = read.csv("http://www.ats.ucla.edu/stat/data/hdp.csv") > hdp$DID = factor(hdp$DID) ; hdp$Married = factor(hdp$Married) > GLM = glm(remission~Age+Married+IL6+DID,data=hdp,family=binomial);summary(GLM) Call: glm(formula = remission ~ Age + Married + IL6 + DID, family = binomial, data = hdp) Deviance …

10 r  random-effects-model  glmm 

อะไรคือความสัมพันธ์และความแตกต่างระหว่างการอนุมานเชิงสาเหตุและการทำนาย (ทั้งการจำแนกและการถดถอย)? ในบริบทการทำนายเรามีตัวแปรตัวทำนาย / อินพุตและตัวแปรตอบกลับ / เอาต์พุต นั่นหมายความว่ามีความสัมพันธ์เชิงสาเหตุระหว่างตัวแปรอินพุตและเอาต์พุตหรือไม่ ดังนั้นการทำนายเป็นของการอนุมานสาเหตุหรือไม่? ถ้าฉันเข้าใจถูกต้องการอนุมานเชิงสาเหตุจะพิจารณาการแจกแจงแบบมีเงื่อนไขของตัวแปรสุ่มหนึ่งตัวที่ให้ตัวแปรสุ่มอีกตัวหนึ่งและมักจะใช้ตัวแบบกราฟิกเพื่อแสดงความเป็นอิสระแบบมีเงื่อนไขระหว่างตัวแปรสุ่ม ดังนั้นการอนุมานเชิงสาเหตุในแง่นี้ไม่ได้คาดการณ์ไว้ใช่ไหม

10 prediction  causality  definition 

R glm และ glmnet ใช้อัลกอริธึมที่แตกต่างกัน ฉันสังเกตเห็นความแตกต่างเล็ก ๆ น้อย ๆ ระหว่างค่าสัมประสิทธิ์โดยประมาณเมื่อฉันใช้ทั้งคู่ ฉันสนใจเมื่อคนหนึ่งมีความแม่นยำมากกว่าคนอื่นและเวลาที่จะแก้ไข / แลกเปลี่ยนความแม่นยำ โดยเฉพาะฉันหมายถึงกรณีที่หนึ่งชุดแลมบ์ดา = 0 ใน glmnet st มันประมาณเช่นเดียวกับ glm

10 r  generalized-linear-model  glmnet