สถิติและข้อมูลขนาดใหญ่

มันมักจะระบุว่าสแควร์ของความสัมพันธ์ตัวอย่างเทียบเท่ากับสัมประสิทธิ์การตัดสินใจสำหรับการถดถอยเชิงเส้นอย่างง่าย ฉันไม่สามารถแสดงให้เห็นถึงสิ่งนี้ได้ด้วยตนเองและขอขอบคุณที่พิสูจน์ความจริงทั้งหมดนี้R 2r2r2r^2R2R2R^2

10 regression  correlation 

บริบท: ฉันกำลังพัฒนาระบบที่วิเคราะห์ข้อมูลทางคลินิกเพื่อกรองข้อมูลที่ไม่น่าเชื่อที่อาจเป็นตัวพิมพ์ผิด สิ่งที่ฉันทำจนถึง: ในการหาปริมาณที่เป็นไปได้ความพยายามของฉันคือการทำให้ข้อมูลเป็นปกติแล้วคำนวณค่าความน่าเชื่อถือสำหรับจุด p ตามระยะทางไปยังจุดข้อมูลที่ทราบในชุด D (= ชุดฝึกอบรม): plausibility(p)=∑q∈DGauss(distance(p,q))plausibility(p)=∑q∈DGauss(distance(p,q))\text{plausibility}(p)=\sum_{q\in D}\text{Gauss}(\text{distance}(p,q)) ด้วยการหาปริมาณนั้นฉันสามารถเลือกเกณฑ์ที่แยกข้อมูลที่เป็นไปได้จากข้อมูลที่ไม่น่าเชื่อ ฉันใช้ python / numpy ปัญหาของฉัน: อัลกอริทึมนี้ไม่สามารถตรวจพบมิติอิสระ เป็นการดีที่ฉันสามารถใส่ทุกสิ่งที่ฉันรู้เกี่ยวกับบันทึกลงในอัลกอริทึมและปล่อยให้มันค้นพบด้วยตัวเองว่ามิติ X ไม่มีผลต่อความน่าเชื่อถือของบันทึก อัลกอริทึมไม่ทำงานสำหรับค่าที่ไม่ต่อเนื่องเช่นบูลีนหรืออินพุตที่เลือก พวกเขาสามารถแมปกับค่าต่อเนื่อง แต่มันเป็นเคาน์เตอร์ที่ใช้งานง่ายว่า Select 1 ใกล้กับ Select 2 มากกว่า to Select 3 คำถาม: ฉันควรมองหาอัลกอริธึมประเภทใดสำหรับงานนี้ ดูเหมือนว่าจะมีตัวเลือกมากมายรวมถึงวิธีที่อยู่ใกล้เคียงที่สุดการจัดกลุ่มตามแนวทางและสถิติ นอกจากนี้ฉันมีปัญหาในการค้นหาเอกสารที่เกี่ยวข้องกับการตรวจจับความผิดปกติของความซับซ้อนนี้ คำแนะนำใด ๆ ที่ชื่นชมอย่างมาก [แก้ไข] ตัวอย่าง: สมมติว่าข้อมูลประกอบด้วยความสูงของบุคคลน้ำหนักของบุคคลและการประทับเวลา - ดังนั้นจึงเป็นข้อมูล 3D น้ำหนักและส่วนสูงมีความสัมพันธ์กัน แต่การประทับเวลามีความเป็นอิสระอย่างสมบูรณ์ หากฉันพิจารณาระยะทางแบบยุคลิดฉันจะต้องเลือกขีด จำกัด …

10 machine-learning  multivariate-analysis  feature-selection  algorithms  outliers 

ฉันกำลังเปรียบเทียบอุปกรณ์ควบคุมอุณหภูมิสองอย่างที่ออกแบบมาเพื่อรักษาอุณหภูมิของร่างกายที่ 37 องศาในผู้ป่วยที่ได้รับยาสลบ อุปกรณ์ถูกติดตั้งกับผู้ป่วย 500 คนก่อตัวเป็นสองกลุ่ม กลุ่ม A (ผู้ป่วย 400 ราย) - อุปกรณ์ 1, กลุ่ม B (ผู้ป่วย 100 ราย) - อุปกรณ์ 2 ผู้ป่วยแต่ละรายมีการวัดอุณหภูมิของพวกเขาทุกๆ 36 ชั่วโมงเป็นเวลา 36 ชั่วโมงให้ข้อมูล 18,000 จุดกับทั้งสองกลุ่ม ฉันต้องตรวจสอบว่าอุปกรณ์ใดควบคุมอุณหภูมิร่างกายของผู้ป่วยอย่างแม่นยำมากขึ้นในช่วง 36 ชั่วโมง ฉันได้สร้างกราฟเส้นที่เข้าร่วมกับค่ามัธยฐาน ณ จุดแต่ละครั้งด้วยบาร์ควอไทล์และดูเหมือนว่าจะมีความแตกต่าง ฉันควรวิเคราะห์ข้อมูลเพื่อพิสูจน์ความแตกต่างทางสถิติอย่างไร

10 statistical-significance  repeated-measures  variance 

Let XXXจะกระจายใด ๆ กับการกำหนดค่าเฉลี่ยμμ\muและส่วนเบี่ยงเบนมาตรฐาน\σσ\sigmaทฤษฎีขีด จำกัด กลางบอกว่า n−−√X¯−μσnX¯−μσ \sqrt{n}\frac{\bar{X} - \mu}{\sigma} ลู่เข้าสู่การแจกแจงแบบปกติ ถ้าเราแทนที่σσ\sigmaด้วยค่าเบี่ยงเบนมาตรฐานตัวอย่างSSSมีทฤษฎีที่ระบุว่า n−−√X¯−μSnX¯−μS \sqrt{n}\frac{\bar{X} - \mu}{S} ลู่เข้าหากันเพื่อการกระจายตัวหรือไม่? ตั้งแต่ขนาดใหญ่nnnการแจกแจงแบบ t ใกล้ถึงระดับปกติทฤษฏีถ้ามีอยู่อาจระบุว่าขีด จำกัด เป็นการแจกแจงแบบปกติมาตรฐาน ดังนั้นฉันจึงเห็นว่าการแจกแจงแบบทีไม่มีประโยชน์อย่างมาก - พวกมันมีประโยชน์เฉพาะเมื่อXXXเป็นปกติโดยประมาณ เป็นกรณีนี้หรือไม่? หากเป็นไปได้คุณจะระบุการอ้างอิงที่มีหลักฐานของ CLT นี้เมื่อσσ\sigmaถูกแทนที่โดยSSSหรือไม่ การอ้างอิงเช่นนี้ควรใช้แนวคิดทฤษฎีการวัด แต่จะมีอะไรดีสำหรับฉัน ณ จุดนี้

10 distributions  normal-distribution  convergence  central-limit-theorem  t-distribution 

ฉันมีแบบจำลองการเอาชีวิตรอดกับผู้ป่วยที่ซ้อนอยู่ในโรงพยาบาลซึ่งรวมถึงผลกระทบแบบสุ่มสำหรับโรงพยาบาล เอฟเฟกต์แบบสุ่มคือการแจกแจงแกมม่าและฉันพยายามรายงาน 'ความเกี่ยวข้อง' ของคำนี้ในระดับที่เข้าใจได้ง่าย ฉันได้พบข้อมูลอ้างอิงต่อไปนี้ซึ่งใช้อัตราส่วนค่ามัธยฐานอันตราย (bit เช่น Median Odds Ratio) และคำนวณค่านี้ Bengtsson T, Dribe M: วิธีการทางประวัติศาสตร์ 43:15, 2010 อย่างไรก็ตามตอนนี้ฉันต้องการรายงานความไม่แน่นอนที่เกี่ยวข้องกับการประเมินนี้โดยใช้ bootstrap ข้อมูลนี้เป็นข้อมูลการอยู่รอดและด้วยเหตุนี้จึงมีการสังเกตหลายครั้งต่อผู้ป่วยและผู้ป่วยหลายรายต่อโรงพยาบาล ดูเหมือนชัดเจนว่าฉันต้องจัดกลุ่มการสังเกตผู้ป่วยเมื่อทำการสุ่มตัวอย่างใหม่ แต่ฉันไม่รู้ว่าฉันควรจัดกลุ่มโรงพยาบาลด้วยหรือไม่ ฉันสงสัยว่าคำตอบนั้นขึ้นอยู่กับพารามิเตอร์ที่น่าสนใจหรือไม่และจะแตกต่างกันอย่างไรหากเป้าหมายเป็นสิ่งที่เกี่ยวข้องในระดับผู้ป่วยมากกว่าระดับโรงพยาบาล ฉันระบุรหัส stata ด้านล่างในกรณีที่ช่วยได้ cap program drop est_mhr program define est_mhr, rclass stcox patient_var1 patient_var2 /// , shared(hospital) /// noshow local twoinvtheta2 = 2 / (e(theta)^2) local …

10 stata  bootstrap  multilevel-analysis  resampling  frailty 

คำถามของฉันเกี่ยวกับการจำลองจำนวนที่ต้องการสำหรับวิธีการวิเคราะห์ Monte Carlo เท่าที่ฉันเห็นจำนวนการจำลองที่ต้องการสำหรับข้อผิดพลาดเปอร์เซ็นต์ที่อนุญาต (เช่น 5) คือ EEEn = { 100 ⋅ zค⋅ std ( x )E⋅ เฉลี่ย( x )}2,n={100⋅Zค⋅มาตรฐาน(x)E⋅ค่าเฉลี่ย(x)}2, n = \left\{\frac{100 \cdot z_c \cdot \text{std}(x)}{E \cdot \text{mean}(x)} \right\}^2 , โดยที่เป็นค่าเบี่ยงเบนมาตรฐานของการสุ่มตัวอย่างที่เกิดขึ้นและคือสัมประสิทธิ์ระดับความเชื่อมั่น (เช่น 95% คือ 1.96) ดังนั้นด้วยวิธีนี้จึงเป็นไปได้ที่จะตรวจสอบว่าค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานของการจำลองแสดงถึงค่าเฉลี่ยจริงและค่าเบี่ยงเบนมาตรฐานที่ระดับความเชื่อมั่น 95%มาตรฐาน( x )มาตรฐาน(x)\text{std}(x)ZคZคz_cnnn ในกรณีของฉันฉันใช้ simualtion 7500 ครั้งและคำนวณหาค่าเฉลี่ยเคลื่อนที่และค่าเบี่ยงเบนมาตรฐานสำหรับแต่ละชุด 100 ตัวอย่างจากการจำลอง 7500 จำนวนการจำลองที่ต้องการที่ฉันได้รับน้อยกว่า 100 เสมอ …

10 standard-deviation  monte-carlo  power-analysis 

มีการสันนิษฐานว่าเป็นเรื่องปกติเมื่อพิจารณารูปแบบของ OLS และนั่นคือข้อผิดพลาดที่ได้รับการกระจายตามปกติ ฉันเรียกดูผ่านการตรวจสอบข้ามและดูเหมือนว่า Y และ X ไม่จำเป็นต้องเป็นปกติเพื่อให้ข้อผิดพลาดเป็นปกติ คำถามของฉันคือสาเหตุที่เมื่อเรามีข้อผิดพลาดที่ไม่ได้กระจายทั่วไปความถูกต้องของข้อความสำคัญของเราถูกบุกรุก ทำไมช่วงความมั่นใจจะกว้างหรือแคบเกินไป

10 regression  statistical-significance  assumptions  normality-assumption 

ทำไมการวัดซ้ำ ANOVA จึงถือว่าเป็นทรงกลม? โดยความกลมกลืนฉันหมายถึงการสันนิษฐานว่าความแปรปรวนของความแตกต่างของจำนวนคู่ระหว่างกลุ่มควรจะเท่ากัน โดยเฉพาะอย่างยิ่งฉันไม่เข้าใจว่าทำไมสิ่งนี้จึงควรเป็นข้อสันนิษฐานและไม่ใช่ว่าความแปรปรวนของกลุ่มที่สังเกตได้นั้นเหมือนกัน

10 anova  repeated-measures  assumptions  sphericity 

ผลลัพธ์ของสูตรพยากรณ์ Spearman-Brown ได้รับผลกระทบอย่างไรจากการมีคำถามทดสอบที่แตกต่างกันของความยากลำบากหรือผู้ให้คะแนนที่ง่ายหรือยาก มีข้อความหนึ่งที่กล่าวว่า SB ได้รับผลกระทบ แต่ไม่ได้ให้รายละเอียด (ดูใบเสนอราคาด้านล่าง) Guion, R. M (2011) การประเมินการวัดและการทำนายสำหรับการตัดสินใจของบุคลากรรุ่นที่ 2 หน้า 477 "ความน่าเชื่อถือสามารถเพิ่มขึ้นได้โดยการรวมผู้ประเมินโดยใช้สมการ Spearman-Brown ... หากความน่าเชื่อถือของการจัดอันดับครั้งเดียวคือ 0.50 ความน่าเชื่อถือของการจัดอันดับแบบขนานสองสี่หรือหกจะอยู่ที่ประมาณ. 67, .80 และ. 86 ตามลำดับ "(Houston, Raymond, & Svec, 1991, p. 409) ฉันชอบใบเสนอราคานี้เนื่องจากคำโดยประมาณยอมรับว่าการประมาณการทางสถิติเป็นคำสั่ง "ตามค่าเฉลี่ย" ของสิ่งที่คาดว่าจะเกิดขึ้นหากทุกอย่างเป็นไปตามที่คาดการณ์ไว้ นอกเหนือจากนั้นคำผ่าตัดก็ขนาน คะแนนเฉลี่ย (หรือใช้ Spearman-Brown) หากผู้ประเมินหนึ่งรายตัวอย่างเช่นผ่อนปรนอย่างเป็นระบบเพียงไม่เหมาะสมกับสมมติฐาน ถ้าเรียงความแต่ละคนให้คะแนนโดยผู้ประเมินสองคนอีกคนหนึ่งจะผ่อนปรนมากกว่าอีกคนหนึ่งปัญหาดังกล่าวคือการใช้การทดสอบแบบปรนัยสองทางเลือกของความยากลำบากไม่เท่ากัน คะแนนที่ได้จากแบบทดสอบที่แตกต่างกัน ดังนั้นจึงเป็นการผสมกันระหว่างผู้อ่อนโยนและผู้ประเมินยาก ความน่าเชื่อถือของการจัดอันดับพูลถูกประเมินอย่างไม่ถูกต้องโดยสมการ Spearman-Brown ของทฤษฎีการทดสอบแบบดั้งเดิม เรื่องนั้นเลวร้ายยิ่งถ้าผู้พิพากษาแต่ละคนกำหนดโครงสร้างต่างกันเล็กน้อย "

10 reliability  psychometrics 

ฉันใช้สถิติ GAP เพื่อประเมิน k กลุ่มใน R อย่างไรก็ตามฉันไม่แน่ใจว่าฉันตีความได้ดีหรือไม่ จากพล็อตข้างต้นฉันคิดว่าฉันควรใช้ 3 กลุ่ม จากพล็อตที่สองฉันควรเลือก 6 กลุ่ม การตีความสถิติ GAP ถูกต้องหรือไม่ ฉันจะขอบคุณสำหรับคำอธิบายใด ๆ

10 clustering 

ฉันมีประสบการณ์เกี่ยวกับการสร้างแบบจำลองอนุกรมเวลาในรูปแบบของ ARIMA แบบง่าย ๆ เป็นต้น ตอนนี้ฉันมีข้อมูลบางส่วนที่แสดงการจัดกลุ่มความผันผวนและฉันอยากจะลองเริ่มต้นด้วยการปรับโมเดล GARCH (1,1) ให้พอดีกับข้อมูล ฉันมีชุดข้อมูลและตัวแปรหลายอย่างที่ฉันคิดว่ามีอิทธิพลต่อมัน ดังนั้นในแง่การถดถอยพื้นฐานดูเหมือนว่า: Yเสื้อ= α + β1xt 1+ β2xt 2+ ϵเสื้อ.yt=α+β1xt1+β2xt2+ϵt. y_t = \alpha + \beta_1 x_{t1} + \beta_2 x_{t2} + \epsilon_t . แต่ฉันกำลังสูญเสียอย่างสมบูรณ์ในวิธีการนำสิ่งนี้ไปใช้ในแบบจำลอง GARCH (1,1)? ฉันดูที่rugarch- แพ็คเกจและfGarch- แพ็คเกจRแต่ฉันไม่สามารถทำอะไรที่มีความหมายนอกเหนือจากตัวอย่างที่พบได้บนอินเทอร์เน็ต

10 r  regression  garch 

ในการคำนวณ VIF ตามปกติสำหรับการถดถอยเชิงเส้นแต่ละตัวแปรอิสระ / อธิบายจะถือว่าเป็นตัวแปรตามในการถดถอยกำลังสองน้อยที่สุดธรรมดา กล่าวคือXJXJX_j XJ= β0+ ∑i = 1 , ฉัน≠ jnβผมXผมXJ=β0+Σผม=1,ผม≠JnβผมXผม X_j = \beta_0 + \sum_{i=1, i \neq j}^n \beta_i X_i ค่าจะถูกเก็บไว้สำหรับแต่ละการถดถอยและ VIF ถูกกำหนดโดยR2R2R^2nnn VผมFJ= 11 - R2JVผมFJ=11-RJ2 VIF_j = \frac{1}{1-R^2_j} สำหรับตัวแปรอธิบายโดยเฉพาะ สมมติว่าโมเดลเสริมทั่วไปของฉันใช้รูปแบบ Y= β0+ ∑i = 1nβผมXผม+ ∑j = 1ม.sJ( Xผม) .Y=β0+Σผม=1nβผมXผม+ΣJ=1ม.sJ(Xผม). Y=\beta_0+ \sum_{i=1}^n \beta_iX_i + …

10 regression  variance  multicollinearity  gam  vif 

คำถามนี้เกี่ยวข้องกับกระดาษDifferential Geometry ของข้อมูลเชิงเส้นครอบครัวแบบโค้งและการสูญเสียข้อมูลโดย Amari ข้อความจะเป็นดังนี้ ให้เป็น -dimensional ของการแจกแจงความน่าจะเป็นด้วยระบบพิกัดโดยที่จะถือว่า ...Sn={pθ}Sn={pθ}S^n=\{p_{\theta}\}nnnθ=(θ1,…,θn)θ=(θ1,…,θn)\theta=(\theta_1,\dots,\theta_n)pθ(x)>0pθ(x)>0p_{\theta}(x)>0 เราอาจพิจารณาทุกจุดของว่าถือ functionของ ...θθ\thetaSnSnS^nlogpθ(x)log⁡pθ(x)\log p_{\theta}(x)xxx ให้เป็นพื้นที่ที่แทนเจนต์ของที่ซึ่งเป็นพูดประมาณระบุกับรุ่นเชิงเส้นของย่านเล็ก ๆ ของใน n ให้เป็นพื้นฐานตามธรรมชาติของเกี่ยวข้องกับระบบการประสานงาน ...TθTθT_{\theta}SnSnS^nθθ\thetaθθ\thetaSnSnS^nei(θ),i=1,…,nei(θ),i=1,…,ne_i(\theta), i=1,\dots,nTθTθT_{\theta} เนื่องจากแต่ละจุดของมีฟังก์ชั่นของมันเป็นเรื่องธรรมดาที่จะถือว่าที่แทนฟังก์ชันθθ\thetaSnSnS^nlogpθ(x)log⁡pθ(x)\log p_{\theta}(x)xxxei(θ)ei(θ)e_i(\theta)θθ\thetaei(θ)=∂∂θilogpθ(x).ei(θ)=∂∂θilog⁡pθ(x).e_i(\theta)=\frac{\partial}{\partial\theta_i}\log p_{\theta}(x). ฉันไม่เข้าใจคำสั่งสุดท้าย ปรากฏในส่วนที่ 2 ของกระดาษที่กล่าวถึงข้างต้น พื้นฐานของพื้นที่แทนเจนต์เป็นอย่างไรโดยสมการข้างบน? มันจะมีประโยชน์ถ้าใครบางคนในชุมชนนี้คุ้นเคยกับเนื้อหาประเภทนี้สามารถช่วยฉันเข้าใจสิ่งนี้ ขอบคุณ อัปเดต 1: แม้ว่าฉันจะเห็นด้วยว่า (จาก @aginensky) ถ้าเป็นเชิงเส้นอย่างอิสระแล้วมีความเป็นอิสระในเชิงเส้นเช่นกันสมาชิกเหล่านี้ของพื้นที่แทนเจนต์ในตอนแรกยังไม่ชัดเจน ดังนั้นวิธีที่จะถูกพิจารณาเป็นพื้นฐานสำหรับพื้นที่แทนเจนต์ ความช่วยเหลือใด ๆ ที่ชื่นชม∂∂θipθ∂∂θipθ\frac{\partial}{\partial\theta_i}p_{\theta}∂∂θilogpθ∂∂θilog⁡pθ\frac{\partial}{\partial\theta_i}\log p_{\theta}∂∂θilogpθ∂∂θilog⁡pθ\frac{\partial}{\partial\theta_i}\log p_{\theta} อัปเดต 2: @aginensky: ในหนังสือของเขา Amari พูดต่อไปนี้: ให้เราพิจารณากรณีที่ชุดของความน่าจะเป็นบวกทั้งหมด (อย่างเคร่งครัด) …

10 mathematical-statistics  statistical-learning  geometry  information-geometry 

หลังจากเบิร์นอินเราสามารถใช้การทำซ้ำ MCMC โดยตรงสำหรับการประมาณความหนาแน่นเช่นโดยการพล็อตฮิสโตแกรมหรือการประมาณความหนาแน่นของเคอร์เนล ความกังวลของฉันคือการทำซ้ำ MCMC ไม่จำเป็นต้องเป็นอิสระแม้ว่าจะมีการกระจายตัวเหมือนกันมากที่สุด จะเป็นอย่างไรถ้าเราใช้การทำ MCMC ซ้ำต่อไป ความกังวลของฉันคือการทำซ้ำ MCMC นั้นไม่เกี่ยวข้องกันมากที่สุดและยังไม่เป็นอิสระ พื้นดินที่ฉันเรียนรู้สำหรับการใช้ฟังก์ชันการแจกแจงเชิงประจักษ์เป็นการประมาณค่าของฟังก์ชันการแจกแจงที่แท้จริงขึ้นอยู่กับทฤษฎีบท Glivenko - Cantelliที่ซึ่งฟังก์ชันการแจกแจงเชิงประจักษ์ถูกคำนวณตามตัวอย่าง iid ฉันดูเหมือนจะเห็นบางสิ่ง (ผลลัพธ์แบบอะซิมโทติค) สำหรับการใช้ฮิสโตแกรมหรือการประมาณความหนาแน่นของเคอร์เนลเป็นการประมาณความหนาแน่น แต่ฉันจำไม่ได้

10 distributions  mcmc  asymptotics 

ฉันพยายามที่จะทำ A / B การทดสอบด้วยวิธีแบบเบย์เช่นเดียวกับในการเขียนโปรแกรมสำหรับความน่าจะเป็นแฮกเกอร์และคชกรรมการทดสอบ A / B บทความทั้งสองอนุมานว่าผู้มีอำนาจตัดสินใจตัดสินใจว่าตัวแปรใดดีกว่าโดยขึ้นอยู่กับความน่าจะเป็นของเกณฑ์บางอย่างเช่นดังนั้นจึงดีกว่า ความน่าจะเป็นนี้ไม่ได้ให้ข้อมูลใด ๆ ว่ามีข้อมูลเพียงพอที่จะสรุปได้หรือไม่ ดังนั้นจึงไม่ชัดเจนสำหรับฉันเมื่อต้องหยุดการทดสอบAP(pA>pB)=0.97P(pA>pB)=0.97P(p_A > p_B) = 0.97 AAA สมมติว่ามีสอง RVs ไบนารีและBและฉันต้องการที่จะประเมินว่าเป็นไปได้ที่p_A> p_Bและ\ frac {p_A - p_B} {} p_A> 5 \%ตามข้อสังเกตของและB นอกจากนี้สมมติว่าผู้ออกแบบโปสเตอร์ p_Aและp_Bนั้นเป็นรุ่นเบต้าAAABBBpA>pBpA>pB p_A > p_B pA−pBpA>5%pA−pBpA>5% \frac{p_A - p_B}{p_A} > 5\% AAABBBpApAp_ApBpBp_B เนื่องจากฉันสามารถหาพารามิเตอร์α,βα,β\alpha, \betaสำหรับpA|datapA|datap_A\,|\,\text{data} และpB|datapB|datap_B\,|\,\text{data} ฉันสามารถเก็บตัวอย่าง posteriors และประมาณP(pA>pB | data)P(pA>pB …

10 bayesian  beta-binomial