สถิติและข้อมูลขนาดใหญ่

เมื่อไหร่ Y=AX+εY=AX+εY = AX + \varepsilon (เช่น YYY มาจากตัวแบบการถดถอยเชิงเส้น) ε∼N(0,σ2I)⇒e^=(I−H)Y∼N(0,(I−H)σ2)ε∼N(0,σ2I)⇒e^=(I−H)Y~ยังไม่มีข้อความ(0,(ผม-H)σ2)\varepsilon \sim \mathcal{N}(0, \sigma^2 I) \hspace{1em} \Rightarrow \hspace{1em} \hat{e} = (I - H) Y \sim \mathcal{N}(0, (I - H) \sigma^2_{}) และในกรณีที่เหลือ e^1,…,e^ne^1,…,e^n\hat{e}_1, \ldots, \hat{e}_nมีความสัมพันธ์และไม่เป็นอิสระ แต่เมื่อเราทำการวิเคราะห์การถดถอยและต้องการทดสอบสมมติฐาน ε∼N(0,σ2I)ε∼N(0,σ2I)\varepsilon \sim \mathcal{N}(0, \sigma^2 I)หนังสือเรียนทุกเล่มแนะนำให้ใช้แผนการถาม - ตอบและการทดสอบทางสถิติเกี่ยวกับส่วนที่เหลือ e^e^\hat{e} ที่ถูกออกแบบมาเพื่อทดสอบว่า e^∼N(0,σ2I)e^∼N(0,σ2I)\hat{e} \sim \mathcal{N}(0, \sigma^2 I) สำหรับบางคน σ2∈Rσ2∈R\sigma^2 …

9 regression  residuals  non-independent 

ฉันกำลังทำงานกับแบบจำลองการคาดการณ์ที่อายุของผู้ป่วย (จำนวนเต็มวัดเป็นปี) เป็นหนึ่งในตัวแปรตัวทำนาย ความสัมพันธ์แบบไม่เชิงเส้นที่แข็งแกร่งระหว่างอายุและความเสี่ยงของการเข้าพักในโรงพยาบาลจะเห็นได้ชัด: ฉันกำลังพิจารณาว่าการทำให้เส้นโค้งการถดถอยเป็นไปอย่างราบรื่นสำหรับผู้ป่วยอายุ ตามองค์ประกอบของการเรียนรู้ทางสถิติ (Hastie et al, 2009, p.151) ตำแหน่งปมที่ดีที่สุดคือหนึ่งปมต่อค่าที่ไม่ซ้ำกันของอายุสมาชิก ระบุว่าฉันรักษาอายุเป็นจำนวนเต็มเป็น spline ปรับลงโทษให้เรียบเพื่อเรียกใช้สันเขาถดถอยหรือ lasso กับ 101 ตัวบ่งชี้ตัวแปรอายุที่แตกต่างกันหนึ่งค่าต่ออายุพบในชุดข้อมูล (ลบหนึ่งสำหรับการอ้างอิง)? การหลีกเลี่ยงค่าพารามิเตอร์มากเกินไปนั้นจะถูกหลีกเลี่ยงเนื่องจากค่าสัมประสิทธิ์ของตัวบ่งชี้อายุแต่ละตัวนั้นหดตัวลงไปเป็นศูนย์

9 nonlinear-regression  lasso  ridge-regression  smoothing  splines 

ฉันต้องการทำนายกลุ่มของรายการที่บางคนจะซื้อ ... นั่นคือฉันมีตัวแปรที่ขึ้นอยู่กับหลายสี แทนที่จะสร้างแบบจำลองอิสระ 7 แบบหรือมากกว่านั้นเพื่อคาดการณ์ความน่าจะเป็นของคนที่ซื้อแต่ละรายการจาก 7 รายการแล้วรวมผลลัพธ์ฉันควรพิจารณาวิธีใดเพื่อให้มีแบบจำลองหนึ่งแบบที่อธิบายความสัมพันธ์ระหว่างตัวแปรที่สัมพันธ์กันซึ่งขึ้นอยู่กับ 7 สิ่งที่พวกเขาสามารถซื้อได้) ฉันใช้ R เป็นภาษาการเขียนโปรแกรมดังนั้นคำแนะนำเฉพาะของ R จึงเป็นที่ชื่นชม

9 r  machine-learning  multivariate-analysis 

สมมติต่อไปนี้การตั้งค่า: Let Zi=min{ki,Xi},i=1,...,nZi=min{ki,Xi},i=1,...,nZ_i = \min\{k_i, X_i\}, i=1,...,n n นอกจากนี้Xi∼U[ai,bi],ai,bi>0Xi∼U[ai,bi],ai,bi>0X_i \sim U[a_i, b_i], \; a_i, b_i >0 0 นอกจากนี้ki=cai+(1−c)bi,0<c<1ki=cai+(1−c)bi,0<c<1k_i = ca_i + (1-c)b_i,\;\; 0 k_i) = 1- \Pr(X_i \le k_i) =1−ki−aibi−ai=1−(1−c)(bi−ai)bi−ai=c=1−ki−aibi−ai=1−(1−c)(bi−ai)bi−ai=c= 1- \frac {k_i - a_i}{b_i-a_i} = 1-\frac {(1-c)(b_i-a_i)}{b_i-a_i} =c ดังนั้นใน FZi(zi)=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪0zi<aizi−aibi−aiai≤zi<ki1ki≤ziFZi(zi)={0zi<aizi−aibi−aiai≤zi<ki1ki≤ziF_{Z_i}(z_i) = \begin{cases} 0\qquad z_i0ที่zi=kizi=kiz_i = k_ik_i โดยรวมแล้วจะรวมกันเป็นหนึ่งเดียวกับ reals ฉันต้องการที่จะสามารถที่จะได้รับหรือพูดอะไรเกี่ยวกับการจัดจำหน่ายและ …

9 distributions  central-limit-theorem  censoring  minimum 

ฉันหมายถึงเหตุผลใด ๆ นอกเหนือจากความสะดวกในการวิเคราะห์ให้เสร็จภายในขั้นตอนเดียว

9 anova 

เห็นได้ชัดว่าผิดพลาดที่จะคิดว่าความล้มเหลวในการปฏิเสธโมฆะก็หมายความว่าเป็นโมฆะ แต่ในกรณีที่เป็นโมฆะไม่ได้ปฏิเสธและช่วงความเชื่อมั่นที่สอดคล้องกัน (CI) เป็นที่แคบและแน่นิ่ง 0 นี้ไม่ได้ให้หลักฐานสำหรับโมฆะ? ฉันเป็นคนหนึ่งในใจสองคน: ใช่ในทางปฏิบัติสิ่งนี้จะแสดงหลักฐานว่าผลกระทบมีมากหรือน้อยกว่า 0 อย่างไรก็ตามในกรอบการทดสอบสมมุติฐานที่เข้มงวด ดังนั้นความหมายของ CI คืออะไรเมื่อการประเมินจุดของมันไม่สำคัญ? มันยังใช้ไม่ได้สำหรับการอนุมานหรือสามารถนำมาใช้ในตัวอย่างก่อนหน้านี้เพื่อหาปริมาณหลักฐานสำหรับโมฆะ? สนับสนุนคำตอบที่มีการอ้างอิงเชิงวิชาการ

9 hypothesis-testing  statistical-significance  confidence-interval 

ฉันกำลังอ่าน "Causality" ของ Judea Pearl (รุ่นที่สอง 2009) และในส่วนที่ 1.1.5 ความเป็นอิสระและเงื่อนไขแบบกราสด์เขากล่าวว่า: ต่อไปนี้เป็นรายการ (บางส่วน) ของคุณสมบัติที่พึงพอใจโดยความสัมพันธ์ที่เป็นอิสระตามเงื่อนไข (X_ || _Y | Z) สมมาตร: (X_ || _ Y | Z) ==> (Y_ || _X | Z) การสลายตัว: (X_ || _ YW | Z) ==> (X_ || _Y | Z) การรวมที่อ่อนแอ: (X_ || _ YW | …

9 self-study  bayesian 

ฉันกำลังอ่านการเขียนโปรแกรมน่าจะเป็นและวิธีเบส์สำหรับแฮกเกอร์ "หนังสือ" ฉันได้อ่านบทไม่กี่บทและฉันก็คิดในบทแรกที่ตัวอย่างแรกของ pymc ประกอบด้วยการตรวจสอบ witchpoint ในข้อความ ในตัวอย่างว่าตัวแปรสุ่มเพื่อระบุว่าเมื่อ switchpoint ที่เกิดขึ้นจะถูกระบุด้วย\หลังจากขั้นตอน MCMC การแจกแจงหลังของ จะได้รับ:ττ\tauττ\tau ประการแรกสิ่งที่สามารถเรียนรู้ได้จากกราฟนี้คือมีความเป็นไปได้เกือบ 50% ที่จุดเปลี่ยนเกิดขึ้นในวันที่ 45 แม้ว่าจะเกิดอะไรขึ้นถ้าไม่มีจุดเปลี่ยน แทนที่จะสมมติว่ามีสวิตช์พอยต์แล้วลองค้นหาฉันต้องการตรวจสอบว่ามีสวิตช์pointหรือไม่ ผู้เขียนตอบคำถาม "เกิด switchpoint เกิดขึ้น" โดย "ไม่มีการเปลี่ยนแปลงเกิดขึ้นหรือมีการเปลี่ยนแปลงอย่างค่อยเป็นค่อยไปเมื่อเวลาผ่านไปการกระจายหลัง จะกระจายออกไปมากขึ้น" แต่คุณจะตอบคำถามนี้อย่างไรเช่นมีโอกาส 90% ที่จุดเปลี่ยนจะเกิดขึ้นและมีโอกาส 50% ที่จะเกิดขึ้นในวันที่ 45ττ\tau จำเป็นต้องเปลี่ยนโมเดลหรือไม่ หรือสามารถตอบด้วยรุ่นปัจจุบันได้หรือไม่

9 probability  mcmc  pymc  change-point 

วิธีการทั่วไปในการแก้ปัญหาการจำแนกประเภทคือการระบุคลาสของแบบจำลองผู้สมัครแล้วทำการเลือกรูปแบบโดยใช้ขั้นตอนบางอย่างเช่นการตรวจสอบความถูกต้องข้าม โดยปกติคนหนึ่งเลือกรุ่นที่มีความถูกต้องสูงสุดหรือบางฟังก์ชั่นที่เกี่ยวข้องที่ข้อมูลปัญหาถอดรหัสเฉพาะเช่น\FβFβ\text{F}_\beta สมมติว่าเป้าหมายสุดท้ายคือการสร้างลักษณนามที่แม่นยำ (ซึ่งคำจำกัดความความถูกต้องอีกครั้งขึ้นอยู่กับปัญหา) ในสถานการณ์ที่ดีกว่าในการเลือกรูปแบบโดยใช้กฎการให้คะแนนที่เหมาะสมเมื่อเทียบกับสิ่งที่ไม่เหมาะสมเช่นความแม่นยำ ฯลฯ นอกจากนี้เราจะไม่สนใจปัญหาของความซับซ้อนของแบบจำลองและสมมติว่าเราพิจารณาทุกโมเดลที่มีโอกาสเท่ากัน ก่อนหน้านี้ฉันจะบอกว่าไม่เคย การจำแนกเป็นปัญหาง่ายกว่าการถดถอย [1], [2] และเราสามารถหาขอบเขตที่แคบกว่าสำหรับอดีตได้มากกว่าในภายหลัง ( ) นอกจากนี้ยังมีกรณีเมื่อพยายามที่จะถูกต้องตรงกับความน่าจะได้ผลในการที่ไม่ถูกต้องขอบเขตการตัดสินใจหรืออิง อย่างไรก็ตามจากการสนทนาที่นี่และรูปแบบการลงคะแนนของชุมชนเกี่ยวกับปัญหาดังกล่าวฉันได้ตั้งคำถามกับมุมมองนี้* * * *∗* Devroye, Luc ทฤษฎีความน่าจะเป็นของการจดจำรูปแบบ ฉบับ 31. สปริงเกอร์, 1996. มาตรา 6.7 Kearns, Michael J. และ Robert E. Schapire การเรียนรู้ที่ไม่มีการแจกแจงอย่างมีประสิทธิภาพเกี่ยวกับแนวคิดความน่าจะเป็น รากฐานของวิทยาศาสตร์คอมพิวเตอร์, 1990. การดำเนินการ, การประชุมวิชาการประจำปีครั้งที่ 31 IEEE, 1990 ( ∗ )(∗)(*)ข้อความนี้อาจจะเลอะเทอะเล็กน้อย ฉันหมายถึงเฉพาะที่ได้รับข้อมูลฉลากของรูปแบบด้วยและดูเหมือนจะง่ายต่อการประเมินขอบเขตการตัดสินใจมากกว่าการประมาณความน่าจะเป็นแบบมีเงื่อนไขอย่างแม่นยำS= { (x1,Y1) , …

9 machine-learning  model-selection  error  scoring-rules 

ในการนำเสนอวันนี้ผู้พูดได้อ้างสิทธิ์ข้างต้น เขากล่าวว่าแม้ว่าขั้นตอนแรกจะระบุผิด แต่การประมาณค่าสัมประสิทธิ์ของระยะที่สองจะยังคงใช้ได้ ในฐานะนักศึกษาปริญญาโทที่ต่ำต้อยฉันไม่สามารถขอคำอธิบายได้ดังนั้นตอนนี้ฉันขอความช่วยเหลือจากคุณ!

9 econometrics  2sls 

ฉันกำลังทำงานผ่านตัวอย่างในการวิเคราะห์ข้อมูล Doing Bayesianของ Kruschke โดยเฉพาะการวิเคราะห์ความแปรปรวนแบบปัวซองในพัวซอง 22 ซึ่งเขานำเสนอเป็นทางเลือกแทนการทดสอบไคสแควร์เป็นประจำสำหรับความเป็นอิสระสำหรับตารางฉุกเฉิน ฉันสามารถดูวิธีที่เราได้รับข้อมูลเกี่ยวกับการโต้ตอบที่เกิดขึ้นบ่อยหรือน้อยกว่าที่คาดไว้ถ้าตัวแปรนั้นเป็นอิสระ (เช่นเมื่อ HDI ไม่รวมศูนย์) คำถามของฉันคือฉันจะคำนวณหรือตีความขนาดผลกระทบในกรอบงานนี้ได้อย่างไร ยกตัวอย่างเช่น Kruschke เขียน "การรวมกันของดวงตาสีฟ้ากับผมสีดำเกิดขึ้นน้อยกว่าที่คาดถ้าสีตาและสีผมเป็นอิสระ" แต่เราจะอธิบายความแข็งแกร่งของความสัมพันธ์นั้นได้อย่างไร? ฉันจะรู้ได้อย่างไรว่าการโต้ตอบใดที่รุนแรงกว่าการโต้ตอบอื่น ๆ หากเราทำการทดสอบไคสแควร์ของข้อมูลเหล่านี้เราอาจคำนวณCramér V เป็นเครื่องวัดขนาดเอฟเฟกต์โดยรวม ฉันจะแสดงขนาดลักษณะพิเศษในบริบทเบย์นี้ได้อย่างไร นี่คือตัวอย่างที่มีในตัวเองจากหนังสือ (เขียนในR) ในกรณีที่คำตอบถูกซ่อนจากฉันในสายตาธรรมดา ... df <- structure(c(20, 94, 84, 17, 68, 7, 119, 26, 5, 16, 29, 14, 15, 10, 54, 14), .Dim = c(4L, 4L), .Dimnames …

9 r  bayesian  effect-size  contingency-tables 

ฉันได้รับบทความรายงานการศึกษาที่คล้ายกับห้องแล็บที่ฉันต้องการเรียกใช้ แต่ฉันสังเกตเห็นว่าสำหรับตัวแปรที่น่าสนใจระยะเวลาเอกสารความปลอดภัยมีขนาดใหญ่กว่าค่าเฉลี่ย ... เนื่องจากนี่คือระยะเวลาที่วัดได้ในหน่วยนาทีมันจะไม่มีทางลบและสิ่งนี้ดูแปลกสำหรับฉัน เรื่องนี้เกิดขึ้นใน 2 รายงานการศึกษาด้านล่างเป็นหนึ่ง ยิ่งไปกว่านั้นนี่คือการออกแบบผสม ควบคุมการรักษา (ระหว่างกลุ่ม) และเวลา 1, เวลา 2, เวลา 3 (วัดซ้ำ) นี่คือค่าเฉลี่ย (SDs), N> 200 Time1 Time2 Time3 Control 15.1 (14.6) 14.4 (14.8) 13.3 (15.7) Treatment 14.8 (13.2) 10.0 (12.2) 8.2 (9.9) ... พวกเขาใช้ ANOVA และรายงาน p <.001 ฉันถูกขอให้ใช้สิ่งนี้เป็นพื้นฐานสำหรับการวิเคราะห์พลังงานเพื่อกำหนดขนาดตัวอย่างสำหรับการศึกษาของเรา ฉันค่อนข้างแน่ใจว่าสิ่งนี้บ่งชี้ว่าข้อมูลไม่ปกติหรือมีค่าผิดปกติและฉันรู้สึกไม่สะดวกใจที่จะกำหนดขนาดตัวอย่างตามสิ่งนี้ ฉันเพิ่งจะออกจากฐาน?

9 standard-deviation  power-analysis 

ระบุว่า , distr แบบมีเงื่อนไข ของเป็น\ ไค ^ 2 (2n) Nมีความแตกต่างเล็กน้อย ของปัวซอง ( \ theta ), \ thetaเป็นค่าคงที่เป็นบวกN=nN=nN = nYYYχ2(2n)χ2(2n)\chi ^2(2n)NNNθθ\thetaθθ\theta แสดงว่าในขณะที่θ→∞θ→∞\theta \rightarrow \infty , (Y−E(Y))/Var(Y)−−−−−−√→N(0,1) (Y−E(Y))/Var⁡(Y)→N(0,1)\space \space (Y - E(Y))/ \sqrt{\operatorname{Var}(Y)} \rightarrow N(0,1)ในการกระจาย ใครสามารถแนะนำกลยุทธ์ในการแก้ปัญหานี้ ดูเหมือนว่าเราจำเป็นต้องใช้ CLT (Central Limit Theorem) แต่มันดูยากที่จะรับข้อมูลใด ๆ เกี่ยวกับYYYด้วยตัวเอง มี rv ที่สามารถแนะนำให้ใช้ตัวอย่างเพื่อสร้างYYYหรือไม่? นี่คือการบ้านดังนั้นคำแนะนำชื่นชม

9 self-study  poisson-distribution  conditional-probability  convergence  central-limit-theorem 

ในความคิดเห็นต่อคำตอบของคำถามนี้พบว่าการใช้ AIC ในการเลือกแบบจำลองนั้นเทียบเท่ากับการใช้ค่า p-0.154 ฉันลองใน R ที่ฉันใช้อัลกอริทึมการเลือกชุดย่อย "ย้อนกลับ" เพื่อโยนตัวแปรออกจากสเปคแบบเต็ม ครั้งแรกโดยการทิ้งตัวแปรที่มีค่า p-value สูงสุดและหยุดเมื่อ p-value ทั้งหมดต่ำกว่า 0.154 และอันดับที่สองโดยการวางตัวแปรซึ่งส่งผลให้ AIC ต่ำที่สุดเมื่อถูกลบออกจนกว่าจะไม่มีการปรับปรุงใด ๆ ปรากฎว่าพวกเขาให้ผลลัพธ์แบบคร่าวๆเมื่อฉันใช้ค่า p-0.154 เป็นเกณฑ์ จริงหรือไม่ ถ้ามีใครรู้ว่าทำไมหรือสามารถอ้างถึงแหล่งที่อธิบายได้ ป.ล. ฉันไม่สามารถถามคนที่แสดงความคิดเห็นหรือเขียนความเห็นได้เพราะเพิ่งสมัครใช้งาน ฉันรู้ว่านี่ไม่ใช่วิธีที่เหมาะสมที่สุดในการเลือกแบบจำลองและการอนุมานเป็นต้น

9 model-selection  p-value  aic 

พิจารณา Xn=⎧⎩⎨1−12kw.p. (1−2−n)/2w.p. (1−2−n)/2w.p. 2−k for k>nXn={1w.p. (1−2−n)/2−1w.p. (1−2−n)/22kw.p. 2−k for k>nX_n = \begin{cases} 1 & \text{w.p. } (1 - 2^{-n})/2\\ -1 & \text{w.p. } (1 - 2^{-n})/2\\ 2^k & \text{w.p. } 2^{-k} \text{ for } k > n\\ \end{cases} ฉันต้องแสดงให้เห็นว่าถึงแม้จะมีช่วงเวลาไม่สิ้นสุด n−−√(X¯n)→dN(0,1)n(X¯n)→dN(0,1)\sqrt{n}(\bar{X}_n) \overset{d}{\to} N(0,1) ฉันได้ลองแสดงสิ่งนี้โดยใช้ทฤษฎีความต่อเนื่องของเลวีคือพยายามแสดงให้เห็นว่าฟังก์ชั่นลักษณะของด้านซ้ายบรรจบกับฟังก์ชั่นลักษณะของมาตรฐานปกติ อย่างไรก็ตามเรื่องนี้ดูเหมือนจะเป็นไปไม่ได้ที่จะแสดง คำแนะนำที่มีให้สำหรับปัญหานี้คือการตัดส่วนแต่ละส่วนออก XiXiX_iคือปล่อยให้และใช้สภาพ Lindeberg เพื่อแสดงว่า …

9 probability  self-study  central-limit-theorem  moments  asymptotics