สถิติและข้อมูลขนาดใหญ่

ฉันพยายามวิเคราะห์ข้อมูลการวัดซ้ำ ๆ และพยายามดิ้นรนเพื่อให้มันทำงานRได้ ข้อมูลของฉันเป็นหลักต่อไปนี้ฉันมีสองกลุ่มการรักษา ทุกวิชาในแต่ละกลุ่มมีการทดสอบทุกวันและได้รับคะแนน (เปอร์เซ็นต์ที่ถูกต้องในการทดสอบ) ข้อมูลอยู่ในรูปแบบยาว: Time Percent Subject Group 1 0 GK11 Ethanol 2 0 GK11 Ethanol 3 0 GK11 Ethanol 4 0 GK11 Ethanol 5 0 GK11 Ethanol 6 0 GK11 Ethanol ข้อมูลมีลักษณะเป็นเส้นโค้งโลจิสติกส์วัตถุไม่ดีในสองสามวันตามด้วยการปรับปรุงอย่างรวดเร็วตามด้วยที่ราบสูง ฉันต้องการทราบว่าการรักษามีผลต่อกราฟประสิทธิภาพการทดสอบหรือไม่ ความคิดของฉันคือการใช้nlmer()ในแพคเกจในlme4 Rฉันสามารถใส่ไลน์สำหรับแต่ละกลุ่มโดยใช้สิ่งต่อไปนี้ print(nm1 <- nlmer(Percent ~ SSlogis(Time,Asym, xmid, scal) ~ Asym | Subject, …

12 r  mixed-model  repeated-measures  lme4-nlme 

เมื่อพิจารณาจากอนุกรมเวลาสองแบบต่อไปนี้ ( x , y ; ดูด้านล่าง) วิธีใดที่ดีที่สุดในการสร้างแบบจำลองความสัมพันธ์ระหว่างแนวโน้มระยะยาวในข้อมูลนี้ อนุกรมเวลาทั้งสองมีการทดสอบ Durbin-Watson อย่างมีนัยสำคัญเมื่อทำตัวเป็นแบบของเวลาและไม่หยุดนิ่ง (อย่างที่ฉันเข้าใจคำศัพท์หรือสิ่งนี้หมายความว่ามันจะต้องอยู่นิ่งในที่เหลือเท่านั้น) ฉันได้รับการบอกว่านี่หมายความว่าฉันควรจะมีความแตกต่างลำดับที่หนึ่ง (อย่างน้อยอาจลำดับที่ 2) ของแต่ละชุดเวลาก่อนที่ฉันจะสามารถจำลองแบบหนึ่งเป็นหน้าที่ของอีกฝ่ายหนึ่งโดยใช้ arima เป็นหลัก (1,1,0 ), arima (1,2,0) เป็นต้น ฉันไม่เข้าใจว่าทำไมคุณต้องทำให้เสียโฉมก่อนที่คุณจะสามารถจำลองพวกเขา ฉันเข้าใจถึงความจำเป็นในการสร้างแบบจำลองความสัมพันธ์อัตโนมัติ แต่ฉันไม่เข้าใจว่าทำไมต้องมีความแตกต่าง สำหรับฉันดูเหมือนว่าการทำลายล้างโดยการสร้างความแตกต่างคือการลบสัญญาณหลัก (ในกรณีนี้แนวโน้มระยะยาว) ในข้อมูลที่เราสนใจและปล่อยให้ "เสียง" ความถี่สูงขึ้น (โดยใช้เสียงรบกวนอย่างหลวม ๆ ) ที่จริงแล้วในสถานการณ์จำลองที่ฉันสร้างความสัมพันธ์ที่สมบูรณ์แบบเกือบระหว่างซีรีส์ครั้งหนึ่งกับอีกแบบหนึ่งโดยไม่มีการเชื่อมต่ออัตโนมัติการหาไทม์ไลน์ที่แตกต่างกันทำให้ฉันได้ผลลัพธ์ที่ตอบโต้เพื่อวัตถุประสงค์ในการตรวจจับความสัมพันธ์เช่น a = 1:50 + rnorm(50, sd = 0.01) b = a + rnorm(50, sd = …

12 regression  time-series  arima 

rrrขณะ -th ของตัวแปรสุ่มXXXคือแน่นอนถ้า E(|Xr|)&lt;∞E(|Xr|)&lt;∞ \mathbb E(|X^r|)< \infty ฉันพยายามที่จะแสดงให้เห็นว่าสำหรับจำนวนเต็มบวกs&lt;rs&lt;rs<rแล้ว ช่วงเวลาsss -th E[|Xs|]E[|Xs|]\mathbb E[|X^s|]มีขอบเขต จำกัด

12 self-study  moments  function 

ฉันถูกตั้งคำถามต่อไปนี้เป็นส่วนหนึ่งของการบ้าน: ออกแบบและดำเนินการศึกษาแบบจำลองเพื่อตรวจสอบประสิทธิภาพของ bootstrap เพื่อให้ได้ช่วงความเชื่อมั่น 95% จากค่าเฉลี่ยของตัวอย่างข้อมูลที่ไม่แปรเปลี่ยน การติดตั้งของคุณอาจอยู่ใน R หรือ SAS แง่มุมของประสิทธิภาพที่คุณอาจต้องการดูคือช่วงความมั่นใจช่วงเวลา (เช่นสัดส่วนช่วงเวลาความมั่นใจมีค่าเฉลี่ยจริง) และการเปลี่ยนแปลงของมอนติคาร์โล (กล่าวคือขีด จำกัด ความเชื่อมั่นสูงสุดและล่างแตกต่างกันระหว่างการจำลอง) ไม่มีใครรู้วิธีที่จะไปเกี่ยวกับแง่มุมการเปลี่ยนแปลงของ Monte Carlo นี้? ฉันไม่สามารถแม้แต่จะหาอัลกอริทึมหรืออะไรก็ได้ มันจะทำอย่างไรกับการรวม Monte Carlo? ขอบคุณ!

12 r  self-study  bootstrap  monte-carlo 

ใน R ถ้าฉัน set.seed () จากนั้นใช้ฟังก์ชั่นตัวอย่างเพื่อสุ่มรายการฉันสามารถรับประกันได้ว่าฉันจะไม่สร้างการเปลี่ยนแปลงแบบเดียวกันหรือไม่? เช่น ... set.seed(25) limit &lt;- 3 myindex &lt;- seq(0,limit) for (x in seq(1,factorial(limit))) { permutations &lt;- sample(myindex) print(permutations) } สิ่งนี้ผลิต [1] 1 2 0 3 [1] 0 2 1 3 [1] 0 3 2 1 [1] 3 1 2 0 [1] 2 3 0 …

12 r  sampling  combinatorics  resampling 

ฉันคิดว่านี่เป็นคำถามที่ตรงไปตรงมาแม้ว่าการให้เหตุผลว่าทำไมหรือทำไมไม่อาจเป็นเช่นนั้น เหตุผลที่ผมถามคือว่าผมได้เขียนเมื่อเร็ว ๆ นี้การดำเนินการของตัวเองของ RF และแม้ว่ามันจะมีประสิทธิภาพดีมันไม่ได้มีประสิทธิภาพค่อนข้างเช่นเดียวกับที่ผมคาดหวัง (ตามKaggle ภาพคุณภาพสูงของการทำนายการแข่งขันชุดข้อมูลที่คะแนนชนะและบางส่วนของ ข้อมูลที่ตามมาซึ่งมีเกี่ยวกับเทคนิคที่ใช้) สิ่งแรกที่ฉันทำในสถานการณ์เช่นนี้คือข้อผิดพลาดในการทำนายพล็อตสำหรับแบบจำลองของฉันดังนั้นสำหรับแต่ละค่าการทำนายที่กำหนดฉันจะกำหนดความลำเอียงเฉลี่ย (หรือส่วนเบี่ยงเบน) จากค่าเป้าหมายที่ถูกต้อง สำหรับ RF ของฉันฉันได้พล็อตนี้: ฉันสงสัยว่านี่เป็นรูปแบบความเอนเอียงที่สังเกตได้โดยทั่วไปสำหรับ RF หรือไม่หากเป็นเช่นนั้นอาจเป็นสิ่งที่เฉพาะเจาะจงกับชุดข้อมูลและ / หรือการนำไปใช้ของฉัน แน่นอนว่าฉันสามารถใช้พล็อตนี้เพื่อปรับปรุงการทำนายได้โดยใช้มันเพื่อชดเชยอคติ แต่ฉันสงสัยว่ามีข้อผิดพลาดพื้นฐานหรือข้อบกพร่องในโมเดล RF ที่ต้องการแก้ไขปัญหาหรือไม่ ขอบคุณ. == ADDENDUM == การตรวจสอบเบื้องต้นของฉันอยู่ที่บล็อกนี้Random Forest Bias - Update

12 algorithms  random-forest  cart 

ฉันกำลังมองหาการใช้งานหลาม (ในหลามบริสุทธิ์หรือห่อสิ่งที่มีอยู่) ของ HMM และ Baum-Welch ความคิดบางอย่าง? ฉันเพิ่งค้นหาใน google และฉันพบวัสดุที่น่าสงสารจริง ๆ ที่เกี่ยวกับเทคนิคการเรียนรู้ของเครื่องอื่น ๆ ทำไม?

12 python  hidden-markov-model 

กำลังทำงานใน Octave แต่เนื่องจากความคืบหน้าของเอกสารไม่ดีช้ามาก ภาษาใดที่ง่ายต่อการเรียนรู้และใช้งานและมีเอกสารที่ดีในการแก้ปัญหาการเรียนรู้ของเครื่อง? ฉันกำลังมองหาต้นแบบบนชุดข้อมูลขนาดเล็ก (ตัวอย่างหลายพันตัวอย่าง) ดังนั้นความเร็วจึงไม่สำคัญ แก้ไข: ฉันกำลังพัฒนาเครื่องมือแนะนำ ดังนั้นฉันสนใจที่จะใช้ Regularized Linear Regression, Neural Nets, SVN หรือ Collaborative Filtering

12 r  machine-learning  matlab  software  python 

ใครสามารถอธิบายวิธีการคำนวณผลกระทบส่วนเพิ่มของโมเดล Probit และ Logit ในแง่ของคนธรรมดา ฉันยังใหม่กับสถิติและฉันสับสนเกี่ยวกับแบบจำลองทั้งสองนี้

12 logistic  interpretation  logit  probit 

บริบท: ในคำถามก่อนหน้านี้ @Robbie ถามในการศึกษามีประมาณ 600 กรณีว่าทำไมการทดสอบภาวะปกติอย่างมีนัยสำคัญปัญหาที่ไม่ปกติยังแปลงปัญหาการแจกแจงปกติ หลายคนระบุว่าการทดสอบความสำคัญของภาวะปกตินั้นไม่มีประโยชน์มากนัก ด้วยตัวอย่างขนาดเล็กการทดสอบดังกล่าวไม่มีอำนาจมากพอที่จะตรวจจับการละเมิดกฎเกณฑ์และตัวอย่างที่มีขนาดใหญ่พวกเขาจะตรวจพบการละเมิดกฎเกณฑ์ที่มีขนาดเล็กเพียงพอไม่ต้องกังวล สำหรับฉันแล้วดูเหมือนว่าปัญหานี้จะคล้ายกับการอภิปรายเกี่ยวกับการทดสอบที่สำคัญและขนาดผลกระทบ หากคุณมุ่งเน้นเฉพาะการทดสอบที่สำคัญเมื่อคุณมีกลุ่มตัวอย่างขนาดใหญ่คุณสามารถตรวจจับเอฟเฟ็กต์เล็ก ๆ ที่ไม่เกี่ยวข้องกับการใช้งานจริงและตัวอย่างขนาดเล็กคุณไม่มีพลังเพียงพอ ในบางกรณีที่ฉันเคยเห็นหนังสือแนะนำคนที่คุณสามารถมีตัวอย่าง "ใหญ่เกินไป" เพราะเอฟเฟกต์ขนาดเล็กจะมีความสำคัญทางสถิติ ในบริบทของการทดสอบอย่างมีนัยสำคัญและขนาดของเอฟเฟ็กต์การแก้ปัญหาอย่างง่ายอย่างหนึ่งคือการมุ่งเน้นไปที่การประเมินขนาดของเอฟเฟกต์ที่น่าสนใจแทนที่จะหมกมุ่นอยู่กับกฎการตัดสินใจแบบไบนารีว่ามีหรือไม่มีผล ช่วงความเชื่อมั่นที่มีต่อขนาดเอฟเฟกต์เป็นหนึ่งในวิธีการดังกล่าวหรือคุณสามารถใช้วิธีการแบบเบย์บางรูปแบบ ยิ่งไปกว่านั้นโดเมนงานวิจัยต่าง ๆ สร้างความคิดเกี่ยวกับขนาดของเอฟเฟกต์ที่กำหนดในทางปฏิบัติสำหรับดีขึ้นหรือแย่ลงการใช้ฮิวริสติกฉลากเช่น "เล็ก", "ปานกลาง" และ "เอฟเฟ็กต์ขนาดใหญ่" สิ่งนี้ยังนำไปสู่การแนะนำอย่างชาญฉลาดในการเพิ่มขนาดตัวอย่างเพื่อให้ได้ความแม่นยำสูงสุดในการประมาณค่าพารามิเตอร์ที่กำหนด นี่ทำให้ฉันสงสัยว่าทำไมวิธีการที่คล้ายกันโดยยึดตามช่วงความเชื่อมั่นของขนาดเอฟเฟกต์นั้นไม่ได้ดำเนินการอย่างกว้างขวางมากขึ้นในการทดสอบสมมติฐาน คำถาม: อะไรคือดัชนีเดี่ยวที่ดีที่สุดของระดับที่ข้อมูลละเมิดกฎเกณฑ์? หรือเป็นเรื่องที่ดีกว่าถ้าพูดถึงดัชนีการฝ่าฝืนกฎเกณฑ์หลาย ๆ อย่าง (เช่นความเบ้, เคิร์ตซีส, ความแพร่หลายในค่าผิดปกติ) จะคำนวณช่วงความมั่นใจได้อย่างไร (หรืออาจใช้วิธีการแบบเบย์) สำหรับดัชนี? คุณสามารถกำหนดป้ายกำกับด้วยวาจาแบบใดให้กับดัชนีนั้นเพื่อระบุระดับของการละเมิดกฎเกณฑ์ (เช่นอ่อนปานกลางปานกลางแข็งแรงมาก ฯลฯ ) จุดประสงค์ของฉลากดังกล่าวอาจช่วยนักวิเคราะห์ที่มีประสบการณ์น้อยลงในการฝึกอบรมสัญชาตญาณว่าการละเมิดกฎเกณฑ์เป็นปัญหาหรือไม่

12 statistical-significance  normal-distribution  normality-assumption  assumptions 

ฉันกำลังพยายามตั้งค่าโมเดลปัวซองที่ไม่ทำให้พองใน R และ JAGS ฉันยังใหม่กับ JAGS และฉันต้องการคำแนะนำเกี่ยวกับวิธีการทำเช่นนั้น ฉันได้ลองทำสิ่งต่อไปนี้โดยที่ y [i] เป็นตัวแปรที่สังเกตได้ model { for (i in 1:I) { y.null[i] &lt;- 0 y.pois[i] ~ dpois(mu[i]) pro[i] &lt;- ilogit(theta[i]) x[i] ~ dbern(pro[i]) y[i] &lt;- step(2*x[i]-1)*y.pois[i] + (1-step(2*x[i]-1))*y.null[i] log(mu[i]) &lt;- bla + bla +bla + .... theta[i] &lt;- bla + bla + bla …

12 r  poisson-distribution  jags  zero-inflation 

ฉันมีข้อมูลจากการทดลองที่ฉันใช้การรักษาสองแบบที่แตกต่างกันในสภาพเริ่มต้นที่เหมือนกันโดยจะสร้างจำนวนเต็มตั้งแต่ 0 ถึง 500 ในแต่ละกรณีเป็นผลลัพธ์ ฉันต้องการใช้การทดสอบแบบจับคู่เพื่อระบุว่าผลที่เกิดจากการรักษาทั้งสองนั้นแตกต่างกันอย่างมีนัยสำคัญหรือไม่ ผลลัพธ์ของแต่ละกลุ่มการรักษาจะกระจายตามปกติ แต่ความแตกต่างระหว่างแต่ละคู่จะไม่ได้รับการแจกแจงตามปกติ (ไม่สมมาตร + หางยาวหนึ่งอัน) ฉันสามารถใช้การทดสอบแบบจับคู่ในกรณีนี้ได้หรือไม่หรือมีการสันนิษฐานว่าละเมิดกฎเกณฑ์ซึ่งหมายความว่าฉันควรใช้การทดสอบแบบไม่อิงพารามิเตอร์ในบางประเภทหรือไม่?

12 t-test  normality-assumption 

การทดสอบ Kolgomorov-Smirnov การทดสอบ Shapiro ฯลฯ ทั้งหมดล้วน แต่ปฏิเสธสมมติฐานที่ว่าการแจกแจงเป็นเรื่องปกติ แต่เมื่อฉันพล็อตควอนไทล์ปกติและฮิสโตแกรมข้อมูลก็เป็นปกติอย่างชัดเจน อาจเป็นเพราะพลังของการทดสอบสูงหรือไม่ ขนาดตัวอย่างประมาณ 650 ดังนั้นอย่างน้อยหนึ่งในการทดสอบเหล่านี้จึงไม่สามารถปฏิเสธสมมติฐานว่างได้? ผล: Kolmogorov-Smirnov D 0.05031 Pr &gt; D &lt;0.010 Cramer-von Mises W-Sq 0.30003 Pr &gt; W-Sq &lt;0.005 Anderson-Darling A-Sq 1.66965 Pr &gt; A-Sq &lt;0.005 Chi-Square Chi-Sq 3250.43596 18 Pr &gt; Chi-Sq &lt;0.001

12 normal-distribution 

ปิด. คำถามนี้เป็นคำถามปิดหัวข้อ ไม่ยอมรับคำตอบในขณะนี้ ต้องการปรับปรุงคำถามนี้หรือไม่ อัปเดตคำถามเพื่อให้เป็นไปตามหัวข้อสำหรับการตรวจสอบข้าม ปิดให้บริการใน3 ปีที่ผ่านมา ฉันมีอาร์เรย์ numpy ที่มีคอลัมน์mและnแถวคอลัมน์ที่มีมิติและ datapoints แถว ตอนนี้ฉันต้องคำนวณค่าเคอร์เนลสำหรับการรวมกันของจุดข้อมูล สำหรับเคอร์เนลเชิงเส้นฉันทำได้ง่ายๆK(xi,xj)=⟨xi,xj⟩K(xi,xj)=⟨xi,xj⟩K(\mathbf{x}_i,\mathbf{x}_j) = \langle \mathbf{x}_i,\mathbf{x}_j \rangledot(X,X.T) ฉันจะคำนวณค่าทั้งหมดสำหรับเคอร์เนล Gaussianอย่างมีประสิทธิภาพด้วยs ?K(xi,xj)=exp−∥xi−xj∥22s2K(xi,xj)=exp⁡−‖xi−xj‖22s2K(\mathbf{x}_i,\mathbf{x}_j) = \exp{-\frac{\|\mathbf{x}_i-\mathbf{x}_j\|_2^2}{s^2}}

12 python  kernel-trick  numpy 

ฉันต้องการจัดกลุ่มชุดข้อมูลขนาดเล็ก (การสังเกต 64 ครั้งของตัวแปรช่วงเวลา 4 ตัวและตัวแปรหมวดหมู่สามปัจจัยเดียว) ตอนนี้ฉันค่อนข้างใหม่ในการวิเคราะห์กลุ่ม แต่ฉันรู้ว่ามีความคืบหน้าอย่างมากตั้งแต่วันที่การจัดกลุ่มแบบลำดับชั้นหรือ k-mean เป็นตัวเลือกที่ใช้ได้เท่านั้น โดยเฉพาะอย่างยิ่งดูเหมือนว่าวิธีการใหม่ของการจัดกลุ่มตามโมเดลนั้นมีอยู่ซึ่งชี้ให้เห็นโดย chlให้เปิดใช้งาน "ดัชนีความดี - พอดีพอดีในการตัดสินใจเกี่ยวกับจำนวนของกลุ่มหรือคลาส" อย่างไรก็ตามแพคเกจ R มาตรฐานสำหรับการจัดกลุ่มตามแบบจำลองmclustจะไม่เหมาะกับรุ่นที่มีชนิดข้อมูลแบบผสม fpcรุ่นจะ แต่มีปัญหาในการกระชับรูปแบบที่ฉันสงสัยว่าเพราะธรรมชาติไม่ใช่เกาส์ของตัวแปรอย่างต่อเนื่อง ฉันควรจะทำตามแนวทางของแบบจำลองต่อไปหรือไม่? ฉันต้องการใช้ R ต่อไปถ้าเป็นไปได้ เท่าที่ฉันเห็นฉันมีตัวเลือกน้อย: mclustแปลงตัวแปรเด็ดขาดสามระดับเป็นสองตัวแปรหุ่นและการใช้งาน ฉันไม่แน่ใจว่านี่จะทำให้เกิดผลลัพธ์หรือไม่ แต่ถ้าไม่ใช่นี่คือตัวเลือกที่ฉันต้องการ แปลงตัวแปรอย่างต่อเนื่องและใช้fpcแพ็คเกจ ใช้แพ็คเกจ R อื่นที่ฉันยังไม่เคยพบมาก่อน สร้างเมทริกซ์ที่แตกต่างกันโดยใช้การวัดของโกเวอร์และใช้เทคนิคแบบลำดับชั้นหรือการย้ายฐานแบบดั้งเดิม stats.se hivemind มีคำแนะนำใด ๆ หรือไม่

12 clustering  model-based-clustering  mixed-type-data