สถิติและข้อมูลขนาดใหญ่

ฉันมีชุดข้อมูลอนุกรมเวลาที่ฉันพยายามจัดวางแบบซ่อนมาร์คอฟ (HMM) เพื่อประเมินจำนวนสถานะแฝงในข้อมูล รหัสหลอกของฉันสำหรับทำสิ่งนี้มีดังต่อไปนี้: for( i in 2 : max_number_of_states ){ ... calculate HMM with i states ... optimal_number_of_states = "model with smallest BIC" ... } ตอนนี้ในรูปแบบการถดถอยปกติ BIC มีแนวโน้มที่จะชอบรูปแบบที่น่าสังเวชมากที่สุด แต่ในกรณีของ HMM ฉันไม่แน่ใจว่ามันคือสิ่งที่ทำ มีใครบ้างที่ทราบว่าเกณฑ์ BIC ของ HMM ประเภทใดมีแนวโน้มเป็นจริง? ฉันยังสามารถได้รับ AIC และค่าความน่าจะเป็นเช่นกัน เนื่องจากฉันพยายามที่จะอนุมานจำนวนจริงของรัฐเป็นหนึ่งในเกณฑ์เหล่านี้ "ดีกว่า" เพื่ออื่น ๆ สำหรับวัตถุประสงค์นี้หรือไม่

12 r  aic  hidden-markov-model  bic  spss  manova  time-series  r  lme4-nlme  regression  modeling  negative-binomial  bayesian  bugs  state-space-models  hypothesis-testing  data-transformation  factor-analysis  sem 

อะไรคือความสัมพันธ์และความแตกต่างระหว่างอนุกรมเวลาและการถดถอย สำหรับแบบจำลองและสมมติฐานมันถูกต้องหรือไม่ที่แบบจำลองการถดถอยถือว่าเป็นอิสระระหว่างตัวแปรเอาต์พุตสำหรับค่าต่าง ๆ ของตัวแปรอินพุตในขณะที่โมเดลอนุกรมเวลาไม่ ความแตกต่างอื่น ๆ คืออะไร? สำหรับวิธีการจากเว็บไซต์โดย Darlington มีวิธีการวิเคราะห์อนุกรมเวลาหลายวิธี แต่วิธีที่สองที่รู้จักกันดีคือวิธีการถดถอยและวิธี Box-Jenkins (1976) หรือ ARIMA (AutoRegressive Integrated Moving Average) เอกสารนี้แนะนำวิธีการถดถอย ฉันพิจารณาวิธีการถดถอยที่เหนือกว่า ARIMA อย่างมากด้วยเหตุผลสามประการ ฉันไม่เข้าใจว่า "วิธีการถดถอย" สำหรับอนุกรมเวลาอยู่บนเว็บไซต์อย่างไรและมันแตกต่างจากวิธี Box-Jenkins หรือวิธี ARIMA อย่างไร ฉันขอขอบคุณถ้ามีคนให้ข้อมูลเชิงลึกกับคำถามเหล่านั้น ขอบคุณและขอแสดงความนับถือ!

12 regression  time-series  box-jenkins 

สมมติว่าฉันมีการแจกแจงแบบไม่ต่อเนื่องที่กำหนดโดย vectorเช่นนั้นหมวดหมู่จะถูกวาดด้วยความน่าจะเป็นเป็นต้น จากนั้นฉันค้นพบว่าค่าบางอย่างในการแจกแจงมีขนาดเล็กจนทำให้ค่าตัวเลขลอยตัวของคอมพิวเตอร์ของฉันต่ำลงดังนั้นเพื่อชดเชยฉันทำการคำนวณทั้งหมดของฉันในพื้นที่ล็อก ตอนนี้ผมต้องเข้าสู่ระบบปริภูมิเวกเตอร์theta_N)θ0,θ1,...,θNθ0,θ1,...,θN\theta_0, \theta_1, ..., \theta_N000θ0θ0\theta_0log(θ0),log(θ1),...,log(θN)log(θ0),log(θ1),...,log(θN)log(\theta_0), log(\theta_1), ..., log(\theta_N) เป็นไปได้หรือไม่ที่จะสุ่มตัวอย่างจากการแจกแจงที่มีความน่าจะเป็นดั้งเดิม (หมวดหมู่ถูกวาดด้วยความน่าจะเป็น ) แต่ไม่เคยออกจากพื้นที่บันทึก? กล่าวอีกนัยหนึ่งฉันจะสุ่มตัวอย่างจากการกระจายนี้โดยไม่มีอันเดอร์โฟลว์ได้อย่างไรiiiθiθi\theta_i

12 random-generation 

ฉันมีปัญหาในการแก้ปัญหาต่อไปนี้ คุณจั่วไพ่จากสำรับมาตรฐาน 52 ใบโดยไม่ต้องเปลี่ยนจนกว่าคุณจะได้เอซ คุณดึงออกจากสิ่งที่เหลืออยู่จนกว่าคุณจะได้รับ 2. คุณดำเนินการต่อด้วย 3 จำนวนที่คาดหวังที่คุณจะได้รับหลังจากที่ดาดฟ้าทั้งหมดหมด มันเป็นธรรมชาติที่จะให้ Ti=first position of card whose value is iTi=first position of card whose value is iT_i = \text{first position of card whose value is }i Ui=last position of card whose value is iUi=last position of card whose value is iU_i = …

12 self-study  conditional-probability  conditional-expectation  games  conditioning 

ฉันมาจากคำถามนี้ในกรณีที่ใครต้องการติดตาม โดยทั่วไปฉันมีชุดข้อมูลΩΩ\Omegaประกอบด้วยวัตถุNNNซึ่งแต่ละวัตถุมีจำนวนค่าที่วัดได้ที่แนบมากับมัน (สองในกรณีนี้): Ω=o1[x1,y1],o2[x2,y2],...,oN[xN,yN]Ω=o1[x1,y1],o2[x2,y2],...,oN[xN,yN]\Omega = o_1[x_1, y_1], o_2[x_2, y_2], ..., o_N[x_N, y_N] ฉันต้องมีวิธีการตรวจสอบน่าจะเป็นของที่ใหม่วัตถุเป็นของΩดังนั้นผมจึงได้รับคำแนะนำในคำถามว่าจะได้รับความหนาแน่นของความน่าจะเป็นฉผ่านประมาณการความหนาแน่นเคอร์เนลซึ่งผมเชื่อว่าผมมีอยู่แล้ว .p[xp,yp]p[xp,yp]p[x_p, y_p]ΩΩ\Omegaf^f^\hat{f} เนื่องจากเป้าหมายของฉันคือการได้รับความน่าจะเป็นของวัตถุใหม่นี้ ( ) ของที่อยู่ในนี้ 2 มิติชุดข้อมูลΩ , ฉันบอกว่าจะบูรณาการรูปแบบไฟล์ PDF ฉมากกว่า " ค่าของการสนับสนุนที่มีความหนาแน่น น้อยกว่าที่คุณสังเกตเห็น " "การตั้งข้อสังเกต" ความหนาแน่นฉประเมินในวัตถุใหม่P คือ: F ( x P , Y P ) ดังนั้นฉันต้องแก้สมการ:p[xp,yp]p[xp,yp]p[x_p, y_p]ΩΩ\Omegaf^f^\hat{f}f^f^\hat{f}pppf^(xp,yp)f^(xp,yp)\hat{f}(x_p, y_p) ∬x,y:f^(x,y)&lt;f^(xp,yp)f^(x,y)dxdy∬x,y:f^(x,y)&lt;f^(xp,yp)f^(x,y)dxdy\iint_{x, y:\hat{f}(x, y) < \hat{f}(x_p, y_p)} \hat{f}(x,y)\,dx\,dy …

12 probability  maximum-likelihood  kernel-smoothing  numerical-integration 

พิจารณาเชิงเส้นแบบจำลองผลกระทบที่ไม่มีใครสังเกตประเภท: ที่คเป็นลักษณะสังเกต แต่เวลาคงที่และอีเป็นข้อผิดพลาดที่ผมและเสื้อดัชนีสังเกตของแต่ละบุคคลและเวลา ตามลำดับ วิธีการทั่วไปในการแก้ไขเอฟเฟ็กต์คงที่ (FE) คือการลบc iผ่านแต่ละ dummies (LSDV) / de-meaning หรือโดยสร้างความแตกต่างครั้งแรกyit=Xitβ+ci+eityit=Xitβ+ci+eity_{it} = X_{it}\beta + c_{i} + e_{it}ccceeeiiitttcicic_{i} สิ่งที่ฉันได้เคยสงสัยเมื่อเป็นอย่างแท้จริง "คงที่"?cicic_{i} นี่อาจเป็นคำถามที่ไม่สำคัญ แต่ขอให้ฉันยกตัวอย่างสองเหตุผลให้ฉันดู สมมติว่าเราสัมภาษณ์คนในวันนี้และขอให้รายได้ของเธอ, น้ำหนัก, ฯลฯ เราจึงได้รับของเราXในอีก 10 วันข้างหน้าเราจะไปหาคนคนนั้นและสัมภาษณ์เธออีกครั้งทุกวันอีกครั้งดังนั้นเราจึงมีข้อมูลแบบพาเนลสำหรับเธอ เราควรรักษาลักษณะที่ไม่มีใครสังเกตเห็นไว้เป็นระยะเวลา 10 วันซึ่งแน่นอนว่ามันจะเปลี่ยนไปในอนาคต ใน 10 วันความสามารถส่วนตัวของเธออาจไม่เปลี่ยนแปลง แต่จะเกิดขึ้นเมื่อเธออายุมากขึ้น หรือถามอย่างสุดขั้ว: ถ้าฉันสัมภาษณ์คนนี้ทุกชั่วโมงเป็นเวลา 10 ชั่วโมงในหนึ่งวันลักษณะที่ไม่ได้สังเกตของเธอน่าจะได้รับการแก้ไขใน "ตัวอย่าง" นี้ แต่สิ่งนี้มีประโยชน์อย่างไรXXX ทีนี้สมมติว่าเราสัมภาษณ์คนทุกเดือนตั้งแต่ต้นจนจบชีวิตของเธอเป็นเวลา 85 ปีหรือมากกว่านั้น สิ่งที่จะคงอยู่ในเวลานี้? สถานที่เกิดเพศและสีตามีแนวโน้มมากที่สุด แต่นอกเหนือจากนั้นฉันแทบจะไม่สามารถคิดสิ่งอื่นใด แต่ที่สำคัญยิ่งกว่า: …

12 fixed-effects-model  philosophical 

ฉันกำลังทำงานกับอัลกอริทึมที่ใช้ในเวกเตอร์ของจุดข้อมูลล่าสุดจากลำธารเซ็นเซอร์จำนวนหนึ่งและเปรียบเทียบระยะทางแบบยุคลิดกับเวกเตอร์ก่อนหน้านี้ ปัญหาคือกระแสข้อมูลที่แตกต่างกันมาจากเซ็นเซอร์ที่แตกต่างกันอย่างสิ้นเชิงดังนั้นการใช้ระยะทางแบบยุคลิดแบบเรียบง่ายจะทำให้ค่าบางค่าสูงขึ้นอย่างมาก เห็นได้ชัดว่าฉันต้องการวิธีที่จะทำให้ข้อมูลเป็นมาตรฐาน อย่างไรก็ตามเนื่องจากอัลกอริทึมได้รับการออกแบบให้ทำงานแบบเรียลไทม์ฉันไม่สามารถใช้ข้อมูลใด ๆ เกี่ยวกับสตรีมข้อมูลใด ๆ โดยรวมในการทำให้เป็นมาตรฐานได้ จนถึงตอนนี้ฉันเพิ่งจะติดตามค่าที่ใหญ่ที่สุดที่มองเห็นได้สำหรับเซ็นเซอร์แต่ละตัวในระยะเริ่มต้น (เวกเตอร์ข้อมูล 500 ตัวแรก) จากนั้นหารข้อมูลในอนาคตทั้งหมดจากเซ็นเซอร์นั้นด้วยค่านั้น มันใช้งานได้ดีอย่างน่าประหลาดใจ แต่รู้สึกไม่ค่อยดี ฉันไม่ได้โชคดีที่ได้พบอัลกอริทึมที่มีอยู่แล้วสำหรับสิ่งนี้ แต่บางทีฉันแค่ไม่ได้มองในที่ที่เหมาะสม มีใครรู้บ้างไหม หรือมีความคิดใด ๆ ฉันเห็นคำแนะนำหนึ่งข้อในการใช้ค่าเฉลี่ย (อาจคำนวณโดยอัลกอริธึมของ Wellford) แต่ถ้าฉันทำอย่างนั้นการอ่านค่าเดียวกันหลายครั้งจะไม่ปรากฏว่าเหมือนกันซึ่งดูเหมือนว่าจะเป็นปัญหาใหญ่เว้นแต่ฉัน คิดถึงบางอย่าง ความคิดใด ๆ ที่ชื่นชม! ขอบคุณ!

12 time-series  normalization  real-time 

ฉันโพสต์สิ่งนี้ใน mathoverflow และไม่มีใครตอบ: วิธีการของSchefféสำหรับการระบุความแตกต่างอย่างมีนัยสำคัญทางสถิติเป็นที่รู้จักกันอย่างกว้างขวาง ความคมชัดในหมู่หมายถึง ,ของประชากรเป็นเชิงเส้นรวมกันที่ , และเซนต์คิตส์และเนวิสของความคมชัดเป็นหลักความคมชัดเดียวกันดังนั้นใครจะบอกว่าชุดของความแตกต่างเป็นพื้นที่โปรเจค วิธีการของSchefféทดสอบสมมติฐานที่บอกว่าทุกความแตกต่างในหมู่เหล่านี้ประชากรเป็นและกำหนดระดับนัยสำคัญปฏิเสธสมมติฐานที่มีความน่าจะเป็นฉัน= 1 , ... , R R Σ R ฉัน= 1คฉันμ ฉันΣ r ฉัน= 1คฉัน = 0 R 0 อัลฟ่าอัลฟ่า0μผมμi\mu_ii = 1 , … , ri=1,…,ri=1,\ldots,rRrrΣRi = 1คผมμผม∑i=1rciμi\sum_{i=1}^r c_i \mu_iΣRi = 1คผม= 0∑i=1rci=0\sum_{i=1}^r c_i=0Rrr000αα\alphaαα\alphaเนื่องจากสมมติฐานว่างเป็นจริง และหากสมมติฐานว่างถูกปฏิเสธSchefféชี้ให้เห็นว่าการทดสอบของเขาบอกเราว่าข้อแตกต่างอย่างมีนัยสำคัญแตกต่างจาก (ฉันไม่แน่ใจว่าบทความ Wikipedia ที่ฉันเชื่อมโยงกับจุดนั้น)000 ฉันต้องการทราบว่าสามารถทำสิ่งที่คล้ายกันในสถานการณ์ที่แตกต่างกันได้หรือไม่ พิจารณาเชิงเส้นอย่างง่ายรูปแบบการถดถอยที่ , nε …

12 regression  hypothesis-testing  contrasts  np 

ข้อมูลประกอบ:ฉันอ่านบทความหนึ่งที่ผู้เขียนรายงานความสัมพันธ์ของเพียร์สัน 0.754 จากขนาดตัวอย่าง 878 ผล p-value สำหรับการทดสอบความสัมพันธ์คือ "สองดาว" อย่างมีนัยสำคัญ (เช่น p &lt;0.01) อย่างไรก็ตามฉันคิดว่าด้วยขนาดตัวอย่างขนาดใหญ่ค่า p ที่สอดคล้องกันควรน้อยกว่า 0.001 (นั่นคือนัยสำคัญระดับสามดาว) สามารถคำนวณค่า p สำหรับการทดสอบนี้ได้จากสัมประสิทธิ์สหสัมพันธ์ของเพียร์สันและขนาดตัวอย่างหรือไม่? ถ้าใช่สิ่งนี้สามารถทำได้ใน R

12 hypothesis-testing  correlation  p-value  fraud 

ความแปรปรวนของผลิตภัณฑ์ของตัวแปรสุ่มที่สัมพันธ์กันคืออะไร?kkk

12 variance  random-variable 

Wikipediaพูดว่า ขนาดของเอฟเฟกต์เป็นการวัดความแข็งแรงของปรากฏการณ์หรือการประมาณตัวอย่างโดยประมาณของปริมาณนั้น ขนาดของผลกระทบที่คำนวณจากข้อมูลเป็นสถิติเชิงพรรณนาที่สื่อถึงขนาดโดยประมาณของความสัมพันธ์โดยไม่ต้องแถลงใด ๆ ว่าความสัมพันธ์ที่ชัดเจนในข้อมูลนั้นสะท้อนถึงความสัมพันธ์ที่แท้จริงในประชากรหรือไม่ เพื่อให้เข้าใจได้ดีขึ้นฉันสงสัยว่าสถิติเชิงพรรณนาใดที่ไม่ใช่ขนาดผลกระทบยกเว้นกราฟและพล็อต

12 effect-size 

ข้อมูลแบบเกาส์กระจายในมิติเดียวต้องใช้พารามิเตอร์สองตัวในการอธิบายลักษณะ (ค่าเฉลี่ยความแปรปรวน) และข่าวลือมีว่าตัวอย่างที่เลือกแบบสุ่มประมาณ 30 ตัวอย่างเพียงพอที่จะประมาณค่าพารามิเตอร์เหล่านี้ แต่จะเกิดอะไรขึ้นเมื่อจำนวนมิติเพิ่มขึ้น ในสองมิติ (เช่นความสูงน้ำหนัก) ใช้เวลา 5 พารามิเตอร์ในการระบุวงรี "ที่ดีที่สุด" ในสามมิตินี้เพิ่มขึ้นเป็น 9 พารามิเตอร์เพื่ออธิบายรูปวงรีและใน 4 มิติใช้เวลา 14 พารามิเตอร์ ฉันสนใจที่จะทราบว่าจำนวนตัวอย่างที่จำเป็นในการประมาณค่าพารามิเตอร์เหล่านี้ยังเพิ่มขึ้นในอัตราที่เทียบเคียงในอัตราที่ช้ากว่าหรือ (โปรดอย่า!) ในอัตราที่สูงขึ้น ยังดีกว่าถ้ามีกฎของหัวแม่มือยอมรับในวงกว้างที่แนะนำจำนวนตัวอย่างที่จำเป็นในการจำแนกลักษณะการแจกแจงแบบเกาส์ในจำนวนมิติที่กำหนดนั่นจะเป็นการดีที่จะรู้ หากต้องการแม่นยำยิ่งขึ้นสมมติว่าเราต้องการกำหนดขอบเขต "แบบที่เหมาะสมที่สุด" แบบสมมาตรซึ่งมีศูนย์กลางอยู่ที่จุดเฉลี่ยภายในซึ่งเรามั่นใจได้ว่า 95% ของตัวอย่างทั้งหมดจะลดลง ฉันต้องการทราบจำนวนตัวอย่างที่ใช้ในการค้นหาพารามิเตอร์เพื่อประมาณขอบเขตนี้ (ช่วงเวลาใน 1-D, วงรีใน 2-D, ฯลฯ ) ด้วยความมั่นใจสูง (&gt; 95%) และความแตกต่างของจำนวนนั้น จำนวนมิติเพิ่มขึ้น

12 normal-distribution  multivariate-analysis 

ฉันพยายามเข้าใจวิธีใช้การเรียนรู้ของเครื่องเพื่อทำนายไทม์ทางการเงิน 1 ขั้นตอนหรือมากกว่าในอนาคต ฉันมีช่วงเวลาทางการเงินพร้อมข้อมูลเชิงพรรณนาและฉันต้องการจัดทำแบบจำลองจากนั้นใช้แบบจำลองเพื่อทำนายขั้นตอนล่วงหน้า สิ่งที่ฉันได้ทำไปคือ: getSymbols("GOOG") GOOG$sma &lt;- SMA(Cl(GOOG)) GOOG$range &lt;- GOOG$GOOG.High-GOOG$GOOG.Low tail(GOOG) GOOG.Open GOOG.High GOOG.Low GOOG.Close GOOG.Volume GOOG.Adjusted sma range 2013-05-07 863.01 863.87 850.67 857.23 1959000 857.23 828.214 13.20 2013-05-08 857.00 873.88 852.91 873.63 2468300 873.63 834.232 20.97 2013-05-09 870.84 879.66 868.23 871.48 2200600 871.48 840.470 11.43 2013-05-10 875.31 …

12 r  time-series  machine-learning  random-forest  finance 

โปรดช่วยฉันค้นหาการ จำกัด การกระจาย (ดัง ) ของสิ่งต่อไปนี้: ที่จะ IID(0,1)n→∞n→∞n \rightarrow \inftyUn=X1+X2+…+XnX31+X32+…X3n,Un=X1+X2+…+XnX13+X23+…Xn3, U_n = \frac{X_1 + X_2 + \ldots + X_n}{X_1^3 + X_2^3 + \ldots X_n^3},XiXiX_iN(0,1)N(0,1)N(0,1)

12 distributions  normal-distribution  asymptotics 

ในหนังสือของแอนดรูว์เจลแมนเรื่อง "Red State, Blue State" เขาวิเคราะห์ความจริงที่ว่าคนรวยในรัฐใดรัฐหนึ่งมีแนวโน้มที่จะลงคะแนนเสียงให้กับพรรครีพับลิกันมากกว่าคนยากจน แต่รัฐร่ำรวยนั้น มีชื่อสำหรับบุคคลที่ผิดธรรมดานี้หรือไม่? ดูเหมือนว่าฉันจะเกี่ยวข้องกับความขัดแย้งในระบบนิเวศ แต่ไม่เหมือนกัน

12 paradox