สถิติและข้อมูลขนาดใหญ่

ฉันต้องทำการพยากรณ์อนุกรมเวลาโดยอัตโนมัติและฉันไม่ทราบล่วงหน้าเกี่ยวกับคุณลักษณะของซีรี่ส์เหล่านั้น (ฤดูกาล, แนวโน้ม, เสียง, ฯลฯ ) เป้าหมายของฉันคือไม่ได้แบบที่ดีที่สุดเท่าที่จะเป็นไปได้สำหรับแต่ละซีรี่ย์ แต่เพื่อหลีกเลี่ยงโมเดลที่แย่มาก กล่าวอีกนัยหนึ่งการได้รับข้อผิดพลาดเล็ก ๆ น้อย ๆ ทุกครั้งไม่ใช่ปัญหา แต่จะได้รับข้อผิดพลาดใหญ่ ๆ เป็นครั้งคราว ฉันคิดว่าฉันสามารถทำสิ่งนี้ได้โดยการรวมโมเดลที่คำนวณด้วยเทคนิคที่แตกต่างกัน นั่นคือแม้ว่า ARIMA จะเป็นวิธีที่ดีที่สุดสำหรับซีรีส์หนึ่ง แต่มันอาจจะไม่ดีที่สุดสำหรับซีรีย์อื่น เช่นเดียวกับการปรับให้เรียบแบบเอกซ์โพเนนเชียล อย่างไรก็ตามถ้าฉันรวมโมเดลหนึ่งจากแต่ละเทคนิคแม้ว่าหนึ่งโมเดลจะไม่ดีนัก แต่อีกรุ่นจะนำค่าประมาณมาใกล้เคียงกับมูลค่าที่แท้จริงมากขึ้น เป็นที่ทราบกันดีว่า ARIMA ใช้งานได้ดีกว่าสำหรับซีรีย์ที่มีพฤติกรรมดีในระยะยาวในขณะที่การปรับให้เรียบแบบเอ็กซ์โปเนนเชียลนั้นดูโดดเด่นด้วยซีรีย์ที่มีเสียงรบกวนระยะสั้น ความคิดของฉันคือการรวมโมเดลที่สร้างจากทั้งสองเทคนิคเพื่อให้ได้การคาดการณ์ที่มีประสิทธิภาพยิ่งขึ้น อาจมีหลายวิธีในการรวมโมเดลเหล่านั้น หากนี่เป็นวิธีการที่ดีฉันจะรวมมันอย่างไร ค่าเฉลี่ยของการคาดการณ์อย่างง่ายคือตัวเลือก แต่บางทีฉันอาจได้การคาดการณ์ที่ดีกว่าถ้าฉันให้น้ำหนักค่าเฉลี่ยตามแบบวัดความดีของแบบจำลอง อะไรคือการรักษาความแปรปรวนเมื่อรวมตัวแบบ?

13 time-series  forecasting  arima  ensemble  exponential-smoothing 

เราสามารถเขียนทฤษฎีบทของเบย์ได้ p(θ|x)=f(X|θ)p(θ)∫θf(X|θ)p(θ)dθp(θ|x)=f(X|θ)p(θ)∫θf(X|θ)p(θ)dθp(\theta|x) = \frac{f(X|\theta)p(\theta)}{\int_{\theta} f(X|\theta)p(\theta)d\theta} โดยที่คือด้านหลังคือการแจกแจงแบบมีเงื่อนไขและเป็นค่าก่อนหน้าp(θ|x)p(θ|x)p(\theta|x)f(X|θ)f(X|θ)f(X|\theta)p(θ)p(θ)p(\theta) หรือ p(θ|x)=L(θ|x)p(θ)∫θL(θ|x)p(θ)dθp(θ|x)=L(θ|x)p(θ)∫θL(θ|x)p(θ)dθp(\theta|x) = \frac{L(\theta|x)p(\theta)}{\int_{\theta} L(\theta|x)p(\theta)d\theta} โดยที่คือด้านหลังเป็นฟังก์ชันความน่าจะเป็นและเป็นหน้าที่ก่อนp(θ|x)p(θ|x)p(\theta|x)L(θ|x)L(θ|x)L(\theta|x)p(θ)p(θ)p(\theta) คำถามของฉันคือ ทำไมการวิเคราะห์แบบเบย์ทำโดยใช้ฟังก์ชันความน่าจะเป็นและไม่ใช่การแจกแจงแบบมีเงื่อนไข คุณสามารถพูดด้วยคำพูดว่าโอกาสและการแจกแจงแบบมีเงื่อนไขแตกต่างกันอย่างไร? ฉันรู้ว่าโอกาสไม่ได้เป็นการกระจายความน่าจะเป็นและtheta)L(θ|x)∝f(X|θ)L(θ|x)∝f(X|θ)L(\theta|x) \propto f(X|\theta)

13 bayesian  likelihood 

หลังจากรวบรวมข้อเสนอแนะที่มีค่าจากคำถามและการอภิปรายก่อนหน้านี้ฉันได้พบกับคำถามต่อไปนี้: สมมติว่าเป้าหมายคือการตรวจจับความแตกต่างของเอฟเฟ็กต์ทั้งสองกลุ่ม มีสองวิธีในการทำ: ใช้การถดถอยสองแบบแยกกันสำหรับทั้งสองกลุ่มและใช้การทดสอบ Wald เพื่อปฏิเสธ (หรือไม่) สมมติฐานว่าง : b 1 - b 2 = 0โดยที่b 1คือสัมประสิทธิ์ของหนึ่ง IV ในการถดถอยชายและb 2คือ สัมประสิทธิ์ของ IV เดียวกันในการถดถอยหญิงH0H0H_0ข1- ข2= 0b1−b2=0b_1-b_2=0ข1b1b_1ข2b2b_2 รวมกลุ่มทั้งสองเข้าด้วยกันและเรียกใช้โมเดลร่วมโดยรวมเพศจำลองและคำที่ใช้โต้ตอบ (IV * genderdummy) จากนั้นการตรวจจับผลกระทบของกลุ่มจะขึ้นอยู่กับสัญลักษณ์ของการมีปฏิสัมพันธ์และการทดสอบ t เพื่อความสำคัญ เกิดอะไรขึ้นถ้าโฮถูกปฏิเสธในกรณีที่ (1) เช่นความแตกต่างของกลุ่มมีความสำคัญ แต่ค่าสัมประสิทธิ์ของระยะการโต้ตอบในกรณีที่ (2) ไม่มีนัยสำคัญทางสถิตินั่นคือความแตกต่างของกลุ่มนั้นไม่สำคัญ หรือในทางกลับกันโฮจะไม่ปฏิเสธในกรณีที่ (1) และคำที่ใช้ในการโต้ตอบนั้นมีความสำคัญในกรณีที่ (2) ฉันลงเอยด้วยผลลัพธ์นี้หลายครั้งและฉันสงสัยว่าผลลัพธ์จะน่าเชื่อถือมากขึ้นและอะไรคือเหตุผลเบื้องหลังความขัดแย้งนี้ ขอบคุณมาก!

13 statistical-significance  interaction  regression-coefficients 

ฉันมีข้อมูลที่ดูเหมือนว่า: ฉันพยายามที่จะใช้การแจกแจงแบบปกติ (การประมาณความหนาแน่นของเคอร์เนลทำงานได้ดีขึ้น แต่ฉันไม่ต้องการความแม่นยำที่ยอดเยี่ยมเช่นนี้) และใช้งานได้ค่อนข้างดี พล็อตความหนาแน่นทำให้วงรี ฉันต้องใช้ฟังก์ชันวงรีนั้นเพื่อตัดสินใจว่าจุดหนึ่งอยู่ในขอบเขตของวงรีหรือไม่ ทำอย่างไร ยินดีต้อนรับรหัส R หรือ Mathematica

13 r  regression  pdf  bivariate 

ขออภัยหากเป็นคำถามใหม่ ฉันพยายามสอนสถิติตัวเองเป็นครั้งแรก ฉันคิดว่าฉันมีกระบวนการขั้นพื้นฐานที่ลง แต่ฉันพยายามที่จะดำเนินการกับอาร์ ดังนั้นฉันจึงพยายามประเมินความสำคัญของสัมประสิทธิ์การถดถอยในการถดถอยเชิงเส้นหลายรูปแบบ y^=Xβ^y^=Xβ^ \hat y = X \hat \beta ฉันคิดว่าสถิติสำหรับการทดสอบมอบให้โดยH0:β^j=0,Ha:β^j≠0H0:β^j=0,Ha:β^j≠0H_0: \hat \beta_j = 0, H_a: \hat \beta_j \neq 0 เสื้อ0= β^J- 0se ( β^J)= β^Jσ^2คเจเจ-----√= β^JคเจเจSSR e s/ (n-p)--------------√t0=β^j−0se(β^j)=β^jσ^2Cjj=β^jCjjSSRes/(n−p)t_0 = \frac{\hat \beta_j - 0}{\text{se}(\hat \beta_j)} = \frac{\hat \beta_j}{\sqrt{\hat \sigma^2 C_{jj}}} = \frac{\hat \beta_j}{\sqrt{C_{jj} SS_{Res}/(n-p)}} โดยที่คือรายการในแนวทแยงมุมของ1} j t …

13 r  statistical-significance  multiple-regression 

ฉันเจอข้อความที่ดีมากใน Bayes / MCMC ฝ่ายไอทีแนะนำว่าการสร้างมาตรฐานของตัวแปรอิสระของคุณจะทำให้อัลกอริทึม MCMC (Metropolis) มีประสิทธิภาพมากขึ้น นั่นเป็นเรื่องจริงเหรอ? นี่คือสิ่งที่ฉันควรทำตามมาตรฐาน (ขออภัย) Kruschke 2011, ทำการวิเคราะห์ข้อมูลแบบเบย์ (AP) แก้ไข: ตัวอย่างเช่น > data(longley) > cor.test(longley$Unemployed, longley$Armed.Forces) Pearson's product-moment correlation data: longley$Unemployed and longley$Armed.Forces t = -0.6745, df = 14, p-value = 0.5109 alternative hypothesis: true correlation is not equal to 0 95 percent confidence …

13 bayesian  mcmc  multicollinearity  standardization 

สัญชาตญาณ / การตีความของคุณคือการกระจายตัวของค่าลักษณะเฉพาะของเมทริกซ์ความสัมพันธ์คืออะไร? ฉันมักจะได้ยินว่าค่าลักษณะเฉพาะที่ใหญ่ที่สุด 3 ค่าเป็นสิ่งที่สำคัญที่สุดในขณะที่ค่าที่ใกล้เคียงกับศูนย์จะมีเสียง นอกจากนี้ฉันได้เห็นงานวิจัยสองสามฉบับที่สำรวจว่าการกระจายตัวของไอเคิลแวลูเกิดจากการคำนวณค่าความสัมพันธ์แบบสุ่ม (อีกครั้งโดยแยกเสียงจากสัญญาณ) โปรดอธิบายอย่างละเอียดเกี่ยวกับข้อมูลเชิงลึกของคุณ

13 distributions  correlation 

ฉันกำลังพิจารณาสองกลยุทธ์ในการทำ "การเพิ่มข้อมูล" ในการพยากรณ์อนุกรมเวลา ครั้งแรกพื้นหลังเล็กน้อย ตัวทำนายPPPเพื่อคาดการณ์ขั้นตอนถัดไปของอนุกรมเวลา{ Aผม}{Aผม}\lbrace A_i\rbraceเป็นฟังก์ชันที่โดยทั่วไปจะขึ้นอยู่กับสองสิ่งคือสถานะของอนุกรมเวลาที่ผ่านมา แต่ยังรวมถึงรัฐในอดีตของผู้ทำนายด้วย: P( { Aฉัน≤ t - 1} , PSt - 1)P({Aผม≤เสื้อ-1},PSเสื้อ-1)P(\lbrace A_{i\leq t-1}\rbrace,P_{S_{t-1}}) หากเราต้องการปรับ / ฝึกอบรมระบบของเราเพื่อให้ได้PPPที่ดีเราจะต้องมีข้อมูลที่เพียงพอ บางครั้งข้อมูลที่มีอยู่อาจไม่เพียงพอดังนั้นเราจึงพิจารณาเพิ่มข้อมูล วิธีแรก สมมติว่าเรามีชุดเวลา{ Aผม}{Aผม}\lbrace A_i \rbraceกับ1 ≤ ฉัน≤ n1≤ผม≤n1 \leq i \leq n n และสมมติว่าเรามีεε\epsilonที่ตรงตามเงื่อนไขต่อไปนี้: 0 &lt; ϵ &lt; | ฉัน+ 1- กผม| ∀ฉัน∈{1,…,n}0&lt;ε&lt;|Aผม+1-Aผม|∀ผม∈{1,...,n}0<\epsilon < |A_{i+1} - …

13 time-series  data-augmentation 

เมื่อผู้คนพูดถึงเครือข่ายประสาทเทียมพวกเขาหมายความว่าอย่างไรเมื่อพวกเขาพูดว่า "ขนาดเคอร์เนล"? เมล็ดเป็นฟังก์ชันที่คล้ายคลึงกัน แต่สิ่งที่พูดเกี่ยวกับขนาดเคอร์เนล?

13 machine-learning  neural-networks 

ในหนังสือ "ขีด จำกัด ของทฤษฎีความน่าจะเป็น" โดย Valentin V. Petrov ฉันเห็นความแตกต่างระหว่างคำจำกัดความของการแจกแจงว่า "ต่อเนื่อง" และ "ต่อเนื่องอย่างแน่นอน" ซึ่งระบุไว้ดังต่อไปนี้: ( ∗ )(* * * *)(*) "... การแจกแจงของตัวแปรสุ่มXXXถูกกล่าวว่าจะต่อเนื่องถ้าP( X∈ B ) = 0P(X∈B)=0P\left(X \in B\right)=0สำหรับเซตแน่นอนหรือนับได้BBBของคะแนนของเส้นจริง ๆ มันบอกว่าต่อเนื่องอย่างแน่นอนถ้าP( X∈ B ) = 0P(X∈B)=0P\left(X \in B\right)=0สำหรับ Borel ทุกชุดBBB of Lebesgue วัดศูนย์ ... " แนวคิดที่ฉันคุ้นเคยคือ: ( # )(#)(\#) "หากตัวแปรสุ่มมีฟังก์ชันการแจกแจงสะสมอย่างต่อเนื่องแสดงว่าเป็นตัวแปรที่ต่อเนื่องอย่างแน่นอน" คำถามของฉันคือ:คำถามของฉันคือ:\textbf{My …

13 probability  distributions  random-variable 

เป็นเวลามากกว่า 2 ปีแล้วที่ฉันทำงานในซีรีย์ต่างเวลา ฉันได้อ่านบทความมากมายที่ ACF ใช้เพื่อระบุลำดับของคำ MA และ PACF สำหรับ AR มีกฎง่ายๆที่สำหรับ MA ความล่าช้าที่ ACF ปิดทันทีคือลำดับของ MA และในทำนองเดียวกันสำหรับ PACF และ AR นี่คือหนึ่งในบทความที่ฉันติดตามจาก PennState Eberly College of Science คำถามของฉันคือทำไมมันเป็นเช่นนั้น? สำหรับฉัน ACF ยังสามารถให้เทอม AR ได้ ฉันต้องการคำอธิบายของกฎง่ายๆที่กล่าวถึงข้างต้น ฉันไม่สามารถเข้าใจกฎง่ายๆได้อย่างง่ายดาย / ทางคณิตศาสตร์ว่าทำไม - การระบุรูปแบบ AR มักจะทำได้ดีที่สุดด้วย PACF การระบุรูปแบบ MA มักทำได้ดีที่สุดกับ ACF แทนที่จะเป็น PACF โปรดทราบ: - …

13 time-series  arima  autoregressive  moving-average 

ปัญหาการป้อนข้อมูลตามลำดับใดที่เหมาะสมที่สุดสำหรับแต่ละปัญหา มิติข้อมูลเข้ากำหนดว่าการจับคู่แบบใดดีกว่า ปัญหาที่ต้องใช้ "หน่วยความจำที่ยาวนานกว่า" เหมาะกว่าสำหรับ LSTM RNN หรือไม่ขณะที่ปัญหาเกี่ยวกับรูปแบบอินพุตที่เป็นวงจร (ตลาดหุ้น, สภาพอากาศ) จะแก้ไขได้ง่ายขึ้นโดย HMM ดูเหมือนว่ามีการทับซ้อนกันมากมาย ฉันอยากรู้ว่าความแตกต่างที่ลึกซึ้งนั้นมีอยู่ระหว่างสองสิ่งนี้อย่างไร

13 time-series  neural-networks  hidden-markov-model  rnn 

โทโพโลยีของโมเดล Google Inception สามารถพบได้ที่นี่: Google Inception Netowrk ฉันสังเกตเห็นว่ามีซอฟต์แม็กซ์ 3 เลเยอร์ในรุ่นนี้ (# 154, # 152, # 145) และ 2 ในนั้นเป็นรุ่นแรก ๆ ของรุ่นนี้ จากสิ่งที่ฉันรู้เลเยอร์ softmax เป็นผลลัพธ์สุดท้ายดังนั้นทำไมจึงมีมากมาย จุดประสงค์ของอีก 2 เลเยอร์คืออะไร

13 deep-learning  conv-neural-network 

โดยทั่วไปดูเหมือนว่าวิธีการของช่วงเวลาเป็นเพียงการจับคู่ค่าเฉลี่ยตัวอย่างที่สังเกตหรือความแปรปรวนกับช่วงเวลาทางทฤษฎีเพื่อรับการประมาณค่าพารามิเตอร์ นี่มักจะเหมือนกับ MLE สำหรับครอบครัวเอ็กซ์โปเนนเชียลฉันรวบรวม อย่างไรก็ตามมันยากที่จะหาคำจำกัดความที่ชัดเจนของวิธีการของช่วงเวลาและการอภิปรายที่ชัดเจนว่าทำไม MLE ดูเหมือนจะได้รับการสนับสนุนโดยทั่วไปแม้ว่ามันจะเป็นเรื่องยากที่จะหาโหมดของฟังก์ชั่นความน่าจะเป็น คำถามนี้MLE มีประสิทธิภาพมากกว่าวิธี Moment หรือไม่? มีคำพูดจากศ. โดนัลด์รูบิน (ที่ฮาร์วาร์ด) ที่บอกว่าทุกคนรู้จักตั้งแต่ยุค 40 ที่ MLE ชนะ MoM แต่ฉันสนใจที่จะรู้ประวัติหรือเหตุผลในเรื่องนี้

13 maximum-likelihood  method-of-moments 

ผมเจอค่าสัมประสิทธิ์ลูกเต๋าสำหรับความคล้ายคลึงกันเสียง ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) และความถูกต้อง ( https://en.wikipedia.org/wiki/Accuracy_and_precision ) สำหรับฉันแล้วดูเหมือนว่ามาตรการทั้งสองนี้เหมือนกัน ความคิดใด ๆ

13 descriptive-statistics  roc  accuracy  precision-recall  auc