สถิติและข้อมูลขนาดใหญ่

ฉันมักจะได้ยินวลีนี้ แต่ไม่เคยเข้าใจความหมายทั้งหมด วลีที่ว่า "คุณสมบัติ frequentist ดี" มี ~ 2750 ฮิตใน google ในปัจจุบัน 536 ใน scholar.google.com และ4 stats.stackexchange.com สิ่งที่ใกล้เคียงที่สุดที่ฉันพบกับคำจำกัดความที่ชัดเจนมาจากสไลด์สุดท้ายในการนำเสนอของมหาวิทยาลัยสแตนฟอร์ดซึ่งกล่าวถึง [T] เขาหมายถึงการรายงานช่วงเวลาความมั่นใจ 95% คือคุณ“ ดักจับ” พารามิเตอร์ที่แท้จริงใน 95% ของการอ้างสิทธิ์ที่คุณทำแม้กระทั่งกับปัญหาการประมาณการที่แตกต่างกัน นี่คือลักษณะที่กำหนดของขั้นตอนการประมาณค่าซึ่งมีคุณสมบัติของนักสะสมประจำที่ดีพวกเขาสามารถตรวจสอบได้เมื่อใช้ซ้ำ ๆ สะท้อนให้เห็นถึงเรื่องนี้ฉันคิดว่าวลี "คุณสมบัติบ่อย ๆ ดี" หมายถึงการประเมินของวิธีเบย์บางและโดยเฉพาะอย่างยิ่งวิธีเบส์ในการก่อสร้างช่วงเวลา ผมเข้าใจว่าช่วงเวลาแบบเบย์จะหมายถึงการมีค่าที่แท้จริงของพารามิเตอร์ที่มีความน่าจะเป็นพีช่วงเวลาที่พบบ่อยจะหมายถึงการสร้างเช่นว่าหากกระบวนการของการก่อสร้างช่วงเวลาซ้ำหลายครั้งเกี่ยวกับของช่วงเวลาจะมีค่าที่แท้จริงของพารามิเตอร์ ช่วงเวลาแบบเบย์โดยทั่วไปไม่ได้ให้สัญญาใด ๆ เกี่ยวกับสิ่งที่% ของช่วงเวลาจะครอบคลุมถึงมูลค่าที่แท้จริงของพารามิเตอร์ อย่างไรก็ตามวิธีการแบบเบย์บางครั้งก็มีคุณสมบัติที่ถ้าทำซ้ำหลายครั้งพวกเขาครอบคลุมมูลค่าที่แท้จริงเกี่ยวกับp ∗ 100 % p ∗ 100 %pppp∗100%p∗100%p*100\%p∗100%p∗100%p*100\%ของเวลา เมื่อพวกเขามีคุณสมบัตินั้นเราบอกว่าพวกเขามี "คุณสมบัติที่ดีเป็นประจำ" นั่นถูกต้องใช่ไหม? รูปผมว่าต้องมีมากขึ้นไปกว่านั้นเนื่องจากวลีหมายถึง …

12 bayesian  terminology  frequentist 

อนุกรมเวลาที่ไม่หยุดนิ่งทุกตัวสามารถแปลงเป็นอนุกรมเวลาคงที่โดยใช้การเปลี่ยนแปลงที่แตกต่างกันได้หรือไม่? นอกจากนี้คุณจะตัดสินใจลำดับความแตกต่างที่จะใช้ได้อย่างไร คุณเพียงแค่แตกต่างกับช่วงเวลา 1,2 ... n และทำการทดสอบรูทยูนิตของเครื่องเขียนในแต่ละครั้งเพื่อดูว่าซีรีย์ที่ได้นั้นเป็นแบบนิ่งหรือไม่?

12 time-series  stationarity 

ฉันมีเวกเตอร์มากกว่า 3,000 ตัวบนกริดสองมิติพร้อมการกระจายแบบไม่ต่อเนื่องโดยประมาณ เวกเตอร์คู่หนึ่งตอบสนองเงื่อนไขที่แน่นอน หมายเหตุ: เงื่อนไขนี้ใช้ได้กับคู่เวกเตอร์เท่านั้นไม่ใช่กับเวกเตอร์แต่ละตัว ฉันมีรายการประมาณ 1,500 คู่ดังกล่าวลองเรียกมันว่ากลุ่ม 1 กลุ่มที่ 2 มีคู่เวกเตอร์อื่น ๆ ทั้งหมด ฉันต้องการตรวจสอบว่าระยะห่างระหว่างเวกเตอร์ในคู่ในกลุ่ม 1 นั้นมีขนาดเล็กกว่าระยะทางเฉลี่ยระหว่างสองเวกเตอร์หรือไม่ ฉันจะทำสิ่งนั้นได้อย่างไร การทดสอบทางสถิติ : ทฤษฎีบทขีด จำกัด กลางสามารถใช้กับกรณีของฉันได้หรือไม่? นั่นคือฉันสามารถใช้ตัวอย่างระยะทางและใช้การทดสอบ t ของนักเรียนเพื่อเปรียบเทียบวิธีของตัวอย่างที่ปฏิบัติตามเงื่อนไขด้วยวิธีการตัวอย่างที่ไม่ตรงตามเงื่อนไขหรือไม่ มิฉะนั้นการทดสอบทางสถิติใดที่เหมาะสมที่นี่ ขนาดตัวอย่างและจำนวนตัวอย่าง : ฉันเข้าใจว่ามีสองตัวแปรที่นี่สำหรับแต่ละกลุ่มสองฉันต้องใช้ตัวอย่างnขนาดmและหาค่าเฉลี่ยของตัวอย่างแต่ละตัวอย่าง มีวิธีใดหลักการในการเลือกnและm ? พวกเขาควรมีขนาดใหญ่ที่สุด หรือควรให้น้อยที่สุดเท่าที่จะเป็นไปได้ตราบใดที่พวกเขาแสดงนัยสำคัญทางสถิติ? พวกเขาควรจะเหมือนกันสำหรับแต่ละกลุ่มหรือไม่ หรือควรใหญ่กว่าสำหรับกลุ่ม 2 ซึ่งมีจำนวนคู่เวกเตอร์มากกว่านี้

12 statistical-significance  t-test  sample-size  spatial  distance 

สมมติว่าฉันมีเป็น iid และฉันต้องการทดสอบสมมติฐานที่μคือ 0 สมมติว่าฉันมีขนาดใหญ่ n และสามารถใช้ทฤษฎีขีด จำกัด กลางได้ ฉันสามารถทำการทดสอบที่μ 2คือ 0 ซึ่งควรเทียบเท่ากับการทดสอบที่μคือ 0 ยิ่งไปกว่านั้นn ( ˉ X 2 - 0 )มาบรรจบกับไค - สแควร์โดยที่√X1,…,XnX1,…,XnX_1,\ldots,X_nμμ\muμ2μ2\mu^2μμ\mun(X¯2−0)n(X¯2−0)n(\bar{X}^2 - 0)เป็นค่าปกติ เนื่องจาก ˉ X 2มีอัตราคอนเวอร์เจนซ์ที่เร็วกว่าฉันไม่ควรใช้มันสำหรับสถิติการทดสอบและดังนั้นฉันจะได้อัตราคอนเวอร์เจนซ์ที่เร็วขึ้นและการทดสอบจะมีประสิทธิภาพมากขึ้นหรือไม่n−−√(X¯−0)n(X¯−0)\sqrt{n}(\bar{X} - 0)X¯2X¯2\bar{X}^2 ฉันรู้ว่าตรรกะนี้ผิด แต่ฉันคิดและค้นหามานานและไม่สามารถหาสาเหตุได้

12 hypothesis-testing  convergence  delta-method 

ฉันกำลังอ่านเกี่ยวกับการอนุมานแบบเบย์และฉันพบวลี "การรวมเชิงตัวเลขของความเป็นไปได้ที่จะมีราคาแพงเกินไป" ฉันไม่มีพื้นฐานด้านคณิตศาสตร์และฉันสงสัยว่าราคาแพงตรงนี้หรือไม่ มันเป็นเพียงในแง่ของพลังการคำนวณหรือมีอะไรมากกว่านั้น

12 bayesian  numerical-integration  variational-bayes  approximate-inference 

ในความคิดเห็นเกี่ยวกับคำถามอื่นการชี้แจงถูกถามว่าหัวข้อภายใต้การอภิปรายคือ "การนับสัดส่วน" หรือ "สัดส่วนต่อเนื่อง" และการติดตามระบุว่าความแตกต่างเป็นข้อมูลที่สำคัญ (ในหัวข้อของการถดถอยโลจิสติก / ความแตกต่างระหว่างทั้งสองคืออะไรและความแตกต่างที่สำคัญ? สิ่งสำคัญที่ควรคำนึงถึงเมื่อทำงานกับ "สัดส่วนที่นับได้" กับเมื่อทำงานกับ "สัดส่วนที่ต่อเนื่อง" คืออะไร

12 terminology  proportion 

ฉันขาดความเข้าใจอย่างแท้จริงว่าตัวกรอง bootstrap ทำงานอย่างไร ฉันรู้แนวคิดคร่าวๆ แต่ไม่เข้าใจรายละเอียดบางอย่าง คำถามนี้สำหรับฉันที่จะล้างความยุ่งเหยิง ที่นี่ฉันจะใช้อัลกอริทึมตัวกรองยอดนิยมนี้จากการอ้างอิงโดย doucet (จนถึงตอนนี้ฉันคิดว่านี่เป็นการอ้างอิงที่ง่ายที่สุด) ก่อนอื่นให้ฉันบอกคุณว่าปัญหาของฉันคือการทำความเข้าใจว่าการแจกแจงนั้นรู้จักกันที่ไหนและไม่รู้อะไร นี่คือคำถามของฉัน: ใน 2) การกระจายคืออะไร การกระจายนี้เป็นที่รู้จักกัน ? เราจะรู้กระจายนี้สำหรับทุก ? ถ้าใช่ แต่ถ้าเราไม่สามารถลองได้ เป็นเรื่องตลกที่พวกเขาเรียกขั้นตอนการสุ่มตัวอย่างที่สำคัญนี้ แต่ฉันไม่เห็นการกระจายข้อเสนอp(xt|x(i)t−1)p(xt|xt−1(i))p(x_t|x^{(i)}_{t-1})ttt นอกจากนี้ใน 2)การกระจายที่รู้จักหรือไม่ "น้ำหนักความสำคัญของการทำให้เป็นมาตรฐานหมายถึง ? tilde บนและหมายถึงอะไรมันหมายถึงบางสิ่งบางอย่างที่ไม่ถูกสุ่มหรือไม่ได้มาตรฐานตามลำดับ?p(yt|x~(i)t)p(yt|x~t(i))p(y_t|\tilde{x}^{(i)}_{t})w(i)t=w~(i)t∑Ni=1w~(i)twt(i)=w~t(i)∑i=1Nw~t(i)w^{(i)}_{t}=\frac{\tilde{w}^{(i)}_{t}}{\sum_{i=1}^{N}\tilde{w}^{(i)}_{t}}xxxwww ฉันจะขอบคุณถ้าใครสามารถยกตัวอย่างของเล่นง่ายๆโดยใช้ดิสทริบิวชันที่มีชื่อเสียงเพื่อใช้ฟิลเตอร์ bootstrap นี้ เป้าหมายสุดท้ายของตัวกรอง bootstrap นั้นไม่ชัดเจนสำหรับฉัน

12 particle-filter 

ความคืบหน้าล่าสุดในเครือข่ายนิวรัลถูกสรุปโดยลำดับของสถาปัตยกรรมใหม่ที่โดดเด่นด้วยความซับซ้อนของการออกแบบที่เพิ่มขึ้น ตั้งแต่ LeNet5 (1994) ถึง AlexNet (2012) ถึง Overfeat (2013) และ GoogleLeNet / Inception (2014) และอื่น ๆ ... มีความพยายามที่จะให้เครื่องตัดสินใจหรือออกแบบสถาปัตยกรรมใดที่จะใช้ขึ้นอยู่กับข้อมูลหรือไม่?

12 neural-networks  deep-learning 

อ้างถึงหัวข้อนี้: คุณจะอธิบายมาร์คอฟเชนมอนติคาร์โล (MCMC) ให้กับบุคคลทั่วไปได้อย่างไร? . ฉันเห็นได้ว่ามันเป็นการรวมกันของมาร์คอฟเชนและมอนติคาร์โล: โซ่มาร์คอฟถูกสร้างขึ้นด้วยส่วนหลังที่ จำกัด การกระจายตัวและจากนั้นมอนติคาร์โลวาด (ขึ้นอยู่) ทำจากการกระจาย จำกัด (= หลังของเรา) สมมติว่า (ฉันรู้ว่าฉันลดความซับซ้อนที่นี่) หลังจากก้าวไปเราก็ถึงขีด จำกัด การกระจาย (*)ΠLLLΠΠ\Pi ลูกโซ่มาร์คอฟเป็นลำดับของตัวแปรสุ่มฉันได้รับลำดับ , ที่เป็นตัวแปรสุ่มและคือการ จำกัด ' 'ตัวแปรสุ่ม' 'ซึ่งเราต้องการสุ่มตัวอย่าง X1,X2,…,XL,Π,Π,Π,…ΠX1,X2,…,XL,Π,Π,Π,…ΠX_1, X_2, \dots , X_L, \Pi, \Pi, \Pi, \dots \PiXiXiX_iΠΠ\Pi MCMC เริ่มจากค่าเริ่มต้นคือเป็นตัวแปรสุ่มที่มีมวลทั้งหมดในที่หนึ่งค่าx_1ถ้าฉันใช้ตัวอักษรพิมพ์ใหญ่สำหรับตัวแปรสุ่มและตัวอักษรขนาดเล็กสำหรับการรับรู้ของตัวแปรสุ่ม MCMC จะให้ลำดับ . ดังนั้นความยาวของห่วงโซ่ MCMC คือ L + nX1X1X_1x1x1x_1x1,x2,x3,…xL,π1,π2,π3,....πnx1,x2,x3,…xL,π1,π2,π3,....πnx_1,x_2,x_3, \dots x_L, …

12 mcmc 

เรามีวิธีการที่หลากหลายสำหรับการสร้างแบบสุ่มจากการแจกแจงแบบไม่มีตัวแปร (การแปลงผกผันยอมรับ - ปฏิเสธมหานคร - เฮสติ้งส์เป็นต้น) และดูเหมือนว่าเราสามารถสุ่มตัวอย่างจากการแจกแจงที่ถูกต้องใด ๆ คุณสามารถให้ตัวอย่างของการแจกแจงแบบไม่แปรซึ่งเป็นไปไม่ได้ที่จะสุ่มสร้างจากอะไร ผมคิดว่าตัวอย่างเช่นว่าที่มันเป็นไปไม่ได้ไม่ได้อยู่ (?) จึงขอบอกว่าโดย "ไปไม่ได้" เราหมายถึงยังมีกรณีที่มีมาก computationally แพงเช่นที่จำลองความต้องการแรงเดรัจฉานเช่นการวาดภาพจำนวนมากของกลุ่มตัวอย่างที่จะยอมรับเพียง ไม่กี่คน ถ้าตัวอย่างดังกล่าวไม่ได้อยู่ที่เราสามารถจริงพิสูจน์ว่าเราสามารถสร้างแบบสุ่มดึงออกมาจากใด ๆ ที่จัดจำหน่ายถูกต้อง? ฉันแค่อยากรู้อยากเห็นหากมีตัวอย่างตัวอย่างสำหรับเรื่องนี้

12 distributions  simulation  random-generation  mgf  philosophical 

นักเศรษฐศาสตร์เชิงวิชาการมักให้ความสนใจในการกำหนดเวรกรรม ดูเหมือนว่างานด้านวิทยาศาสตร์สถิติ / ข้อมูลภาคเอกชนทั้งหมดที่ฉันได้ยินเกี่ยวกับการหาแบบจำลองการทำนาย มีงานใดในภาคเอกชน (หรืองานของรัฐ) ที่เป็นสาเหตุการวิจัย?

12 econometrics  causality  careers 

ฉันต้องการได้รับช่วงความเชื่อมั่น 95% จากการทำนายของตัวแบบผสมnlmeแบบไม่เป็นเชิงเส้น ในขณะที่ไม่มีมาตรฐานใดให้ทำเช่นนี้ภายในnlmeฉันสงสัยว่ามันถูกต้องหรือไม่ที่จะใช้วิธีการของ "ช่วงการทำนายประชากร" ตามที่ระบุไว้ในบทหนังสือของ Ben Bolker ในบริบทของแบบจำลองที่เหมาะสมกับโอกาสสูงสุดตามแนวคิด resampling พารามิเตอร์ผลกระทบคงที่ตามเมทริกซ์ความแปรปรวนร่วม - ความแปรปรวนร่วมของแบบจำลองที่ติดตั้งใหม่, การจำลองการทำนายตามนี้แล้วนำ 95% เปอร์เซ็นไทล์ของการทำนายเหล่านี้เพื่อให้ได้ช่วงความมั่นใจ 95%? รหัสการทำเช่นนี้มีลักษณะดังนี้: (ฉันที่นี่ใช้ข้อมูล 'Loblolly' จากnlmeไฟล์ช่วยเหลือ) library(effects) library(nlme) library(MASS) fm1 <- nlme(height ~ SSasymp(age, Asym, R0, lrc), data = Loblolly, fixed = Asym + R0 + lrc ~ 1, random = Asym ~ 1, start …

12 r  mixed-model  confidence-interval  lme4-nlme 

ฉันมีซีรีย์เวลารายวันที่สามารถคาดการณ์ได้ค่อนข้างมีฤดูกาลทุกสัปดาห์ ฉันสามารถหาคำทำนายที่ค่อนข้างแม่นยำ (ยืนยันโดยการตรวจสอบข้าม) เมื่อไม่มีวันหยุด อย่างไรก็ตามเมื่อมีวันหยุดฉันมีปัญหาดังต่อไปนี้: ฉันได้รับตัวเลขที่ไม่เป็นศูนย์สำหรับวันหยุดในการคาดการณ์ของฉันแม้ว่าวันหยุดประวัติศาสตร์ทั้งหมดจะเป็น 0 นี่ไม่ใช่ประเด็นหลักจริงๆ ปัญหาคือ ... เนื่องจากการประมวลผลที่ไม่ได้เกิดขึ้นในวันหยุด "หกล้นเกิน" ไปจนถึงวันถัดจากวันหยุดตัวแปรดัมมี่ที่เรียบง่ายไม่ได้ตัดมันเนื่องจากค่าผิดปกติเหล่านี้ดูเหมือนจะเป็นนวัตกรรมระยะสั้น หากไม่มีฤดูกาลประจำสัปดาห์ฉันอาจจะเกิดขึ้นกับการประมาณการสำหรับการกระจายข้อมูลที่ไม่ได้ประมวลผลในวันหยุดในช่วงห้าวันหรือมากกว่านั้นหลังจากวันหยุด (ดังที่แนะนำในวิธีทำคุณสร้างตัวแปรที่สะท้อนถึงโอกาสในการขาย ผลกระทบของปฏิทินในการวิเคราะห์อนุกรมเวลา? ) อย่างไรก็ตามการกระจายของ "การรั่วไหล" ขึ้นอยู่กับวันของสัปดาห์ที่เกิดขึ้นและไม่ว่าวันหยุดจะเป็นวันคริสต์มาสหรือวันขอบคุณพระเจ้าซึ่งคำสั่งซื้อจะถูกวางในอัตราที่ต่ำกว่าช่วงที่เหลือของปี ต่อไปนี้เป็นภาพรวมบางส่วนจากการตรวจสอบความถูกต้องไขว้ของฉันซึ่งแสดงผลลัพธ์ (สีน้ำเงิน) ที่คาดการณ์ไว้กับผลลัพธ์ที่แท้จริง (สีแดง) สำหรับวันหยุดที่ปรากฏในวันที่แตกต่างกันของสัปดาห์: ฉันยังกังวลว่าผลกระทบของคริสต์มาสจะขึ้นอยู่กับวันในสัปดาห์และฉันมีข้อมูลประวัติศาสตร์เพียงหกปีหรือมากกว่านั้น ไม่มีใครมีข้อเสนอแนะใด ๆ เกี่ยวกับวิธีจัดการกับค่าผิดปกติเชิงนวัตกรรมประเภทนี้ในบริบทของการพยากรณ์หรือไม่? (น่าเสียดายที่ฉันไม่สามารถแชร์ข้อมูลใด ๆ ได้)

12 time-series  forecasting  arima  outliers 

การวิเคราะห์การถดถอยแบบ Moderated มักใช้ในสังคมศาสตร์เพื่อประเมินปฏิสัมพันธ์ระหว่างผู้ทำนาย / เพื่อนร่วมทุนสองคนขึ้นไป โดยทั่วไปด้วยตัวแปรทำนายสองตัวจะใช้โมเดลต่อไปนี้: Y=β0+β1∗X+β2∗M+β3∗XM+eY=β0+β1∗X+β2∗M+β3∗XM+eY = β_0 + β_1*X + β_2*M + β_3*XM + e ขอให้สังเกตว่าการทดสอบการกลั่นกรองดำเนินการโดยคำว่าผลิตภัณฑ์XMXMXM (การคูณระหว่างตัวแปรอิสระXXXและตัวแปรผู้ควบคุมMMM ) คำถามพื้นฐานมากของฉันคือทำไมเราจริงคำนวณระยะสินค้าระหว่างXXXและMMM ? ทำไมไม่เช่นนั้นความแตกต่างที่แน่นอน|M−X||M−X||M-X|หรือแค่ผลรวมX+MX+MX + M ? ที่น่าสนใจ Kenny กล่าวถึงปัญหานี้ที่นี่http://davidakenny.net/cm/moderation.htmโดยพูดว่า: "ตามที่เห็นการทดสอบการกลั่นจะไม่สามารถใช้งานได้โดยคำศัพท์ผลิตภัณฑ์ XM" แต่ไม่มีคำอธิบายเพิ่มเติมใด ๆ . ภาพประกอบหรือหลักฐานที่เป็นทางการน่าจะเป็นความกระจ่างฉันเดา / หวังว่า

12 regression  interaction 

สมมติว่าเรามีตัวแปรสุ่มที่มีช่วงของค่าที่ล้อมรอบด้วยและโดยที่คือค่าต่ำสุดและคือค่าสูงสุดaaabbbaaabbb ฉันบอกว่าเป็นโดยที่คือขนาดตัวอย่างของเราการกระจายตัวตัวอย่างของค่าเฉลี่ยตัวอย่างของเราคือการแจกแจงแบบปกติ นั่นคือการที่เราเพิ่มเราได้ใกล้ชิดและใกล้ชิดกับการกระจายปกติ แต่ขีด จำกัด ที่เกิดขึ้นจริงเป็นคือเท่ากับการกระจายปกติn→∞n→∞n \to \inftynnnnnnn→∞n→∞n \to \infty อย่างไรก็ตามไม่ได้เป็นส่วนหนึ่งของคำจำกัดความของการแจกแจงแบบปกติที่จะต้องขยายจากเป็น ?−∞−∞- \infty∞∞\infty ถ้าสูงสุดของช่วงของเราคือแล้วตัวอย่างค่าเฉลี่ยสูงสุด (โดยไม่คำนึงถึงขนาดของกลุ่มตัวอย่าง) เป็นไปได้เท่ากับและตัวอย่างขั้นต่ำเฉลี่ยเท่ากับbbbbbbaaa ดังนั้นจึงดูเหมือนว่าฉันว่าแม้ว่าเราจะใช้วงเงินเป็นแนวทางอินฟินิตี้จัดจำหน่ายของเราไม่ได้มีการกระจายปกติที่เกิดขึ้นจริงเพราะมันมีขอบเขตโดยและขnnnaaabbb ฉันกำลังคิดถึงอะไร

12 normal-distribution  sampling  random-variable  central-limit-theorem