สถิติและข้อมูลขนาดใหญ่

ฉันกำลังมองหาการประมาณการที่มีประสิทธิภาพของค่าเฉลี่ยที่มีคุณสมบัติเฉพาะ ฉันมีชุดขององค์ประกอบที่ฉันต้องการคำนวณสถิตินี้ จากนั้นฉันเพิ่มองค์ประกอบใหม่ทีละรายการและสำหรับองค์ประกอบเพิ่มเติมแต่ละรายการที่ฉันต้องการคำนวณสถิติใหม่ (หรือที่เรียกว่าอัลกอริทึมออนไลน์) ฉันต้องการให้การคำนวณการอัปเดตนี้เป็นไปอย่างรวดเร็วโดยเฉพาะอย่างยิ่ง O (1) นั่นคือไม่ขึ้นอยู่กับขนาดของรายการ ค่าเฉลี่ยปกติมีคุณสมบัตินี้ซึ่งสามารถอัปเดตได้อย่างมีประสิทธิภาพ แต่ไม่ทนทานต่อค่าผิดปกติ ตัวประมาณค่าเฉลี่ยที่แข็งแกร่งของค่าเฉลี่ยเช่นค่าเฉลี่ยระหว่างควอไทล์และค่าเฉลี่ยที่ตัดแต่งไม่สามารถอัปเดตได้อย่างมีประสิทธิภาพ (เนื่องจากต้องการการรักษารายการที่เรียงลำดับ) ฉันขอขอบคุณข้อเสนอแนะสำหรับสถิติที่มีประสิทธิภาพซึ่งสามารถคำนวณ / อัปเดตได้อย่างมีประสิทธิภาพ

9 estimation  mean  robust 

การทดสอบทางสถิติที่รู้จักกันดีคืออะไรเพื่อวัดความดีของตัวแปรสุ่มที่สังเกตได้เพื่อการแจกแจงปัวซอง? ฉันรู้ว่าการทดสอบ Kolmogorov-Smirnov นั้นเป็นแบบนั้นมีคนอื่นอีกไหม?

9 probability  poisson-distribution  goodness-of-fit 

ฉันใช้ Dynamic Time Warping เพื่อจับคู่ "เคียวรี" และเส้นโค้ง "เทมเพลต" และประสบความสำเร็จอย่างสมเหตุสมผล แต่ฉันมีคำถามพื้นฐาน: ฉันกำลังประเมิน "การจับคู่" โดยการประเมินว่าผลลัพธ์ DTW น้อยกว่าค่าเกณฑ์ที่ฉันคิดขึ้นเองหรือไม่ นี่เป็นวิธีทั่วไปในการพิจารณา "จับคู่" โดยใช้ DTW หรือไม่ ถ้าไม่ได้โปรดอธิบาย ... สมมติว่าคำตอบของ (1) คือ "ใช่" จากนั้นฉันสับสนเนื่องจากผลของ DTW ค่อนข้างอ่อนไหวต่อ a) ความแตกต่างของแอมพลิจูดของเส้นโค้งและ b) ความยาวของเวกเตอร์เคียวรีและความยาวของ " แม่แบบ "เวกเตอร์ ฉันใช้ฟังก์ชันขั้นตอนสมมาตรดังนั้นสำหรับ (b) ฉันกำลังทำให้ผลลัพธ์ DTW ของฉันเป็นปกติด้วยการหารด้วย M + N (ความกว้าง + ความสูงของเมทริกซ์ DTW) สิ่งนี้ดูเหมือนว่าจะค่อนข้างมีประสิทธิภาพ แต่ดูเหมือนว่ามันจะลงโทษการแข่งขัน …

9 time-series  normalization  functional-data-analysis 

ฉันใช้อัลกอริทึมต่าง ๆ เพื่อประเมินจำนวนถังขยะที่ดีที่สุดที่จะใช้กับฮิสโทแกรม สิ่งที่ฉันกำลังดำเนินการส่วนใหญ่มีการอธิบายไว้ในหน้า "ฮิสโตแกรม" ของ Wikipedia ในส่วน " จำนวนของถังขยะและความกว้าง " * ฉันติดอยู่กับปัญหาเกี่ยวกับสูตรของ Doane: 1 + log(n) + log(1 + kurtosis(data) * sqrt(n / 6.)) ที่nเป็นขนาดของข้อมูล ปัญหาคือเมื่อ kurtosis เป็นลบและn >> 1เนื่องจากการโต้แย้งของlogกลายเป็นลบ * (หน้านั้นมีการเปลี่ยนแปลงนับตั้งแต่มีการโพสต์ลิงค์แก้ไขเพื่อชี้ไปที่หน้าเหมือนตอนที่โพสต์)

9 histogram  binning 

สแตน (โดยเฉพาะอย่างยิ่ง rstan) มีสิ่งอำนวยความสะดวกในตัวเพื่อสร้างการกระจายหลังที่ทำนายได้หรือไม่? มันไม่ยากที่จะสร้างการกระจายจากสแตนพอดี แต่ฉันไม่อยากประดิษฐ์ล้อ

9 bayesian  posterior  stan 

(ฉันไม่มีความคิดที่แท้จริงว่าจะติดแท็กสิ่งนี้กับอะไรเพราะฉันไม่ใช่นักสถิติและฉันไม่ทราบว่าฟิลด์นี้ตรงกับอะไรรู้สึกฟรีเพื่อเพิ่มแท็กที่เหมาะสมยิ่งขึ้น) ฉันทำงานให้กับ บริษัท ที่ผลิตซอฟต์แวร์วิเคราะห์ข้อมูลและเราต้องการชุดข้อมูลที่เหมาะสมเพื่อทดสอบและสาธิตผลิตภัณฑ์ล่าสุดของเราด้วย เราไม่สามารถเติมเต็มฐานข้อมูลด้วยผลลัพธ์ของตัวสร้างตัวเลขสุ่มได้เนื่องจากผลลัพธ์ของโปรแกรมจะกลายเป็นเรื่องไร้สาระ วิธีที่ง่ายที่สุดวิธีหนึ่งในการรับข้อมูลดังกล่าวมาจากไคลเอนต์ เรามีข้อมูลจำนวนมากจากการทดลองที่เราวิ่ง ตอนนี้เห็นได้ชัดว่าเราไม่สามารถเผยแพร่ข้อมูลจริงของลูกค้าได้ดังนั้นเราจึงจำเป็นต้องแก้ไขข้อมูลเล็กน้อย แต่เรายังต้องการให้มันทำงานเหมือนข้อมูลจริง จุดมุ่งหมายที่นี่คือการใช้ชุดข้อมูลของพวกเขาและใช้ "fuzz" กับมันเพื่อที่จะไม่สามารถจดจำได้ว่าเป็นของพวกเขาโดยเฉพาะ ความทรงจำเกี่ยวกับทฤษฎีทางสถิติของฉันนั้นค่อนข้างคลุมเครือดังนั้นฉันอยากจะเรียกใช้สิ่งนี้โดยพวกคุณ: โดยพื้นฐานแล้วข้อมูลที่เรามี (จากลูกค้า) เป็นตัวอย่างของข้อมูลทั้งหมดที่มีอยู่ (ในประเทศหรือโลก) สิ่งที่ฉันอยากรู้คือประเภทของการดำเนินการที่สามารถนำมาใช้เพื่อทำให้ตัวอย่างไม่ได้เป็นตัวแทนของกลุ่มตัวอย่างของลูกค้าอีกต่อไปในขณะที่ยังคงเป็นตัวแทนของประชากรโลกอย่างคร่าวๆ สำหรับการอ้างอิงเท่าที่เราทราบว่าข้อมูลที่เรามีติดตามการแจกแจงแบบคร่าวๆปกติ (เกาส์) ชุดข้อมูลดั้งเดิมไม่สามารถใช้งานได้อย่างกว้างขวาง แต่อาจได้รับการยอมรับในทางทฤษฎีจากลักษณะเฉพาะบางภูมิภาค (เราไม่ทราบว่าคุณลักษณะเหล่านั้นคืออะไรและเป็นที่น่าสงสัยว่าใครก็ตามสามารถทำได้ในระดับที่เพียงพอ แต่เรารู้ว่า ไปยังสถานที่) อย่างไรก็ตามฉันสนใจทฤษฎีนี้มากกว่าการฝึกฝน - ฉันต้องการทราบว่าการดำเนินการทำให้เป็นไปไม่ได้ (หรืออย่างน้อยก็ยาก) เพื่อระบุชุดข้อมูลต้นฉบับโดยพารามิเตอร์ X ไม่ว่าใครจะมีหรือไม่สามารถทำงานได้ พารามิเตอร์ X ในสถานที่แรก วิธีที่ฉันคิดขึ้นมาก็คือการแยกการอ่านออกเป็นประเภทต่าง ๆ (โดยไม่ให้มากไปสมมติว่ากลุ่มอาจเป็น "ความยาว" หรือ "เวลาที่ใช้ในการทำ X") สำหรับแต่ละคนคำนวณ ส่วนเบี่ยงเบนมาตรฐาน. จากนั้นให้เพิ่มค่าสุ่มระหว่างค่าบวกและลบของ (n * stddev) โดยที่ n …

9 data-cleaning 

หากฉันต้องกำหนดพิกัดและโดยที่(X1,Y1)(X1,Y1)(X_{1},Y_{1})(X2,Y2)(X2,Y2)(X_{2},Y_{2}) X1,X2∼ ยูนิฟ( 0 , 30 ) และ Y1,Y2~ ยูนิฟ( 0 , 40 )X1,X2∼Unif(0,30) and Y1,Y2∼Unif(0,40).X_{1},X_{2} \sim \text{Unif}(0,30)\text{ and }Y_{1},Y_{2} \sim \text{Unif}(0,40). ฉันจะหาค่าที่คาดหวังของระยะทางระหว่างพวกเขาได้อย่างไร ฉันคิดว่าเนื่องจากระยะทางคำนวณโดยค่าที่คาดหวัง เพิ่งจะเป็น ?(X1-X2)2+ (Y1-Y2)2-------------------√)(X1−X2)2+(Y1−Y2)2)\sqrt{(X_{1}-X_{2})^{2} + (Y_{1}-Y_{2})^{2}})( 1 /วันที่ 30 + 1 /วันที่ 30)2+ ( 1 / 40 + 1 / 40)2(1/30+1/30)2+(1/40+1/40)2(1/30 + 1/30)^2 + (1/40+1/40)^2

9 expected-value  uniform  distance 

ฉันมีรูปแบบการถดถอยที่มีลักษณะเช่นนี้: Y=β0+β1X1+β2X2+β3X3+β12X1X2+β13X1X3+β123X1X2X3Y=β0+β1X1+β2X2+β3X3+β12X1X2+β13X1X3+β123X1X2X3Y = \beta_0+\beta_1X_1 + \beta_2X_2 + \beta_3X_3 +\beta_{12}X_1X_2+\beta_{13}X_1X_3+\beta_{123}X_1X_2X_3 ... หรือในสัญกรณ์ R: y ~ x1 + x2 + x3 + x1:x2 + x1:x3 + x1:x2:x3 สมมติว่า X1X1X_1 และ X2X2X_2 เป็นตัวแปรเด็ดขาดและ X3X3X_3เป็นตัวเลข ภาวะแทรกซ้อนก็คือX1X1X_1 มีสามระดับ X1 ก,X1 b,X1 คX1a,X1b,X1cX_{1a}, X_{1b}, X_{1c} และแทนที่จะเป็นความแตกต่างมาตรฐานฉันต้องทดสอบ: ไม่ว่าจะเป็นการสกัดกั้นระดับ X1aX1aX_{1a} แตกต่างจากการสกัดกั้นโดยเฉลี่ยสำหรับระดับ X1bX1bX_{1b} และ X1cX1cX_{1c}. ไม่ว่าจะเป็นการตอบสนองของ X2X2X_2 แตกต่างกันอย่างมีนัยสำคัญระหว่างระดับ X1aX1aX_{1a} …

9 r  contrasts 

ฉันมีข้อมูลบางอย่างที่ไม่สามารถสันนิษฐานได้ว่ามาจากการแจกแจงแบบปกติและฉันต้องการทำการทดสอบความเท่าเทียมกันระหว่างกลุ่ม สำหรับข้อมูลปกติมีเทคนิคเช่น TOST (การทดสอบสองด้านเดียว) TOST มีข้อมูลใดที่คล้ายคลึงกับข้อมูลปกติหรือไม่

9 hypothesis-testing  equivalence  tost 

ไม่มีใครรู้วิธีที่ดีในการพิจารณาว่าการจัดกลุ่มโดยใช้ kmeans เหมาะสมหรือไม่ นั่นคือสิ่งที่ถ้าตัวอย่างของคุณเป็นเนื้อเดียวกันจริง ๆ ? ฉันรู้ว่าแบบจำลองการผสม (ผ่าน mclust ใน R) จะให้ข้อมูลสถิติที่เหมาะสมสำหรับกรณีคลัสเตอร์ 1: k แต่ดูเหมือนว่าเทคนิคทั้งหมดในการประเมิน kmeans ต้องการอย่างน้อย 2 กลุ่ม ไม่มีใครรู้เทคนิคในการเปรียบเทียบเคส 1 และ 2 กลุ่มสำหรับ kmeans

9 r  clustering  k-means 

ใครช่วยได้โปรดแนะนำว่าฉันจะคำนวณฟังก์ชันสร้างโมเมนต์ของผลิตภัณฑ์ภายในของเวกเตอร์สุ่มแบบเกาส์สองตัวได้อย่างไรแต่ละแบบกระจายเป็นเป็นอิสระจากกัน? มีผลลัพธ์มาตรฐานสำหรับสิ่งนี้ไหม ตัวชี้ใด ๆ ที่ชื่นชมอย่างมากยังไม่มีข้อความ( 0 ,σ2)N(0,σ2)\mathcal N(0,\sigma^2)

9 normal-distribution  mathematical-statistics  multivariate-analysis  moments  mgf 

คำถามล่าสุด , คำถามที่เกี่ยวข้องและแหล่งที่มาอ้างว่าทำเมื่อเร็ว ๆ นี้ผมทราบว่ายังไม่มีข้อความ- 1N−1N-1การแก้ไขสำหรับการประมาณการตัวอย่างความแปรปรวนของประชากรจะเรียกว่าการแก้ไขของ Bessel เบสเซิลเสียชีวิตในปี 1846 ( การอ้างอิงวิกิพีเดีย ) และการทดสอบ t ถูกตีพิมพ์ในปี 1908 ( การอ้างอิงวิกิพีเดีย ) ด้วยเหตุผลบางอย่างฉันคิดเสมอว่าการมีส่วนร่วมของ Gosset (หรือที่รู้จักว่านักเรียน) ในการกำหนด t-test คือการใช้ยังไม่มีข้อความ- 1N−1N-1 ในการคำนวณ s2s2s^2. ดูเหมือนว่าการมีส่วนร่วมนี้จะเป็นของ Bessel อย่างชัดเจน ในหลอดเลือดดำนี้ฉันถามว่าอะไรคือผลงานของ Gosset ในการจัดทำแบบทดสอบ

9 distributions  t-test  history 

ฉันสนใจในการเชื่อมโยงบันทึกข้าม 2 ชุดข้อมูลโดยชื่อนามสกุลและปีเกิด อาจเป็นไปได้ด้วยอัลกอริทึม EM และถ้าเป็นเช่นนั้นได้อย่างไร ลองพิจารณาบันทึกต่อไปนี้ในตัวอย่างที่ 1: Carl McCarthy, 1967 ฉันจะค้นหาข้อมูลทั้งหมดในชุดข้อมูลชุดที่ 2 และกำหนดระยะทาง jaro-winkler ระหว่างชื่อที่ 1 และ Carl และระยะทาง jaro-winkler ระหว่างนามสกุลและ McCarthy ระยะทางเหล่านี้น่าจะเป็นเช่นเดียวกับระยะห่างระหว่างปีเกิด เรารวม 3 ความน่าจะเป็นเหล่านั้น (คูณด้วยค่าเฉลี่ย?) เป็น 1 ตอนนี้ส่วนกฎการตัดสินใจมา ให้เราจัดอันดับความน่าจะเป็นทั้งหมดจากมากไปหาน้อย ก่อนอื่นเราต้องการ P (การเข้าชมครั้งแรกคือการจับคู่)> = ธรณีประตู ประการที่สองเราต้องการ P (การเข้าชมครั้งแรกคือการจับคู่) / P (การเข้าชมครั้งที่สองคือการจับคู่)> = เกณฑ์ถ้า P (การเข้าชมครั้งที่สองเป็นการจับคู่) อยู่ ประการที่สามเราต้องการการโจมตีครั้งแรกในชุดข้อมูลที่สองนี้เพื่อจับคู่ไม่เกิน 1 …

9 machine-learning  stata  expectation-maximization  record-linkage  perl 

ในบท "ถดถอยไปสู่ค่าเฉลี่ย" ของ "การคิดเร็วและช้า" โดย Daniel Kahneman มีการแจกตัวอย่างและผู้อ่านจะต้องคาดการณ์ยอดขายของร้านค้าแต่ละแห่งที่กำหนดยอดขายโดยรวมและยอดขายจากปีที่แล้ว . เช่น (ตัวอย่างหนังสือมี 4 ร้านฉันใช้ 2 ที่นี่เพื่อความเรียบง่าย): Store 2011 2012 1 100 ? 2 500 ? Total 600 660 การคาดการณ์ที่ไร้เดียงสาจะอยู่ที่ 110 และ 550 สำหรับร้านค้า 1 และ 2 และ 10% สำหรับแต่ละร้าน อย่างไรก็ตามผู้เขียนอ้างว่าวิธีการที่ไร้เดียงสานี้ผิด มีโอกาสมากที่ร้านค้าที่มีประสิทธิภาพต่ำกว่าจะเพิ่มขึ้นมากกว่า 10% และร้านค้าที่มีประสิทธิภาพดีกว่าจะเพิ่มขึ้น (หรือลดลง) น้อยกว่า 10% ดังนั้นการคาดการณ์ที่ 115 (เพิ่มขึ้น 15%) และ …

9 regression 

ฉันกำลังสร้างเครื่องมือพยากรณ์แบบโต้ตอบ (เป็นไพ ธ อน) เพื่อช่วยในการพยากรณ์ที่ทำในองค์กรของฉัน จนถึงปัจจุบันกระบวนการพยากรณ์ได้รับแรงผลักดันจากมนุษย์เป็นส่วนใหญ่โดยนักพยากรณ์จะดูดซึมข้อมูลในเครือข่ายประสาทธรรมชาติของพวกเขาและใช้ความรู้สึกที่ได้เรียนรู้เพื่อคาดการณ์ จากการตรวจสอบการคาดการณ์ระยะยาวและการศึกษาการสร้างแบบจำลองเชิงทำนายที่ฉันทำฉันพบว่าคุณอาจคาดหวัง นักพยากรณ์ที่แตกต่างกันแสดงอคติที่แตกต่างกันผลกระทบของนักทำนายบางคนดูเหมือนจะพูดเกินจริงและคนอื่น ๆ ที่สำคัญดูเหมือนว่าจะถูกเพิกเฉยและโดยทั่วไปประสิทธิภาพของการพยากรณ์นั้นค่อนข้างปานกลาง การคาดการณ์จะยังคงเป็นคู่มือ แต่ฉันกำลังพยายามสร้างเครื่องมือที่มีประโยชน์เพื่อให้นักพยากรณ์ได้ปริมาณที่ดีขึ้นของผลกระทบสัมพัทธ์ของตัวทำนาย นอกจากนี้ยังมีเอฟเฟกต์ที่สำคัญเช่นอิทธิพลตามฤดูกาลที่มักถูกมองข้ามว่าฉันต้องการให้เครื่องมือเน้นไปที่ผู้ใช้ ฉันคาดหวังระดับ backlash และความสงสัยเกี่ยวกับกระบวนการสร้างแบบจำลองจากนักพยากรณ์ 'ที่มีประสบการณ์' บางคน (หลายคนมีความรู้อย่างเป็นทางการเกี่ยวกับสถิติ) ดังนั้นการสื่อสารจึงมีความสำคัญน้อยที่สุดและประสิทธิภาพของตัวแบบในแง่ของ บรรลุการปรับปรุงที่วัดได้ในความถูกต้องของการคาดการณ์ แบบจำลองที่ฉันกำลังพัฒนามีองค์ประกอบถอยหลังอัตโนมัติที่แข็งแกร่งซึ่งบางครั้งก็มีการแก้ไขอย่างมีนัยสำคัญโดยเหตุการณ์ที่แสดงเป็นค่าที่วัดได้ในตัวทำนายบางตัวที่อยู่ในช่วงเวลาที่ไม่ใช่เหตุการณ์ สิ่งนี้สอดคล้องกับโมเดลจิตที่นักพยากรณ์ใช้ ส่วนสำคัญคือความสามารถในการแสดงให้เห็นว่าการวัด 'เหตุการณ์' ใดมีอิทธิพลมากที่สุดในการผลักดันการทำนายออกไปจากค่าการถดถอยอัตโนมัติสำหรับการคาดการณ์ใด ๆ ฉันถ่ายภาพกระบวนการด้วยวิธีนี้ ผู้พยากรณ์ทำนายค่าที่ดีที่สุดของพวกเขาแบบจำลองเสนอสิ่งที่แตกต่างและผู้ทำนายถามว่าทำไม แบบจำลองตอบกลับบางสิ่งเช่น "ดูที่นี่ค่านี้ของตัวทำนายนี้จะเพิ่มค่าการคาดการณ์ในฤดูร้อนถ้าเป็นฤดูหนาวมันจะย้ายไปทางอื่นฉันรู้ว่ามีการวัดอื่น ๆ เหล่านี้ ทีนี้ลองนึกภาพตัวแบบคือการถดถอยเชิงเส้นอย่างง่าย ใคร ๆ ก็จินตนาการได้ว่าการแสดง 'ผล' สัมพัทธ์ของตัวทำนายตามเหตุการณ์โดยการคูณค่าด้วยแบบจำลองประสิทธิภาพร่วมกันและแสดงเป็นแผนภูมิแท่งแบบง่าย แท่งทั้งหมดจากตัวทำนายที่ต่างกันรวมถึงค่าเบี่ยงเบนทั้งหมดจากค่า AR และสิ่งนี้แสดงให้เห็นอย่างชัดเจนและชัดเจนว่าในกรณีนี้มีอิทธิพลอย่างมาก ปัญหาคือกระบวนการคาดการณ์แสดงระดับความไม่เป็นเชิงเส้นในตัวทำนายสูงหรืออย่างน้อยฉันก็ประสบความสำเร็จมากขึ้นกับอัลกอริธึมการเรียนรู้ของเครื่องที่ไม่เป็นเชิงเส้นกล่องดำ (ฟอเรสต์แบบสุ่มและ GBM) ชุดข้อมูลนี้ เป็นการดีที่ฉันต้องการที่จะสามารถเปลี่ยนรูปแบบการทำงาน 'ภายใต้ประทุน' ได้อย่างราบรื่นโดยไม่มีการเปลี่ยนแปลงประสบการณ์ของผู้ใช้ดังนั้นฉันต้องการวิธีการทั่วไปในการแสดงให้เห็นถึงความสำคัญของการวัดที่แตกต่างกันโดยไม่ต้องใช้วิธีเฉพาะ วิธีการปัจจุบันของฉันคือการตั้งค่าผลกระทบเชิงเส้นเสมือนโดยการตั้งค่าทั้งหมดเป็นศูนย์ยกเว้นสำหรับตัวทำนายหนึ่งบันทึกการเบี่ยงเบนที่ทำนายแล้วทำซ้ำสำหรับตัวทำนายทั้งหมดโดยแสดงผลลัพธ์ในแผนภูมิแท่งที่กล่าวถึงข้างต้น …

9 data-visualization  communication