สถิติและข้อมูลขนาดใหญ่

สมมติว่าสถานการณ์ต่อไปนี้: เรามีจำนวนมาก (เช่น 20) กับกลุ่มขนาดเล็ก (เช่น n = 3) ฉันสังเกตเห็นว่าถ้าฉันสร้างค่าจากการกระจายแบบสม่ำเสมอส่วนที่เหลือจะดูปกติประมาณแม้ว่าการกระจายข้อผิดพลาดจะเหมือนกัน รหัส R ต่อไปนี้แสดงให้เห็นถึงพฤติกรรมนี้: n.group = 200 n.per.group = 3 x <- runif(n.group * n.per.group) gr <- as.factor(rep(1:n.group, each = n.per.group)) means <- tapply(x, gr, mean) x.res <- x - means[gr] hist(x.res) ถ้าฉันดูตัวอย่างที่เหลือในกลุ่มที่สามเหตุผลของพฤติกรรมชัดเจน: r1=x1−mean(x1,x2,x3)=x1−x1+x2+x33=23x1−x2−x3.r1=x1−mean(x1,x2,x3)=x1−x1+x2+x33=23x1−x2−x3. r_1 = x_1 - \text{mean}(x1, x2, x3) …

12 anova  normal-distribution  small-sample 

ฉันกำลังอ่านบทความในบล็อกของ William Briggs นักสถิติและคำกล่าวอ้างต่อไปนี้สนใจฉันที่จะพูดน้อยที่สุด คุณทำอะไรจากมัน ช่วงความมั่นใจคืออะไร? แน่นอนว่าเป็นสมการที่จะให้ช่วงเวลาสำหรับข้อมูลของคุณ มันมีไว้เพื่อให้การวัดความไม่แน่นอนของการประมาณการพารามิเตอร์ ทีนี้อย่างเคร่งครัดตามทฤษฎีของนักความถี่ - ซึ่งเราสามารถสรุปได้ว่าเป็นเรื่องจริง - สิ่งเดียวที่คุณสามารถพูดเกี่ยวกับ CI ที่คุณมีอยู่ในมือคือมูลค่าที่แท้จริงของพารามิเตอร์นั้นอยู่ในนั้นหรือไม่ นี่คือการพูดซ้ำซากดังนั้นจึงเป็นเรื่องจริงเสมอ ดังนั้น CI จึงไม่ได้ทำการวัดความไม่แน่นอนเลยในความเป็นจริงมันเป็นการออกกำลังกายที่ไร้ประโยชน์ในการคำนวณ ลิงก์: http://wmbriggs.com/post/3169/

12 confidence-interval  frequentist  philosophical 

ฉันมีปัญหาในการทำความเข้าใจในสถานการณ์ที่แนวทาง MCMC มีประโยชน์จริง ๆ ฉันกำลังดูตัวอย่างของเล่นจากหนังสือ Kruschke "Doing Bayesian Data Analysis: A Tutorial with R and BUGS" สิ่งที่ฉันเข้าใจเพื่อให้ห่างไกลคือการที่เราต้องมีการกระจายเป้าหมายซึ่งเป็นสัดส่วนกับp(D|θ)p(θ)p(D|θ)p(θ)p(D|\theta)p(\theta)เพื่อให้มีตัวอย่างของP(θ|D)P(θ|D)P(\theta|D) ) อย่างไรก็ตามดูเหมือนว่าเมื่อเรามีp(D|θ)p(θ)p(D|θ)p(θ)p(D|\theta)p(\theta)เราเพียงต้องการทำให้การกระจายแบบปกติเพื่อให้ได้ภาพหลังและปัจจัยการทำให้เป็นมาตรฐานนั้นสามารถพบได้ง่ายในเชิงตัวเลข ดังนั้นสิ่งที่เป็นกรณีเมื่อเป็นไปไม่ได้?

12 mcmc 

ฉันได้อ่านว่าการถดถอยของสันสามารถทำได้โดยการเพิ่มแถวของข้อมูลลงในเมทริกซ์ข้อมูลดั้งเดิมซึ่งแต่ละแถวถูกสร้างขึ้นโดยใช้ 0 สำหรับตัวแปรตามและรากที่สองของหรือศูนย์สำหรับตัวแปรอิสระ เพิ่มแถวพิเศษหนึ่งแถวสำหรับแต่ละตัวแปรอิสระkkk ฉันสงสัยว่ามันเป็นไปได้ที่จะได้รับการพิสูจน์ในทุกกรณีรวมถึงการถดถอยโลจิสติกหรือ GLM อื่น ๆ

12 logistic  generalized-linear-model  ridge-regression 

สมมติว่าตัวแปรสุ่มตามการแจกแจงแบบต่อเนื่องพร้อมพารามิเตอร์ 0 และ 10 (เช่น )U ∼ U ( 0 , 10 )UUUU∼U(0,10)U∼U(0,10)U \sim \rm{U}(0,10) ทีนี้เรามาแทนเหตุการณ์ที่ = 5 และ B เหตุการณ์ที่เท่ากับหรือ 6 ตามความเข้าใจของฉันเหตุการณ์ทั้งสองมีความน่าจะเป็นศูนย์ที่จะเกิดขึ้นU 5UUUUUU555 ตอนนี้ถ้าเราพิจารณาที่จะคำนวณเราไม่สามารถใช้กฎหมายเงื่อนไข เนื่องจากเท่ากับศูนย์ แต่สัญชาตญาณของฉันบอกฉันว่า1/2P ( A | B ) = P ( A ∩ B )P(A|B)P(A|B)P(A|B) P(B)P(|B)=1/2P(A|B)=P(A∩B)P(B)P(A|B)=P(A∩B)P(B)P\left( {A|B} \right) = \frac{{P\left( {A \cap B} \right)}}{{P\left( B \right)}}P(B)P(B)P(B)P(A|B)=1/2P(A|B)=1/2P(A|B) …

12 conditional-probability  continuous-data  uniform 

ในห้องเรียนของฉันเกี่ยวกับ data mining วิธี holdout ถูกนำเสนอเป็นวิธีการประเมินประสิทธิภาพของแบบจำลอง อย่างไรก็ตามเมื่อฉันเข้าชั้นเฟิสต์คลาสของฉันในโมเดลเชิงเส้นนี่ไม่ได้ถูกนำมาใช้เป็นวิธีการตรวจสอบความถูกต้องของแบบจำลอง การวิจัยออนไลน์ของฉันยังไม่แสดงจุดแยก เหตุใดจึงไม่ใช้วิธีการพักในสถิติแบบดั้งเดิม

12 regression  validation  model-evaluation  out-of-sample 

Bahman Bahmani และคณะ แนะนำ k-mean || ซึ่งเป็นเวอร์ชั่นที่เร็วกว่าของ k-mean ++ อัลกอริทึมนี้นำมาจากหน้า 4 ของกระดาษ , Bahmani, B. , Moseley, B. , Vattani, A. , Kumar, R. , และ Vassilvitskii, S. (2012) ปรับขนาด k- หมายถึง ++ การดำเนินการของ VLDBเอ็นดาวเม้นท์, 5 (7), 622-633 น่าเสียดายที่ฉันไม่เข้าใจตัวอักษรกรีกแฟนซีเหล่านั้นดังนั้นฉันต้องการความช่วยเหลือในการทำความเข้าใจวิธีการทำงานของมัน เท่าที่ฉันเข้าใจอัลกอริทึมนี้เป็นรุ่นปรับปรุงของ k-หมายถึง ++ และใช้การสุ่มตัวอย่างเพื่อลดจำนวนการทำซ้ำ: k-หมายถึง ++ ต้องทำซ้ำคูณโดยที่คือจำนวนคลัสเตอร์ที่ต้องการkkkkkk ฉันได้คำอธิบายที่ดีมากผ่านตัวอย่างที่เป็นรูปธรรมเกี่ยวกับการทำงานของ k-mean ++ ดังนั้นฉันจะใช้ตัวอย่างเดียวกันอีกครั้ง …

12 clustering  k-means 

มีคำว่า "เครือข่ายประสาท" และ "perceptron" ต่างกันไหม?

12 machine-learning  neural-networks  terminology  perceptron 

คำถาม: การ บูตสแตรปจะดีกว่าการใช้แม่แรง อย่างไรก็ตามฉันสงสัยว่ามีบางกรณีที่ jackknifing เป็นตัวเลือกเดียวหรืออย่างน้อยที่เป็นไปได้สำหรับการจำแนกลักษณะความไม่แน่นอนจากการประมาณค่าพารามิเตอร์ นอกจากนี้ในสถานการณ์จริงที่ว่าวิธีการลำเอียง / คลาดเคลื่อนนั้นมีความสัมพันธ์กับการบีบรัดและความสามารถในการให้ความรู้เบื้องต้นก่อนการพัฒนา bootstrap ที่ซับซ้อนมากขึ้น? บริบทบางอย่าง: เพื่อนกำลังใช้อัลกอริทึมการเรียนรู้เครื่องดำ ( MaxEnt ) เพื่อจำแนกข้อมูลทางภูมิศาสตร์ที่เป็น "การแสดงตนเท่านั้น" หรือ "การบวกเท่านั้น" การประเมินรูปแบบทั่วไปโดยทั่วไปจะใช้ cross-validation และ ROC curves อย่างไรก็ตามเธอใช้เอาต์พุตของโมเดลเพื่อรับรายละเอียดตัวเลขเดียวของเอาต์พุตโมเดลและต้องการช่วงความมั่นใจรอบหมายเลขนั้น Jackknifing ดูเหมือนจะเป็นวิธีที่เหมาะสมในการอธิบายลักษณะของความไม่แน่นอนเกี่ยวกับค่านี้ การเริ่มการบูตไม่เกี่ยวข้องเนื่องจากจุดข้อมูลแต่ละจุดเป็นตำแหน่งที่ไม่ซ้ำกันบนแผนที่ที่ไม่สามารถสุ่มตัวอย่างได้ด้วยการแทนที่ โปรแกรมการสร้างแบบจำลองของตัวเองอาจจะสามารถให้สิ่งที่เธอต้องการในที่สุด; อย่างไรก็ตามฉันสนใจโดยทั่วไปหาก / เมื่อ jackknifing มีประโยชน์

12 machine-learning  cross-validation  bootstrap  maximum-entropy  jackknife 

ฉันสนใจผลการวิจัยของบทความนี้จาก 2009: ทำไมผู้หญิงถึงเก่งที่สุดในการเล่นหมากรุก? อัตราการมีส่วนร่วมและความแตกต่างทางเพศในโดเมนทางปัญญา บทความนี้พยายามอธิบายว่าทำไมผู้เล่นหมากรุกชายที่เก่งที่สุดจึงดีกว่าผู้เล่นเพศหญิงที่ดีที่สุด (เพศหญิงคิดเป็นเพียง 2% ของผู้เล่น 1,000 คนที่ดีที่สุดในโลก) โดยเฉพาะพวกเขาอ้างว่าความแตกต่างระหว่างผู้เล่นหมากรุกที่ดีที่สุดกับผู้เล่นหมากรุกหญิงที่ดีที่สุดนั้นถูกอธิบายโดยข้อเท็จจริง 2 ประการ: มีผู้เล่นหมากรุกมากกว่าตัวเมียถึง 15 เท่า เราคาดว่าอัตราส่วนนี้จะทวีความรุนแรงมากที่ปลายสุดของการกระจายทั้งหมดด้วยเหตุผลทางสถิติ วิธีเสนอราคากระดาษ: แม้ว่าสองกลุ่มจะมีค่าเฉลี่ยเดียวกัน (หมายถึง) และความแปรปรวน (sd) บุคคลที่มีประสิทธิภาพสูงสุดมีแนวโน้มที่จะมาจากกลุ่มที่ใหญ่กว่า ยิ่งความแตกต่างของขนาดระหว่างสองกลุ่มมากเท่าไหร่ก็ยิ่งมีความแตกต่างมากขึ้นระหว่างนักแสดงอันดับต้น ๆ ในทั้งสองกลุ่ม และอีกครั้ง, การศึกษาครั้งนี้แสดงให้เห็นว่าความแตกต่างที่ยอดเยี่ยมในการเล่นหมากรุกของชายและหญิงสามารถนำมาประกอบกับข้อเท็จจริงทางสถิติอย่างง่าย - ค่าที่มากขึ้นนั้นพบมากในประชากรที่มีขนาดใหญ่ขึ้น ถ้าผู้เล่นหมากรุกเพียง 6% เป็นเพศหญิงเราคาดว่าจะมีเพียง 2% ใน 1,000 อันดับแรกดังนั้นจึงไม่มีคำอธิบายอื่น ๆ เกี่ยวกับความแตกต่างทางชีวภาพหรือความเอนเอียงทางสังคม คำถามของฉัน ฉันไม่สามารถเข้าใจความคิดที่ว่าความแตกต่างเล็ก ๆ ของขนาดประชากรนั้นเลวร้ายไปกว่าตอนปลายสุดของการกระจาย โดยเฉพาะอย่างยิ่งมีอะไรผิดปกติกับตัวอย่างเคาน์เตอร์นี้: ผู้เล่นหมากรุกประมาณ 1 ใน 12 คนเกิดในเดือนมกราคม ดังนั้นพวกเขาจึงทำขึ้นเล็กน้อยของผู้เล่นหมากรุกทั้งหมด …

12 population  extreme-value 

ฉันพบคำถามเชิงปฏิบัติจำนวนมากเมื่อสร้างแบบจำลองนับข้อมูลจากการวิจัยเชิงทดลองโดยใช้การทดสอบภายในเรื่อง ฉันอธิบายการทดลองข้อมูลและสิ่งที่ฉันได้ทำไปแล้วตามด้วยคำถามของฉัน มีการฉายภาพยนตร์สี่เรื่องที่แตกต่างกันตามตัวอย่างของผู้ตอบแบบสอบถาม หลังจากภาพยนตร์แต่ละเรื่องทำการสัมภาษณ์กันซึ่งเราได้นับจำนวนการปรากฏของข้อความบางอย่างที่น่าสนใจสำหรับ RQ (ตัวแปรการนับที่คาดการณ์) นอกจากนี้เรายังบันทึกจำนวนสูงสุดของเหตุการณ์ที่เป็นไปได้ (หน่วยการเข้ารหัสตัวแปรออฟเซ็ต) นอกจากนี้ยังมีการวัดคุณลักษณะหลายอย่างของภาพยนตร์ในระดับต่อเนื่องซึ่งสำหรับหนึ่งเรามีสมมติฐานเชิงสาเหตุของผลกระทบของคุณลักษณะภาพยนตร์ที่มีต่อการนับข้อความในขณะที่คุณสมบัติอื่น ๆ เป็นตัวควบคุม (ตัวทำนาย) กลยุทธ์การสร้างแบบจำลองที่นำมาใช้จนถึงมีดังนี้: ประมาณค่าแบบจำลองเอฟเฟกต์ปัวซงโดยใช้ตัวแปรสาเหตุเป็นตัวแปรร่วมและตัวแปรอื่น ๆ เป็นตัวแปรควบคุม รุ่นนี้มีการชดเชยเท่ากับ 'บันทึก (หน่วย)' (หน่วยการเข้ารหัส) เอฟเฟกต์แบบสุ่มจะถูกนำไปใช้กับตัวแบบ (จำนวนเฉพาะของภาพยนตร์นั้นซ้อนอยู่ในตัวแบบ) เราพบว่าสมมติฐานเชิงสาเหตุได้รับการยืนยัน (sig. สัมประสิทธิ์ของตัวแปรเชิงสาเหตุ) ในการประมาณค่าเราใช้แพ็คเกจ lme4 ใน R โดยเฉพาะฟังก์ชัน glmer ตอนนี้ฉันมีคำถามต่อไปนี้ ปัญหาที่พบบ่อยในการถดถอยปัวซองคือ ฉันรู้ว่าสิ่งนี้สามารถทดสอบได้โดยใช้การถดถอยแบบทวินามลบและประเมินว่าพารามิเตอร์การกระจายของมันช่วยปรับปรุงแบบจำลองของปัวซองแบบง่าย ๆ หรือไม่ อย่างไรก็ตามฉันไม่รู้ว่าจะทำอย่างไรในบริบทของเอฟเฟกต์แบบสุ่ม ฉันควรทดสอบ overispersion ในสถานการณ์ของฉันอย่างไร ฉันทดสอบการกระจายตัวมากเกินไปในปัวซอง / การถดถอยแบบทวินามเชิงลบอย่างง่าย (ที่ไม่มีเอฟเฟกต์แบบสุ่ม) ที่ฉันรู้ว่าจะพอดีได้อย่างไร การทดสอบแสดงให้เห็นการปรากฏตัวของ overdispersion อย่างไรก็ตามเนื่องจากรุ่นเหล่านี้ไม่ได้พิจารณาการจัดกลุ่มฉันจึงคิดว่าการทดสอบนี้ไม่ถูกต้อง นอกจากนี้ฉันไม่แน่ใจเกี่ยวกับบทบาทของออฟเซ็ตสำหรับการทดสอบการเกินขนาด มีแบบจำลองการถดถอยเอฟเฟกต์แบบสุ่มแบบลบทวินามแบบลบหรือไม่และฉันควรใส่ใน …

12 generalized-linear-model  negative-binomial  glmm  poisson-regression  overdispersion 

TL; DR: lme4การเพิ่มประสิทธิภาพที่ดูเหมือนจะเป็นเชิงเส้นในจำนวนของพารามิเตอร์แบบโดยค่าเริ่มต้นและเป็นวิธีที่ช้ากว่าเทียบเท่าglmรุ่นด้วยตัวแปรดัมมี่สำหรับกลุ่ม มีอะไรที่ฉันสามารถทำได้เพื่อเร่งความเร็วหรือไม่ ฉันพยายามจัดวางโมเดล logit แบบลำดับชั้นที่ค่อนข้างใหญ่ (ประมาณ 50k แถว, 100 คอลัมน์, 50 กลุ่ม) การปรับโมเดล logit ปกติให้เข้ากับข้อมูล (ด้วยตัวแปรดัมมี่สำหรับกลุ่ม) ทำงานได้ดี แต่โมเดลลำดับชั้นดูเหมือนจะติดขัด: ขั้นตอนการปรับให้เหมาะสมครั้งแรกจะเสร็จสมบูรณ์ดี แต่ครั้งที่สองผ่านการทำซ้ำจำนวนมาก . แก้ไข:ฉันสงสัยว่าปัญหาส่วนใหญ่คือฉันมีพารามิเตอร์มากมายเพราะเมื่อฉันพยายามตั้งค่าmaxfnที่ต่ำกว่าจะให้คำเตือน: Warning message: In commonArgs(par, fn, control, environment()) : maxfun < 10 * length(par)^2 is not recommended. อย่างไรก็ตามการประมาณพารามิเตอร์ไม่ได้เปลี่ยนแปลงตลอดเวลาของการปรับให้เหมาะสมดังนั้นฉันยังคงสับสนเกี่ยวกับสิ่งที่ต้องทำ เมื่อฉันพยายามตั้งค่าmaxfnในตัวควบคุมเครื่องมือเพิ่มประสิทธิภาพ (แม้จะมีคำเตือน) ดูเหมือนว่าจะหยุดทำงานหลังจากการปรับให้เหมาะสมเสร็จแล้ว นี่คือรหัสบางส่วนที่สร้างปัญหาให้กับข้อมูลสุ่ม: library(lme4) set.seed(1) SIZE <- 50000 …

12 r  mixed-model  optimization  lme4-nlme  numerics 

ฉันจะแก้ปัญหานี้ได้อย่างไร ฉันต้องการสมการระดับกลาง บางทีคำตอบคือ(x)−tf(x)−tf(x)-tf(x) ddt[∫∞txf(x)dx]ddt[∫t∞xf(x)dx] \frac{d}{dt} \left [\int_t^\infty xf(x)\,dx \right ] f(x)f(x)f(x)เป็นฟังก์ชันความหนาแน่นของความน่าจะเป็น กล่าวคือและ\ lim \ limit_ {x \ to \ infty} F (x) = 1limx→∞f(x)=0limx→∞f(x)=0\lim\limits_{x \to \infty} f(x) = 0limx→∞F(x)=1limx→∞F(x)=1\lim\limits_{x \to \infty} F(x) = 1 แหล่งที่มา: http://www.actuaries.jp/lib/collection/books/H22/H22A.pdf p.40 ลองใช้สมการกลางด้านล่าง: ddt[∫∞txf(x)dx]=ddt[[xF(x)]∞t−∫∞tF(x)dx]??ddt[∫t∞xf(x)dx]=ddt[[xF(x)]t∞−∫t∞F(x)dx]?? \frac{d}{dt} \left [\int_t^\infty xf(x)\,dx \right ] = \frac{d}{dt} \left [\left [xF(x) …

12 probability  distributions  self-study  mathematical-statistics 

ในวรรณคดีคำทั้งสองมักจะใช้คำพ้องความหมายหรือ interwoven ตอนนี้ฉันกำลังพยายามหาความแตกต่างที่ชัดเจนระหว่างคำทั้งสอง จากมุมมองของฉันสมมติฐานมักจะแสดงออกผ่านแบบจำลอง ดังนั้นแม้ว่าเราจะทดสอบสมมติฐานว่างกับทางเลือกจากมุมมองของฉันเรากำลังทำการเลือกแบบจำลอง ใครสามารถให้คำอธิบายที่เข้าใจง่ายเกี่ยวกับความแตกต่างนี้ได้?

12 hypothesis-testing  model-selection  regression-strategies 

ฉันมักจะใช้ระดับความเชื่อมั่น 90% โดยยอมรับว่าสิ่งนี้มีระดับความไม่แน่นอนมากกว่า 95% หรือ 99% แต่มีแนวทางใดบ้างในการเลือกระดับความมั่นใจที่ถูกต้อง? หรือแนวทางสำหรับระดับความเชื่อมั่นที่ใช้ในด้านต่างๆ นอกจากนี้ในการตีความและนำเสนอระดับความเชื่อมั่นมีคำแนะนำในการเปลี่ยนตัวเลขเป็นภาษาหรือไม่ ตัวอย่างเช่นคำแนะนำเช่นนี้สำหรับ r ของ Pearson ( แก้ไข:คำอธิบายเหล่านี้มีไว้สำหรับสังคมศาสตร์): http://faculty.quinnipiac.edu/libarts/polsci/Statistics.html ปรับปรุง ขอบคุณสำหรับคำตอบด้านล่าง พวกเขาล้วนมีประโยชน์มีประโยชน์ลึกซึ้งและให้คำแนะนำ นอกจากนี้ด้านล่างเป็นบทความที่ดีเกี่ยวกับการเลือกระดับนัยสำคัญ (โดยพื้นฐานแล้วเป็นคำถามเดียวกัน) ที่ฉันได้พบขณะที่มองคำถามนี้ พวกเขาตรวจสอบสิ่งที่พูดในคำตอบด้านล่าง "นัยสำคัญของนัยสำคัญ 0.05 คืออะไร" http://www.p-value.info/2013/01/whats-significance-of-005-significance_6.html "บนต้นกำเนิดของนัยสำคัญทางสถิติที่ระดับ. 05" http://www.radford.edu/~jaspelme/611/Spring-2007/Cowles-n-Davis_Am-Psyc_orignis-of-05-level.pdf "วิธีการทางวิทยาศาสตร์: ข้อผิดพลาดทางสถิติ" http://www.nature.com/news/scientific-method-statistical-errors-1.14700

12 statistical-significance  confidence-interval  confidence  presentation