สถิติและข้อมูลขนาดใหญ่

ถ้าX∼U(a,b)X∼U(a,b)X \sim U(a, b)และY∼U(a,X)Y∼U(a,X)Y \sim U(a, X)ฉันจะพูดได้ไหมว่าY∼U(a,b)?Y∼U(a,b)?Y \sim U(a, b)? ฉันกำลังพูดคุยเกี่ยวกับการกระจายสม่ำเสมออย่างต่อเนื่องกับข้อ จำกัด[a,b][a,b][a, b] ] หลักฐานจะได้รับการชื่นชม

10 uniform  distributions 

ในการสร้างแบบจำลองสมการโครงสร้างที่มีตัวแปรแฝง (SEM), การสร้างแบบจำลองทั่วไปคือ "ตัวบ่งชี้หลาย, หลายสาเหตุ" (MIMIC) ที่ตัวแปรแฝงเกิดจากตัวแปรบางอย่างและสะท้อนให้เห็นโดยคนอื่น นี่คือตัวอย่างง่ายๆ: โดยพื้นฐานแล้วf1เป็นผลการถดถอยสำหรับx1, x2และx3, และy1, y2และเป็นตัวชี้วัดการวัดสำหรับy3f1 หนึ่งยังสามารถกำหนดตัวแปรแฝงคอมโพสิตที่ตัวแปรแฝงโดยทั่วไปจำนวนการรวมกันน้ำหนักของตัวแปรองค์ประกอบ นี่คือคำถามของฉัน:มีความแตกต่างระหว่างการกำหนดf1เป็นผลการถดถอยและการกำหนดเป็นผลประกอบในแบบจำลอง MIMIC? การทดสอบโดยใช้lavaanซอฟต์แวร์Rแสดงให้เห็นว่าค่าสัมประสิทธิ์เหมือนกัน: library(lavaan) # load/prep data data <- read.table("http://www.statmodel.com/usersguide/chap5/ex5.8.dat") names(data) <- c(paste("y", 1:6, sep=""), paste("x", 1:3, sep="")) # model 1 - canonical mimic model (using the '~' regression operator) model1 <- ' f1 =~ y1 + …

10 sem  latent-variable  lavaan 

ในวรรณคดีการเรียนรู้ของเครื่องเพื่อแสดงถึงการแจกแจงความน่าจะเป็นฟังก์ชัน softmax มักถูกใช้ มีเหตุผลสำหรับสิ่งนี้หรือไม่? เหตุใดจึงไม่ใช้ฟังก์ชันอื่น

10 machine-learning  distributions  softmax 

ให้X1,…,XnX1,…,XnX_1,\dots,X_nเป็นตัวอย่างของตัวแปรสุ่มแบบเลขชี้กำลังของ iid ที่มีค่าเฉลี่ยββ\betaและให้X(1),…,X(n)X(1),…,X(n)X_{(1)},\dots,X_{(n)}เป็นสถิติการสั่งซื้อจากตัวอย่างนี้ ให้X¯=1n∑ni=1XiX¯=1n∑i=1nXi\bar X = \frac{1}{n}\sum_{i=1}^n X_iฉัน กำหนดระยะห่างWi=X(i+1)−X(i) ∀ 1≤i≤n−1.Wi=X(i+1)−X(i) ∀ 1≤i≤n−1.W_i=X_{(i+1)}-X_{(i)}\ \forall\ 1 \leq i \leq n-1\,. มันสามารถแสดงให้เห็นว่าแต่ละWiWiW_iเป็นเลขชี้กำลังด้วยค่าเฉลี่ยβi=βn−iβi=βn−i\beta_i=\frac{\beta}{n-i}ฉัน คำถาม:ฉันจะไปเกี่ยวกับการหาวิธีP(WiX¯>t)P(WiX¯>t)\mathbb{P}\left( \frac{W_i}{\bar X} > t \right)ที่tttรู้จักและไม่เป็นลบ? พยายาม:ฉันรู้ว่านี้จะมีค่าเท่ากับ1−FWi(tX¯)1−FWi(tX¯)1 - F_{W_i}\left(t \bar X\right) ) ดังนั้นผมจึงใช้กฎหมายของความน่าจะรวมเช่นดังนั้น: P(Wi>tX¯)=1−FWi(tX¯)=1−∫∞0FWi(ts)fX¯(s)ds,P(Wi>tX¯)=1−FWi(tX¯)=1−∫0∞FWi(ts)fX¯(s)ds, \mathbb{P}\left( W_i > t \bar X \right) = 1 - F_{W_i}\left( t \bar X \right) = …

10 probability  distributions  exponential  order-statistics 

ในฟิสิกส์หรือคณิตศาสตร์กลเริ่มจากตำแหน่งตามเวลา , หนึ่งได้รับอัตราการเปลี่ยนแปลงผ่านอนุพันธ์ที่เกี่ยวกับเวลา: ความเร็ว, การเร่ง, เหวี่ยง (ลำดับที่ 3), jounce (ลำดับที่ 4)x ( t )x(เสื้อ)x(t) มีบางคนเสนอ snap, crackle, popสำหรับอนุพันธ์ถึงลำดับที่เจ็ด ช่วงเวลาที่ได้รับแรงบันดาลใจจากฟิสิกส์เชิงกลและทฤษฎีความยืดหยุ่นนั้นมีความสำคัญในสถิติเช่นกันดู'ช่วงเวลา' เกี่ยวกับ 'ช่วงเวลา' ของการแจกแจงความน่าจะเป็นอย่างไร สำหรับการกล่าวถึงต้นในงานของคุณเพียร์สัน -lag cumulants แรกซึ่งบางครั้งเป็นมาตรฐานหรือกึ่งกลางเป็นความแปรปรวนชื่อคลาสสิก(คำสั่งที่ 2) ความเบ้ (คำสั่งที่ 3) และkurtosis หรือความเรียบ (ลำดับที่ 4)000 มีการยอมรับกันโดยทั่วไปหรือชื่อที่เป็นที่ยอมรับสำหรับลำดับที่ 5 หรือลำดับที่ 6 หรือมากกว่าและนอกเหนือจาก (นอกเหนือจาก "ช่วงเวลาที่สูงขึ้นของคำสั่งซื้อ") ถึงแม้ว่าการประมาณของพวกเขาจะมีปัญหาในตัวอย่าง จำกัด การอ้างอิงจากสูตรอาหารเชิงตัวเลขรุ่นที่ 3: ศิลปะการคำนวณทางวิทยาศาสตร์หน้า 723 : ควรใช้ความเบ้ (หรือช่วงเวลาที่สาม) …

10 distributions  terminology  moments  notation  history 

\newcommand{\P}{\mathbb{P}}ฉันกำลังจะตายอย่างยุติธรรม เมื่อใดก็ตามที่ฉันได้รับ 1, 2 หรือ 3 ฉันจะเขียน '1' เมื่อใดก็ตามที่ฉันได้ 4 ฉันเขียน '2'; เมื่อใดก็ตามที่ฉันได้ 5 หรือ 6 ฉันจะเขียน '3' ให้NNNเป็นจำนวนพ่นฉันต้องการสำหรับผลิตภัณฑ์ของตัวเลขทั้งหมดที่ผมเขียนลงไปเป็น≥100000≥100000\geq 100000100000 ฉันต้องการคำนวณ (หรือโดยประมาณ) P(N≥25)P(N≥25)\P(N\geq 25)และการประมาณสามารถให้เป็นฟังก์ชันของการแจกแจงแบบปกติ ครั้งแรกผมรู้ว่าP(N≥11)=1P(N≥11)=1\P(N\geq 11) = 1เพราะlog3100.000≈10.48log3⁡100.000≈10.48\log_3 100.000 \approx 10.4810.48 ทีนี้ลองaaa , bbbและcccเป็นจำนวนครั้งที่ผมเขียน 1, 2 และ 3 ตามลำดับ แล้ว: P(a,b,c∣n)=⎧⎩⎨⎪⎪(na,b,c)(12)a(16)b(13)c0 if a+b+c=n otherwiseP(a,b,c∣n)={(na,b,c)(12)a(16)b(13)c if a+b+c=n0 otherwise\P(a,b,c\mid n) = \begin{cases}\displaystyle\binom …

10 probability  normal-distribution  conditional-probability  multinomial  distributions 

จากชื่อฉันต้องการทราบว่ามีการทดสอบทางสถิติที่สามารถช่วยฉันระบุความแตกต่างที่สำคัญระหว่างอนุกรมเวลาสองชุดที่คล้ายกันได้หรือไม่ โดยเฉพาะเมื่อดูรูปด้านล่างฉันต้องการตรวจสอบว่าซีรีย์เริ่มเบี่ยงเบนเวลา t1 คือเมื่อความแตกต่างระหว่างพวกเขาเริ่มมีนัยสำคัญ ยิ่งกว่านั้นฉันจะตรวจจับเมื่อความแตกต่างระหว่างซีรีย์กลับมามีความหมายไม่มาก มีการทดสอบทางสถิติที่มีประโยชน์ในการทำเช่นนี้หรือไม่?

10 time-series  statistical-significance  variance  convergence  trend 

ในฐานะที่เป็นคู่ของโพสต์นี้ฉันทำงานเกี่ยวกับการจำลองข้อมูลที่มีตัวแปรต่อเนื่องให้ยืมตัวเองเพื่อดักความสัมพันธ์และความลาดชัน แม้ว่าจะมีโพสต์ที่ยอดเยี่ยมเกี่ยวกับหัวข้อนี้ในเว็บไซต์และนอกไซต์แต่ฉันมีปัญหาในการหาตัวอย่างตั้งแต่ต้นจนจบด้วยข้อมูลจำลองที่ขนานกับสถานการณ์ในชีวิตจริงที่เรียบง่าย ดังนั้นคำถามคือวิธีการจำลองข้อมูลเหล่านี้และการทดสอบ "" lmerมันด้วย ไม่มีอะไรใหม่สำหรับหลาย ๆ คน แต่อาจเป็นประโยชน์สำหรับคนอื่น ๆ ที่ค้นหาเพื่อทำความเข้าใจกับโมเดลที่หลากหลาย

10 regression  mixed-model  lme4-nlme 

หาก PDF ปกติมาตรฐานคือf(x)=12π−−√e−x2/2f(x)=12πe−x2/2f(x) = \frac{1}{\sqrt{2\pi}} e^{-x^2/2} และ CDF คือ F(x)=12π−−√∫x−∞e−x2/2dx,F(x)=12π∫−∞xe−x2/2dx,F(x) = \frac{1}{\sqrt{2\pi}} \int_{-\infty}^x e^{-x^2/2}\mathrm{d}x\,, นี่จะกลายเป็นฟังก์ชันข้อผิดพลาดของอย่างไร?zzz

10 normal-distribution  cdf 

ฉันมาข้ามมานี้ซึ่งผมไม่เข้าใจ: ถ้าX1, X2, . . . , XnX1,X2,...,XnX_1, X_2, ..., X_nเป็นตัวอย่างแบบสุ่มขนาด n นำมาจากประชากรของค่าเฉลี่ยμμ\muและความแปรปรวนσ2σ2\sigma^2จากนั้น X¯= ( X1+ X2+ . . . + Xn) / nX¯=(X1+X2+...+Xn)/n\bar{X} = (X_1 + X_2 + ... + X_n)/n E( X¯) = E( X1+ X2+ . . . + Xn) / n = ( 1 / n …

10 random-variable  expected-value  mean  iid 

ฉันทำการวิจัยเกี่ยวกับเกมเพื่อการศึกษาและบางโครงการในปัจจุบันของฉันเกี่ยวข้องกับการใช้ข้อมูลจากBoardGameGeek (BGG) และVideoGameGeek (VGG) เพื่อตรวจสอบความสัมพันธ์ระหว่างองค์ประกอบการออกแบบของเกม (เช่น "ตั้งอยู่ในสงครามโลกครั้งที่สอง", "เกี่ยวข้องกับลูกเต๋ากลิ้ง" ) และการจัดอันดับผู้เล่นของเกมเหล่านั้น (เช่นคะแนนจาก 10) องค์ประกอบการออกแบบเหล่านี้แต่ละรายการสอดคล้องกับแท็กในระบบ BGG หรือ VGG ดังนั้นองค์ประกอบแต่ละรายการจึงเป็นตัวแปรแบบแยกส่วน เกมมี 1 สำหรับทุกแท็กที่มีอยู่ในฐานข้อมูลของมันและ 0 สำหรับทุกแท็กที่ไม่มีอยู่ มีแท็กเหล่านี้อยู่หลายสิบแท็กดังนั้นฉันต้องการใช้การวิเคราะห์ปัจจัยเชิงสำรวจ (EFA) เพื่อสร้าง "แนว" จำนวนที่จัดการได้ซึ่งจับรูปแบบในการออกแบบเกม ให้คำปรึกษากับแหล่งข้อมูลหลายแห่งฉันเข้าใจว่าเนื่องจากฉันทำงานกับตัวแปรแบบแบ่งขั้วฉันควรใช้ความสัมพันธ์แบบpolychoric ( tetrachoricโดยเฉพาะที่นี่) แทนที่จะเป็นแบบเพียร์สันเมื่อมากับปัจจัยของฉัน (มีตัวเลือกอื่น ๆ เช่นการวิเคราะห์ลักษณะแฝง ออกไปข้างนอก แต่นี่คือสิ่งที่ฉันกำลังสำรวจ) จากความอยากรู้ฉันได้รับปัจจัยสองชุดหนึ่งชุดโดยใช้สหสัมพันธ์ของเพียร์สันและอีกชุดหนึ่งที่ใช้สหสัมพันธ์พอลิคอซิค (ปัจจัยจำนวนเดียวกันในแต่ละครั้ง) ปัญหาของฉันคือปัจจัยที่คำนวณโดยใช้สหสัมพันธ์ของเพียร์สันทำให้เข้าใจได้ง่ายขึ้นและตีความได้ง่ายกว่าปัจจัยที่คำนวณโดยใช้สหสัมพันธ์ของพอลิคอริก กล่าวอีกนัยหนึ่ง "ประเภท" จากชุดแรกของปัจจัยทำให้เข้าใจง่ายและสอดคล้องกับความเข้าใจของฉันเกี่ยวกับวิธีการออกแบบเกมโดยทั่วไป นั่นไม่ใช่กรณีสำหรับปัจจัยชุดที่สอง ในอีกด้านหนึ่งฉันต้องการตรวจสอบให้แน่ใจว่าฉันทำตามข้อสันนิษฐานของการทดสอบที่ฉันใช้อยู่แม้ว่ามันจะทำให้ผลลัพธ์ของฉันออกมาสวยน้อยลง ในอีกด้านหนึ่งฉันรู้สึกว่าส่วนหนึ่งของเป้าหมายของการวิเคราะห์ปัจจัยและการสร้างแบบจำลอง (กว้างขึ้น) คือการหาสิ่งที่มีประโยชน์และข้อมูลที่เป็นประโยชน์มากขึ้นก็จะปรากฏขึ้นเมื่อฉัน "ผิดกฎ" จำเป็นต้องมีแบบจำลองที่มีประโยชน์เพียงพอที่จะเกินดุลที่ละเมิดสมมติฐานของการทดสอบนี้หรือไม่? อะไรคือผลที่ตามมาจากการใช้เพียร์สันสหสัมพันธ์แทนที่จะเป็นพอลิคอร์ติก?

10 r  categorical-data  factor-analysis  binary-data 

SSSเป็นชุดบางคนที่มีn∈Nn∈Nn\in\mathbb{N}องค์ประกอบและ 1 , 2 , . . , เมตรได้รับการแก้ไขจำนวนเต็มบวกน้อยกว่าหรือเท่ากับna1,a2,...,ama1,a2,...,ama_1,a_2,...,a_mnnn ที่มีองค์ประกอบของSSSเป็นอย่างเท่าเทียมกันมีแนวโน้มmmmตัวอย่างL1,L2,...,LmL1,L2,...,LmL_1, L_2,...,L_mจะแยกกันและเป็นอิสระมาจากSSSโดยไม่ต้องเปลี่ยนขนาดของซึ่งเป็น1 , 2 , . . , a , mตามลำดับa1,a2,...,ama1,a2,...,ama_1,a_2,...,a_m cardinality ตัดของกลุ่มตัวอย่าง|L1∩L2∩ ... ∩Lm||L1∩L2∩ ... ∩Lm|\left|L_1\cap L_2\cap\ ...\ \cap L_m\right|ได้โดยทั่วไปสนับสนุนเท่ากับ{0,1,...,min{a1,a2,...,am}}{0,1,...,min{a1,a2,...,am}}\{0,1,...,\min\{a_1,a_2,...,a_m\}\}แต่กระจายไม่ได้ทำตาม?

10 combinatorics 

ฉันอ่านตัวอย่างที่กำหนดในหนังสือเครื่องเรียนรู้สำหรับแฮกเกอร์ ฉันจะทำอย่างละเอียดในตัวอย่างก่อนแล้วพูดคุยเกี่ยวกับคำถามของฉัน ตัวอย่าง : ใช้ชุดข้อมูลเป็นเวลา 10 ปีของราคาหุ้น 25 ใช้ PCA ในราคาหุ้น 25 เปรียบเทียบองค์ประกอบหลักกับดัชนี Dow Jones สังเกตความคล้ายคลึงกันที่แข็งแกร่งระหว่าง PC และ DJI! จากสิ่งที่ฉันเข้าใจตัวอย่างเป็นเหมือนของเล่นที่ช่วยให้มือใหม่อย่างฉันเข้าใจว่าเครื่องมือ PCA นั้นมีประสิทธิภาพเพียงใด! อย่างไรก็ตามการอ่านจากแหล่งข้อมูลอื่นฉันเห็นว่าราคาหุ้นไม่คงที่และใช้ PCA ในราคาหุ้นนั้นเป็นเรื่องไร้สาระ แหล่งที่มาจากที่ฉันอ่านเยาะเย้ยความคิดทั้งหมดของการคำนวณความแปรปรวนร่วมและ PCA สำหรับราคาหุ้น คำถาม : ตัวอย่างทำงานได้ดีอย่างไร PCA ของราคาหุ้นและ DJI นั้นใกล้กันมาก และข้อมูลนั้นเป็นข้อมูลจริงจากราคาหุ้น 2545-2554 ใครบางคนสามารถบอกให้ฉันทราบถึงแหล่งข้อมูลที่ดีสำหรับการอ่านข้อมูลที่อยู่กับที่ / ไม่อยู่นิ่ง ฉันเป็นโปรแกรมเมอร์ ฉันมีพื้นฐานคณิตศาสตร์ที่ดี แต่ฉันไม่ได้ทำคณิตศาสตร์อย่างจริงจังเป็นเวลา 3 ปี ฉันเริ่มอ่านอีกครั้งเกี่ยวกับสิ่งต่าง ๆ เช่นการเดินแบบสุ่ม ฯลฯ

10 time-series  pca  references  covariance  stationarity 

ฉันกำลังเขียนกระดาษที่ใช้ asymptotics infill และหนึ่งในผู้ตรวจสอบของฉันได้ขอให้ฉันให้คำจำกัดความทางคณิตศาสตร์ที่เข้มงวดของสิ่งที่ asymptotics infill คือ (เช่นมีสัญลักษณ์ทางคณิตศาสตร์และสัญกรณ์) ฉันดูเหมือนจะไม่พบสิ่งใดในวรรณคดีและหวังว่าจะมีใครบางคนชี้แนะฉันในทิศทางของบางคนหรือให้คำจำกัดความที่เขียนด้วยตัวเอง หากคุณไม่คุ้นเคยกับ infill asymptotics (หรือที่เรียกว่า asymptotics ของโดเมนแบบคงที่) พวกเขามีดังต่อไปนี้: Infill asymptotics ขึ้นอยู่กับการสังเกตที่มีความหนาแน่นมากขึ้นในบางพื้นที่ที่แน่นอนและมีขอบเขตเมื่อจำนวนเพิ่มขึ้น ระบุไว้มิฉะนั้น infill asymptotics เป็นที่เก็บข้อมูลเพิ่มเติมโดยการสุ่มตัวอย่างหนาแน่นขึ้นในโดเมนคงที่ ฉันได้ดู Stein 1999 และ Cressie 1993 แล้ว แต่ไม่มีอะไร "ทางคณิตศาสตร์" ที่นั่นอย่างเข้มงวด นี่คือข้อความที่ยกมาจากกระดาษของฉัน ดังนั้นจึงเป็นสิ่งสำคัญที่จะรับรู้ชนิดของ asymptotics ที่เรากำลังเผชิญอยู่ ในกรณีของเรา asymptotics ที่เราจัดการนั้นมีพื้นฐานมาจากการสังเกตที่หนาแน่นมากขึ้นในบางพื้นที่ที่แน่นอนและมีขอบเขตเมื่อจำนวนเพิ่มขึ้น asymptotics ประเภทนี้เรียกว่าasymptotics แบบโดเมนคงที่ (Stein, 1999) หรือasymptotics infill (Cressie, 1993) Infill …

10 asymptotics  definition 

อะไรสัญกรณ์ (dot กว่าตัวหนอน) หมายถึงในบริบทเช่น ? x ˙ ∼ N(0,1)~˙∼˙\dot\simx ∼˙ยังไม่มีข้อความ( 0 , 1 )x∼˙N(0,1)x \mathrel{\dot\sim} \mathcal N(0,1) พบว่าเป็นการง่ายกว่าที่จะหาวิธีการเรียงพิมพ์อย่างถูกต้อง: tex.SE อธิบายว่าควรพิมพ์\mathrel{\dot\sim}แทนที่จะ\dot\simแก้ไขปัญหาระยะห่าง - ง่ายกว่าการค้นหาความหมายที่แท้จริง มีการใช้งานCV เพียง4 ครั้งจนถึงขณะนี้ เป็นมาตรฐานหรือไม่

10 mathematical-statistics  notation