สถิติและข้อมูลขนาดใหญ่

อันดับแรกฉันควรระบุว่าฉันได้ค้นหาคำตอบในเว็บไซต์นี้ ฉันไม่พบคำถามที่ตอบคำถามหรือระดับความรู้ของฉันต่ำมากฉันไม่ทราบว่าฉันได้อ่านคำตอบแล้ว ฉันกำลังศึกษาเพื่อสอบสถิติ AP ฉันต้องเรียนรู้การถดถอยเชิงเส้นและหนึ่งในหัวข้อคือส่วนที่เหลือ ฉันมีสำเนาของข้อมูลเบื้องต้นเกี่ยวกับสถิติและการวิเคราะห์ข้อมูลในหน้า 253 จุดที่ผิดปกติในชุดข้อมูล bivariate คือจุดที่หลุดออกจากจุดอื่น ๆ ส่วนใหญ่ใน scatterplot ในทิศทางหรือทิศทางxxxyyy การสังเกตอาจเป็นการสังเกตที่มีอิทธิพลถ้ามันมีค่าที่อยู่ห่างจากข้อมูลที่เหลือ (แยกออกจากส่วนที่เหลือของข้อมูลในทิศทาง ) ในการตรวจสอบว่าการสังเกตนั้นมีอิทธิพลจริงหรือไม่เราประเมินว่าการลบการสังเกตนี้มีผลกระทบอย่างมากต่อมูลค่าของความชันหรือจุดตัดของเส้นที่มีกำลังสองน้อยที่สุดหรือไม่xxxxxx การสังเกตเป็นค่าผิดปกติหากมีสิ่งตกค้างขนาดใหญ่ การสังเกตการณ์ในระยะไกลอยู่ห่างจากเส้นที่มีกำลังสองน้อยที่สุดไปในทิศทางyyy Stattreck.comระบุสี่วิธีในการกำหนดค่าผิดพลาดจากสิ่งตกค้าง: จุดข้อมูลที่แตกต่างกันอย่างมากจากรูปแบบโดยรวมเรียกว่าค่าผิดปกติ มีสี่วิธีที่จุดข้อมูลอาจถูกพิจารณาว่าผิดปกติ มันอาจมีค่า X มากเมื่อเปรียบเทียบกับจุดข้อมูลอื่น มันอาจมีค่า Y มากเมื่อเปรียบเทียบกับจุดข้อมูลอื่น มันอาจมีค่า X และ Y มาก อาจอยู่ห่างจากข้อมูลที่เหลือแม้ไม่มีค่า X หรือ Y มาก แหล่งที่มาทั้งสองนี้ดูเหมือนจะขัดแย้งกัน ใครสามารถช่วยกำจัดความสับสนของฉัน นอกจากนี้หนึ่งจะกำหนดวิธีการที่รุนแรง สถิติ AP ใช้กฎหากจุดข้อมูลอยู่นอก (Q1-1.5IQR, Q3 + 1.5IQR) ซึ่งเป็นค่าที่ผิดปกติ …

10 regression  outliers  residuals 

ฉันสับสนเล็กน้อย บางคนสามารถอธิบายให้ฉันทราบถึงวิธีการคำนวณข้อมูลร่วมกันระหว่างคำสองคำที่ยึดตามเมทริกซ์เอกสารระยะที่เกิดขึ้นกับคำศัพท์ไบนารีเป็นน้ำหนักได้หรือไม่ Document1Document2Document3′Why′111′How′101′When′111′Where′100′Why′′How′′When′′Where′Document11111Document21010Document31110 \begin{matrix} & 'Why' & 'How' & 'When' & 'Where' \\ Document1 & 1 & 1 & 1 & 1 \\ Document2 & 1 & 0 & 1 & 0 \\ Document3 & 1 & 1 & 1 & 0 \end{matrix} I(X;Y)=∑y∈Y∑x∈Xp(x,y)log(p(x,y)p(x)p(y))I(X;Y)=∑y∈Y∑x∈Xp(x,y)log⁡(p(x,y)p(x)p(y))I(X;Y)= \sum_{y \in Y} \sum_{x \in X} …

10 python  information-theory  mutual-information  numpy  pandas 

เนื่องจากฉันเป็นวิศวกรซอฟต์แวร์พยายามที่จะเรียนรู้สถิติเพิ่มเติมคุณจะต้องยกโทษให้ฉันก่อนที่ฉันจะเริ่มนี่เป็นดินแดนใหม่ที่ร้ายแรง ... ฉันได้เรียนรู้PyMCและทำงานผ่านตัวอย่างง่ายๆ (จริง ๆ ) จริงๆ ปัญหาหนึ่งที่ฉันไม่สามารถทำงานได้ (และไม่สามารถหาตัวอย่างที่เกี่ยวข้องได้) คือการปรับโมเดลให้สอดคล้องกับข้อมูลที่สร้างจากการแจกแจงปกติสองแบบ บอกว่าฉันมี 1,000 ค่า 500 สร้างขึ้นจากNormal(mean=100, stddev=20)และอีก 500 Normal(mean=200, stddev=20)สร้างขึ้นจาก ถ้าฉันต้องการให้พอดีกับแบบจำลองพวกเขาเช่นกำหนดสองวิธีและส่วนเบี่ยงเบนมาตรฐานเดียวโดยใช้ PyMC ฉันรู้ว่ามันเป็นสิ่งที่ตามแนว ... mean1 = Uniform('mean1', lower=0.0, upper=200.0) mean2 = Uniform('mean2', lower=0.0, upper=200.0) precision = Gamma('precision', alpha=0.1, beta=0.1) data = read_data_from_file_or_whatever() @deterministic(plot=False) def mean(m1=mean1, m2=mean2): # but what goes here? …

10 modeling  python  pymc 

ฉันยังใหม่กับการวิเคราะห์ลำดับและฉันสงสัยว่าคุณจะตอบสนองอย่างไรถ้าความกว้างของเงาเฉลี่ย (ASW) จากการวิเคราะห์กลุ่มของเมทริกซ์ความแตกต่างของ Optimal Matching-based มีค่าต่ำ (ประมาณ 25) ดูเหมือนจะเหมาะสมหรือไม่ที่จะสรุปว่ามีโครงสร้างพื้นฐานเล็กน้อยที่จะอนุญาตให้มีการเรียงลำดับของคลัสเตอร์หรือไม่ คุณอาจเพิกเฉยต่อ ASW ต่ำตามการวัดคุณภาพคลัสเตอร์อื่น ๆ (ฉันได้วางไว้ด้านล่าง) หรือเป็นไปได้ว่าตัวเลือกที่ทำในระหว่างการวิเคราะห์ลำดับหรือการวิเคราะห์กลุ่มที่ตามมาอาจเป็นสาเหตุของตัวเลข ASW ที่ต่ำ ข้อเสนอแนะใด ๆ ที่จะได้รับการชื่นชม ขอบคุณ ในกรณีที่ต้องการบริบทเพิ่มเติม: ฉันกำลังตรวจสอบลำดับของชั่วโมงทำงานที่ไม่ตรงกัน 624 ลำดับ (กล่าวคือไม่ตรงกันระหว่างจำนวนชั่วโมงที่คนต้องการทำงานในหนึ่งสัปดาห์และจำนวนชั่วโมงที่พวกเขาทำงานจริง) ในคนอายุ 20 ปี ลำดับทั้งหมดที่ฉันกำลังตรวจสอบมีความยาว 10 วัตถุลำดับของฉันมีห้าสถานะ (M = ต้องการเวลามากขึ้น S = ต้องการชั่วโมงเดียวกัน, F = ต้องการชั่วโมงที่น้อยกว่า, O = กำลังแรงงานและ U = ผู้ว่างงาน ) ฉันไม่ได้ทำบัญชีอย่างเป็นระบบว่าผลลัพธ์ของ ASW …

10 clustering  traminer 

ทั้งฟังก์ชั่นโลจิสติกและส่วนเบี่ยงเบนมาตรฐานมักจะแสดง\ฉันจะใช้และสำหรับค่าเบี่ยงเบนมาตรฐานσσ\sigmaσ(x)=1/(1+exp(−x))σ(x)=1/(1+exp⁡(−x))\sigma(x) = 1/(1+\exp(-x))sss ฉันมีเซลล์ประสาทลอจิสติกพร้อมอินพุตสุ่มที่มีค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานฉันรู้ ฉันหวังว่าความแตกต่างจากค่าเฉลี่ยนั้นสามารถประมาณได้ดีจากเสียงเกาส์เซียนบางส่วน ดังนั้นที่มีการละเมิดเล็กน้อยของสัญกรณ์สมมติมันผลิต2)) ค่าที่คาดหวังของคืออะไร ค่าเบี่ยงเบนมาตรฐานอาจจะมีขนาดใหญ่หรือเล็กเมื่อเทียบกับหรือ1การประมาณรูปแบบปิดที่ดีสำหรับค่าที่คาดหวังจะเกือบดีเท่ากับโซลูชันแบบปิดμμ\musssσ(μ+N(0,s2))=σ(N(μ,s2))σ(μ+N(0,s2))=σ(N(μ,s2))\sigma(\mu + N(0,s^2))=\sigma(N(\mu,s^2))σ(N(μ,s2))σ(N(μ,s2))\sigma(N(\mu,s^2))sssμμ\mu111 ฉันไม่คิดว่ามีโซลูชันแบบปิดอยู่ สิ่งนี้สามารถถูกมองได้ว่าเป็นรูปแบบสังวัตนาและฟังก์ชันลักษณะเฉพาะสำหรับความหนาแน่นของโลจิสติกส์นั้นเป็นที่รู้จัก ( ) แต่ฉันไม่แน่ใจว่าจะช่วยได้มากแค่ไหน เครื่องคิดเลขสัญลักษณ์ผกผันก็ไม่สามารถที่จะยอมรับความหนาแน่นที่ของการบิดของความหนาแน่นของการกระจายโลจิสติกและการกระจายปกติมาตรฐานซึ่งแสดงให้เห็น แต่ไม่ได้พิสูจน์ว่าไม่มีหนึ่งประถมง่าย หลักฐานเพิ่มเติมจากสถานการณ์: ในเอกสารบางฉบับเกี่ยวกับการเพิ่มสัญญาณรบกวนแบบเกาส์ไปยังเครือข่ายประสาทด้วยเซลล์ประสาทลอจิสติกเอกสารไม่ได้ให้การแสดงออกในรูปแบบปิดเช่นกันπt csch πtπt csch πt\pi t ~\text{csch} ~\pi t000 คำถามนี้เกิดขึ้นในการพยายามทำความเข้าใจข้อผิดพลาดในการประมาณค่าเฉลี่ยฟิลด์ในเครื่อง Boltzman

10 distributions  normal-distribution  neural-networks  mathematical-statistics  expected-value 

สมมติว่าคุณมีบันทึกของเว็บเซิร์ฟเวอร์ ในบันทึกเหล่านี้คุณมีสิ่งอันดับ: user1, timestamp1 user1, timestamp2 user1, timestamp3 user2, timestamp4 user1, timestamp5 ... เวลาประทับเหล่านี้แสดงเช่นการคลิกของผู้ใช้ ตอนนี้user1จะเข้าชมเว็บไซต์หลายครั้ง (เซสชัน) ในระหว่างเดือนและคุณจะมีจำนวนคลิกจากผู้ใช้แต่ละคนในแต่ละเซสชัน (หากว่าเมื่อผู้ใช้เยี่ยมชมเว็บไซต์ของคุณเขาจะคลิกหลายหน้า) สมมติว่าคุณต้องการแบ่งการคลิกเหล่านี้ในเซสชันที่สร้างพวกเขา แต่คุณไม่มีแหล่งข้อมูลเพิ่มเติมใด ๆ เพียงรายการของการประทับเวลา หากคุณคำนวณการแจกแจงช่วงเวลาระหว่างการคลิกสองครั้งที่ตามมาจากผู้ใช้เดียวกันคุณจะได้รับการแจกแจงแบบยาว โดยสังเขปคุณจะมองหา "พารามิเตอร์ที่ถูกตัด" เช่น N วินาทีซึ่งถ้าเป็นtimestamp_{i+1} - timestamp{i} > Nเช่นนั้นคุณtimestamp_{i+1}จะเป็นจุดเริ่มต้นของเซสชันใหม่ ปัญหาคือว่าการกระจายตัวนี้ในความเป็นจริงเป็นการผสมผสานของตัวแปรสองตัว: X = "ช่วงเวลาระหว่างการคลิกสองครั้งที่เกิดขึ้นในเซสชันเดียวกัน" และ Y = "ช่วงเวลาระหว่างการคลิกครั้งสุดท้ายของเซสชันก่อนหน้าและครั้งแรกของใหม่" คำถามคือวิธีประมาณ N นี้ที่หารการแจกแจงสองแบบ (โดยมีการทับซ้อนกันเล็กน้อย) เพียงแค่ดูการระเบิดของการคลิก

10 distributions  estimation  mixture 

ฉันมีชุดข้อมูลที่สัญชาตญาณเชิงประจักษ์บอกว่าฉันควรคาดหวังว่าจะมีฤดูกาลประจำสัปดาห์ (เช่นพฤติกรรมในวันเสาร์และวันอาทิตย์นั้นแตกต่างจากส่วนที่เหลือของสัปดาห์) หลักฐานนี้ควรเป็นจริงกราฟกราฟความสัมพันธ์แบบอัตโนมัติไม่ควรให้ฉันระเบิดที่ความล่าช้าทวีคูณของ 7 หรือไม่? นี่คือตัวอย่างของข้อมูล: data = TemporalData[{{{2012, 09, 28}, 19160768}, {{2012, 09, 19}, 19607936}, {{2012, 09, 08}, 7867456}, {{2012, 09, 15}, 11245024}, {{2012, 09, 04}, 0}, {{2012, 09, 21}, 24314496}, {{2012, 09, 12}, 11233632}, {{2012, 09, 03}, 9886496}, {{2012, 09, 09}, 9122272}, {{2012, 09, 24}, 23103456}, {{2012, 09, …

10 time-series  autocorrelation  forecasting 

หากเรามีตัวแปรสุ่มอิสระสองตัวและฟังก์ชันมวลความน่าจะเป็นของคืออะไร?X 2 ∼ P o ฉันs ( λ ) X 1 + X 2X1∼Binom(n,p)X1∼Binom(n,p)X_1 \sim \mathrm{Binom}(n,p)X2∼Pois(λ)X2∼Pois(λ)X_2 \sim \mathrm{Pois}(\lambda)X1+X2X1+X2X_1 + X_2 NBนี่ไม่ใช่การบ้านสำหรับฉัน

10 distributions  self-study  binomial  poisson-distribution 

ฉันมีชุดตัวแปร 20 ตัวที่ฉันได้ทำการวิเคราะห์ปัจจัยใน SPSS สำหรับวัตถุประสงค์ของการวิจัยฉันต้องพัฒนา 6 ปัจจัย SPSS แสดงให้เห็นว่ามี 8 ตัวแปร (จาก 20) ที่ถูกโหลดด้วยน้ำหนักต่ำหรือถูกโหลดอย่างเท่าเทียมกันโดยปัจจัยหลายประการดังนั้นฉันจึงลบมันออก ตัวแปรที่เหลืออีก 12 ตัวถูกโหลดเป็นคู่ 2 ใน 6 ปัจจัยซึ่งเป็นโครงสร้างที่สมบูรณ์แบบ - อย่างที่ฉันต้องการ แต่ตอนนี้อาจารย์คนหนึ่งที่ทำงานกับฉันต้องการให้ฉันหาเหตุผลว่าทำไม (หรือภายใต้เงื่อนไขใด) มีความเหมาะสมที่จะเก็บเพียง 2รายการต่อปัจจัยหนึ่งเท่านั้นเนื่องจากเป็นที่ทราบกันโดยทั่วไปว่าการวิเคราะห์ปัจจัยมีประโยชน์กับผลลัพธ์ 3 รายการขึ้นไปที่โหลดต่อปัจจัย ใครช่วยฉันออกจากปัญหานี้โดยเฉพาะอย่างยิ่งกับการอ้างอิงที่เผยแพร่เช่นกัน?

10 spss  factor-analysis  references  assumptions 

ฉันมีข้อมูลบางอย่างที่ฉันต้องการเห็นภาพและไม่แน่ใจว่าจะทำอย่างไรดีที่สุด ฉันมีรายการฐานบางชุดมีความถี่ตามลำดับF = { f 1 , ⋯ , f n }และผลลัพธ์ O ∈ { 0 , 1 } nQ = { q1, ⋯ , qn}Q={q1,⋯,qn}Q = \{ q_1, \cdots, q_n \}F= { f1, ⋯ , fn}F={f1,⋯,fn}F = \{f_1, \cdots, f_n \}O ∈ { 0 , 1 }nO∈{0,1}nO \in \{0,1\}^n. …

10 data-visualization 

Lee และ Lemieux (หน้า 31, 2009) แนะนำให้นักวิจัยนำเสนอกราฟในขณะที่ทำการวิเคราะห์การออกแบบการถดถอยแบบไม่ต่อเนื่อง (RDD) พวกเขาแนะนำขั้นตอนต่อไปนี้: "... สำหรับแบนด์วิดท์และสำหรับจำนวนของถังขยะและ K_1ทางด้านซ้ายและขวาของค่า cutoff ตามลำดับแนวคิดคือการสร้างถังขยะ ( b_k , b_ {k + 1} ], สำหรับk = 1,..., K = K_0 + K_1โดยที่b_k = c− (K_0 − k + 1) \ cdot h. "K 0 K 1 ขk ขk + 1 k = …

10 r  regression  data-visualization  stata  regression-discontinuity 

ฉันจะพยายามอธิบายปัญหาในมือโดยทั่วไปที่สุด ฉันกำลังสร้างแบบจำลองการสังเกตเป็นการกระจายอย่างมีนัยสำคัญกับพารามิเตอร์ความน่าจะเป็นเวกเตอร์ทีต้า จากนั้นผมถือว่า theta พารามิเตอร์เวกเตอร์ต่อไปนี้ก่อน Dirichletกระจายกับพารามิเตอร์\α1, α2, … , αkα1,α2,…,αk\alpha_1,\alpha_2,\ldots,\alpha_k เป็นไปได้หรือไม่ที่จะกำหนดให้มีการแจกแจงเหนือพารามิเตอร์ ? มันจะต้องเป็นการกระจายหลายตัวแปรเช่นการแจกแจงแบบแบ่งหมวดหมู่และแบบดิริชเล็ตหรือไม่? ดูเหมือนว่าอัลฟาจะเป็นบวกเสมอดังนั้นแกมม่าไฮเพอร์ไพน์จึงควรทำงานα1,α2, … ,αkα1,α2,…,αk\alpha_1,\alpha_2,\ldots,\alpha_k ไม่แน่ใจว่ามีใครลองปรับรุ่น overparametrized (อาจจะ) แต่ดูเหมือนว่าสมเหตุสมผลสำหรับฉันที่จะคิดว่าอัลฟ่าไม่ควรได้รับการแก้ไข แต่มาจากการกระจายแกมม่า โปรดพยายามให้ข้อมูลอ้างอิงบางอย่างแก่ฉัน, ให้ข้อมูลเชิงลึกเกี่ยวกับวิธีที่ฉันสามารถลองวิธีการดังกล่าวในทางปฏิบัติ

10 categorical-data  multinomial  dirichlet-distribution  hierarchical-bayesian  dirichlet-process 

วิธีการหนึ่งที่แนะนำให้ฉันคือดูพล็อตหินกรวดและตรวจสอบ "ข้อศอก" เพื่อกำหนดจำนวนพีซีที่ถูกต้องที่จะใช้ แต่ถ้าพล็อตไม่ชัดเจน R มีการคำนวณเพื่อกำหนดจำนวนหรือไม่? fit <- princomp(mydata, cor=TRUE)

10 r  pca 

ชื่อสรุปคำถามของฉัน แต่เพื่อความชัดเจนลองพิจารณาตัวอย่างง่ายๆดังต่อไปนี้ ให้ , i = 1, ... , n กำหนด: \ start {สมการ} S_n = \ frac {1} {n} \ sum_ {i = 1} ^ n X_i \ end {สมการ} และ \ start {สมการ} T_n = \ frac {1} {n} \ sum_ {i = 1} ^ n (X_i ^ …

10 normal-distribution  multivariate-analysis  independence  central-limit-theorem  joint-distribution 

ปัญหาหลักคือ: ฉันไม่สามารถรับค่าประมาณพารามิเตอร์ที่คล้ายกันกับ EViews และ R ด้วยเหตุผลที่ฉันไม่รู้จักตัวเองฉันจำเป็นต้องประเมินพารามิเตอร์สำหรับข้อมูลบางอย่างโดยใช้ตัวแสดงตัวอย่าง สิ่งนี้ทำได้โดยการเลือกตัวเลือก NLS (ไม่เชิงเส้นกำลังสองน้อยที่สุด) และใช้สูตรต่อไปนี้:indep_var c dep_var ar(1) EViews อ้างว่าพวกเขาประมาณกระบวนการเชิงเส้น AR (1) เช่น: โดยที่ข้อผิดพลาดถูกนิยามเป็น: โดยใช้สิ่งที่เทียบเท่า สมการ (ด้วยการแทนที่พีชคณิตบางส่วน): นอกจากนี้เธรดนี้ ที่ฟอรัม EViewsแนะนำว่าการประมาณค่า NLS ของพวกเขาถูกสร้างขึ้นโดยอัลกอริทึม Marquardtยูทียูที = ρ ⋅ ยูที- 1 + ε Y T = ( 1 - ρ ) α + ρ Y T - 1 …

10 r  autoregressive  software