สถิติและข้อมูลขนาดใหญ่

ฉันกำลังมองหาเอกสารหรือหนังสือที่มีตัวอย่างเชิงปฏิบัติและเชิงทฤษฎีเกี่ยวกับMCMC พื้นฐานสำหรับสถิติแบบเบย์ (With R) ฉันไม่เคยเรียนเกี่ยวกับการจำลองและนั่นคือเหตุผลที่ฉันกำลังมองหาข้อมูล "พื้นฐาน" คุณสามารถให้คำแนะนำหรือคำแนะนำกับฉันได้ไหม?

11 bayesian  references  mcmc 

ฉันได้อ่านแฮมิลตันบทที่ 13 และเขามีตัวแทนพื้นที่ของรัฐต่อไปนี้สำหรับ ARMA (p, q) ให้นั้นกระบวนการ ARMA (p, q) จะเป็นดังนี้: \ start {aligned} y_t - \ mu & = \ phi_1 (y_ {t-1} - \ mu) + \ phi_2 (y_ {t-2} - \ mu) + ... + \ phi_3 (y_ {t-3} - \ mu) \\ & + \ epsilon_t …

11 time-series  arima  kalman-filter  state-space-models 

มีวิธีการที่มีอยู่สำหรับการใช้โมเดลการเรียนรู้แบบมีผู้สอนเข้ากับชุดข้อมูลที่ไม่แน่นอนหรือไม่? ตัวอย่างเช่นสมมติว่าเรามีชุดข้อมูลที่มีคลาส A และ B: +----------+----------+-------+-----------+ | FeatureA | FeatureB | Label | Certainty | +----------+----------+-------+-----------+ | 2 | 3 | A | 50% | | 3 | 1 | B | 80% | | 1 | 1 | A | 100% | +----------+----------+-------+-----------+ เราจะฝึกโมเดลการเรียนรู้ของเครื่องได้อย่างไร? ขอบคุณ

11 machine-learning  supervised-learning 

สมมติว่าฉันมีตัวประมาณสองตัวและที่เป็นตัวประมาณที่สอดคล้องกันของพารามิเตอร์เดียวกันและนั่น ด้วยในแง่ของ psd ดังนั้น asymptoticallyจะมีประสิทธิภาพมากกว่า\ตัวประมาณสองค่านี้ขึ้นอยู่กับฟังก์ชันการสูญเสียที่แตกต่างกันβˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0n−−√(βˆ1−β0)→dN(0,V1),n−−√(βˆ2−β0)→dN(0,V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)V1≤V2V1≤V2V_1 \leq V_2βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2 ตอนนี้ฉันต้องการค้นหาเทคนิคการหดตัวเพื่อปรับปรุงคุณสมบัติตัวอย่าง จำกัด ของตัวประมาณของฉัน สมมติว่าผมพบว่าเทคนิคการหดตัวที่ช่วยเพิ่มประมาณการในตัวอย่างแน่นอนและทำให้ฉันมีค่าของ MSE เท่ากับ\นี่หมายความว่าฉันสามารถหาเทคนิคการหดตัวที่เหมาะสมเพื่อนำไปใช้กับ ที่จะให้ MSE ไม่มากไปกว่าหรือไม่? βˆ2β^2\widehat{\beta}_2γˆ2γ^2\widehat{\gamma}_2βˆ1β^1\widehat{\beta}_1 γˆ2γ^2\widehat{\gamma}_2 กล่าวอีกนัยหนึ่งถ้าการหดตัวถูกนำไปใช้อย่างชาญฉลาดมันจะทำงานได้ดีขึ้นสำหรับเครื่องมือประมาณค่าที่มีประสิทธิภาพมากกว่าหรือไม่

11 regression  ridge-regression  shrinkage  penalized 

ให้ ,และเป็นความหนาแน่นและสมมติว่าคุณมี ,{N} เกิดอะไรขึ้นกับอัตราส่วนความน่าจะเป็น เป็น ? (มันมาบรรจบกันเพื่ออะไรนะ?)fffggghhhxi∼hxi∼hx_i \sim hi∈Ni∈Ni \in \mathbb{N}∏i=1nf(xi)g(xi)∏i=1nf(xi)g(xi) \prod_{i=1}^n \frac{f(x_i)}{g(x_i)} n→∞n→∞n \rightarrow \infty ตัวอย่างเช่นเราอาจคิดกรัม กรณีทั่วไปก็เป็นที่สนใจเช่นกันh=gh=gh = g

11 convergence  asymptotics  likelihood-ratio 

สมมติว่าเป็นดาวเคราะห์ที่มีปียาวมากๆ มีมนุษย์ต่างดาว 1 ล้านคนในงานปาร์ตี้ในห้องและไม่มีใครแบ่งปันวันเกิดเลย สิ่งที่สามารถอนุมานได้เกี่ยวกับขนาดของ ?NNยังไม่มีข้อความNNยังไม่มีข้อความN (คำถามที่มีขนาดกะทัดรัดยิ่งกว่านี้ใช้แทนที่คำถามที่มีวลีสั้น ๆ นี้ )

11 probability  birthday-paradox 

จากบันทึกการเรียนรู้ของเครื่องบางส่วนที่พูดถึงวิธีการจำแนกจำแนกประเภทโดยเฉพาะอย่างยิ่งการถดถอยโลจิสติกโดยที่ y คือเลเบลคลาส (0 หรือ 1) และ x เป็นข้อมูลกล่าวกันว่า: ถ้าและx | y = 1 \ sim \ mathrm {Poisson} (λ_1)ดังนั้นp (y | x)จะเป็นโลจิสติกx|y=0∼Poisson(λ0)x|y=0∼Poisson(λ0)x|y = 0 \sim \mathrm{Poisson}(λ_0)x|y=1∼Poisson(λ1)x|y=1∼Poisson(λ1)x|y = 1 \sim \mathrm{Poisson}(λ_1)p(y|x)p(y|x)p(y|x) ทำไมเรื่องนี้ถึงเป็นจริง?

11 logistic  poisson-distribution  statistical-learning 

ดูเหมือนว่ามีการถกเถียงกันอย่างต่อเนื่องในชุมชน Bayesian ว่าเราควรทำการประมาณค่าพารามิเตอร์แบบ Bayesian หรือการทดสอบสมมติฐานแบบ Bayesian ฉันสนใจในการร้องขอความคิดเห็นเกี่ยวกับเรื่องนี้ อะไรคือจุดแข็งและจุดอ่อนของวิธีการเหล่านี้? บริบทใดที่เหมาะสมกว่าบริบทอื่น เราควรจะทำทั้งการประมาณค่าพารามิเตอร์และการทดสอบสมมติฐานหรือเพียงหนึ่ง?

11 hypothesis-testing  bayesian 

นี้บทความอยู่เหนือลีกของฉัน แต่มันพูดเกี่ยวกับหัวข้อที่ฉันสนใจในความสัมพันธ์ระหว่างค่าเฉลี่ยโหมดและค่ามัธยฐาน มันบอกว่า : เป็นที่เชื่อกันอย่างกว้างขวางว่าค่ามัธยฐานของการแจกแจงแบบ unimodal คือ "ปกติ" ระหว่างค่าเฉลี่ยและโหมด อย่างไรก็ตามสิ่งนี้ไม่เป็นความจริงเสมอไป ... คำถามของฉัน : ใครสามารถให้ตัวอย่างของการกระจาย unimodal (ง่ายอย่างง่าย ๆ ) อย่างต่อเนื่องที่ค่ามัธยฐานอยู่นอกช่วง [โหมดหมายถึง]? mode < mean < medianยกตัวอย่างเช่นการกระจายเช่น === แก้ไข ======= มีคำตอบที่ดีจาก Glen_b และ Francis แต่ฉันรู้ว่าสิ่งที่ฉันสนใจจริงๆคือตัวอย่างที่โหมด <หมายถึง <มัธยฐานหรือมัธยฐาน <เฉลี่ย <โหมด (นั่นคือค่ามัธยฐานทั้งสองอยู่นอก [โหมดหมายถึง] และมัธยฐานคือ "ในด้านเดียวกัน" เป็นค่าเฉลี่ยของโหมด (เช่นทั้งเหนือและใต้โหมด) ฉันยอมรับคำตอบที่นี่เปิดคำถามใหม่หรืออาจมีคนแนะนำวิธีแก้ปัญหาที่นี่โดยตรง

11 mean  median  mode 

ฉันมีชุดข้อมูลที่มี 365 การสังเกตของสามตัวแปรคือpm, และtemp rainตอนนี้ฉันต้องการตรวจสอบพฤติกรรมของpmการตอบสนองต่อการเปลี่ยนแปลงในอีกสองตัวแปร ตัวแปรของฉันคือ: pm10 = การตอบสนอง (ขึ้นอยู่กับ) temp = ตัวทำนาย (อิสระ) rain = ตัวทำนาย (อิสระ) ต่อไปนี้เป็นเมทริกซ์สหสัมพันธ์สำหรับข้อมูลของฉัน: > cor(air.pollution) pm temp rainy pm 1.00000000 -0.03745229 -0.15264258 temp -0.03745229 1.00000000 0.04406743 rainy -0.15264258 0.04406743 1.00000000 ปัญหาคือเมื่อฉันกำลังศึกษาการสร้างตัวแบบการถดถอยมันเขียนว่าวิธีการเติมแต่งคือการเริ่มต้นด้วยตัวแปรที่เกี่ยวข้องกับตัวแปรตอบสนองมากที่สุด ในชุดข้อมูลของฉันrainมีความสัมพันธ์อย่างมากกับpm(เมื่อเทียบกับtemp) แต่ในเวลาเดียวกันมันเป็นตัวแปรจำลอง (ฝน = 1, ไม่มีฝน = 0) ดังนั้นตอนนี้ฉันจึงได้รู้ว่าควรเริ่มจากที่ใด ผมได้แนบภาพสองภาพที่มีคำถาม: ที่แรกก็คือ scatterplot ของข้อมูลและภาพที่สองเป็น …

11 correlation  multiple-regression  multicollinearity  regression-strategies 

ฉันต้องการที่จะรู้ว่าอะไรคือช่วงของค่าความเบ้และความโด่งซึ่งข้อมูลถูกพิจารณาว่ามีการแจกจ่ายตามปกติ ฉันได้อ่านข้อโต้แย้งมากมายและส่วนใหญ่ฉันได้คำตอบที่หลากหลาย บางคนบอกว่าสำหรับความเบ้และสำหรับ kurtosis เป็นช่วงที่ยอมรับได้สำหรับการกระจายตามปกติ บางคนบอกว่า(-1.96,1.96)สำหรับความเบ้เป็นช่วงที่ยอมรับได้ ฉันพบการสนทนาอย่างละเอียดที่นี่: อะไรคือช่วงของความเบ้และ kurtosis ที่ยอมรับได้สำหรับการกระจายข้อมูลปกติเกี่ยวกับปัญหานี้ แต่ฉันไม่พบคำสั่งเด็ดขาดใด ๆ( - 2 , 2 )(−1,1)(−1,1)(-1,1)(−2,2)(−2,2)(-2,2)(−1.96,1.96)(−1.96,1.96)(-1.96,1.96) พื้นฐานสำหรับการตัดสินใจช่วงเวลาดังกล่าวคืออะไร? นี่เป็นตัวเลือกส่วนตัวหรือไม่? หรือมีคำอธิบายทางคณิตศาสตร์เบื้องหลังช่วงเวลาเหล่านี้หรือไม่?

11 normal-distribution  skewness  kurtosis 

ฉันพยายามที่จะเข้าใจความหมายของการถูกตัดออกไปและพล็อตตามลำดับเวลาของ ACF และ PACF "Cut off after lag" หมายถึงอะไร เกี่ยวกับขีด จำกัด ? "ก้อยออก" หมายความว่าอะไร? ในตัวอย่างด้านบนหนังสือที่ฉันใช้เพื่อศึกษากล่าวว่าเป็นกระบวนการ AR แต่ฉันไม่สามารถหาความหมายของ "ตัด" และ "ก้อย"

11 time-series  autocorrelation  terminology 

ฉันกำลังมองหาข้อมูลอ้างอิงเกี่ยวกับการคำนวณช่วงความมั่นใจสำหรับโหมด (โดยทั่วไป) Bootstrap อาจเป็นตัวเลือกอันดับแรกตามธรรมชาติ แต่ตามที่กล่าวถึงโดย Romano (1988) bootstrap มาตรฐานจะล้มเหลวสำหรับโหมดและมันไม่ได้ให้วิธีแก้ปัญหาง่ายๆ มีอะไรเปลี่ยนแปลงไปบ้างจากบทความนี้? วิธีที่ดีที่สุดในการคำนวณช่วงความมั่นใจสำหรับโหมดคืออะไร วิธีบูตสแตรปที่ดีที่สุดคืออะไร? คุณสามารถให้การอ้างอิงที่เกี่ยวข้องใด ๆ Romano, JP (1988) ทำการบูตโหมด พงศาวดารของสถาบันคณิตศาสตร์สถิติ 40 (3), 565-586

11 confidence-interval  bootstrap  kernel-smoothing  mode 

ฉันต้องการประเมินความไม่แน่นอนหรือความน่าเชื่อถือของเส้นโค้งที่พอดี ฉันตั้งใจไม่ตั้งชื่อปริมาณทางคณิตศาสตร์ที่แม่นยำที่ฉันกำลังมองหาเนื่องจากฉันไม่รู้ว่ามันคืออะไร นี่ (พลังงาน) เป็นตัวแปรตาม (ตอบสนอง) และ (ปริมาณ) เป็นตัวแปรอิสระ ฉันต้องการหาเส้นโค้ง Energy-Volume,ของวัสดุบางอย่าง ดังนั้นฉันจึงคำนวณด้วยโปรแกรมคอมพิวเตอร์เคมีควอนตัมเพื่อรับพลังงานสำหรับปริมาตรตัวอย่าง (วงกลมสีเขียวในพล็อต)V E ( V )EEEVVVE(V)E(V)E(V) จากนั้นฉันติดตั้งตัวอย่างข้อมูลเหล่านี้ด้วยฟังก์ชัน Birch – Murnaghan : ซึ่งขึ้นอยู่กับ สี่พารามิเตอร์:ฉันยังสันนิษฐานว่านี่เป็นฟังก์ชั่นปรับแต่งที่ถูกต้องดังนั้นข้อผิดพลาดทั้งหมดจึงมาจากเสียงรบกวนของตัวอย่าง ในสิ่งต่อไปนี้ฟังก์ชั่นที่ติดตั้งจะได้รับการเขียนเป็นฟังก์ชั่นของVE 0 , V 0 , B 0 , B ' 0 ( E ) VE(E|V)=E0+9V0B016⎧⎩⎨[(V0V)23−1]3B′0+[(V0V)23−1]2[6−4(V0V)23]⎫⎭⎬,E(E|V)=E0+9V0B016{[(V0V)23−1]3B0′+[(V0V)23−1]2[6−4(V0V)23]}, \mathbb{E}(E|V) = E_0 + \frac{9V_0B_0}{16} \left\{ \left[\left(\frac{V_0}{V}\right)^\frac{2}{3}-1\right]^3B_0^\prime + \left[\left(\frac{V_0}{V}\right)^\frac{2}{3}-1\right]^2 \left[6-4\left(\frac{V_0}{V}\right)^\frac{2}{3}\right]\right\}\;, …

11 error  fitting  reliability  uncertainty 

ฉันกำลังอ่าน Gelman & Carlin "นอกเหนือจากการคำนวณกำลังไฟ: การประเมินข้อผิดพลาดประเภท S (เครื่องหมาย) และประเภท M (ขนาด)" (2014) ฉันพยายามที่จะเข้าใจความคิดหลักทางเดินหลัก แต่ฉันสับสน ใครสามารถช่วยกลั่นสาระสำคัญให้ฉันได้บ้าง กระดาษมีลักษณะดังนี้ (ถ้าฉันเข้าใจถูกต้อง) สถิติการศึกษาทางจิตวิทยามักถูกรบกวนด้วยตัวอย่างเล็ก ๆ เงื่อนไขในผลลัพธ์ที่มีนัยสำคัญทางสถิติในการศึกษาที่กำหนด (1) ขนาดของผลกระทบที่แท้จริงมีแนวโน้มที่จะประเมินค่าสูงเกินไปอย่างรุนแรงและ (2) เครื่องหมายของผลกระทบอาจตรงข้ามกับความน่าจะเป็นสูง - เว้นแต่ขนาดตัวอย่างมีขนาดใหญ่พอ ด้านบนแสดงโดยใช้การคาดเดาขนาดของเอฟเฟกต์ก่อนหน้าและโดยทั่วไปเอฟเฟกต์นี้จะมีขนาดเล็ก ปัญหาแรกของฉันคือทำไมเงื่อนไขกับผลลัพธ์ที่มีนัยสำคัญทางสถิติ? มันคือการสะท้อนอคติสิ่งพิมพ์? แต่ดูเหมือนจะไม่เป็นเช่นนั้น แล้วทำไมล่ะ ปัญหาที่สองของฉันคือถ้าฉันทำการศึกษาด้วยตัวเองฉันควรปฏิบัติกับผลลัพธ์ของฉันแตกต่างจากที่ฉันเคยทำหรือไม่ (ฉันทำสถิติบ่อยครั้งไม่คุ้นเคยกับเบย์) เช่นฉันจะใช้ตัวอย่างข้อมูลประเมินแบบจำลองและบันทึกการประมาณค่าพอยต์สำหรับผลของความสนใจและความมั่นใจที่ผูกไว้ ตอนนี้ฉันควรจะเชื่อผลของฉันหรือไม่ หรือฉันควรจะเชื่อใจถ้ามันมีนัยสำคัญทางสถิติ? มีการเปลี่ยนแปลงใด ๆ ก่อนหน้านั้น สิ่งที่เป็นประเด็นหลัก (1) สำหรับ "ผู้ผลิต" ของการวิจัยเชิงสถิติและ (2) สำหรับผู้อ่านของเอกสารทางสถิติประยุกต์? อ้างอิง: Gelman, Andrew และ …

11 statistical-significance  effect-size  power  type-i-and-ii-errors