คำถามติดแท็ก mcmc

ฉันสังเกตเห็นว่าในแอปพลิเคชั่นที่ใช้งานได้จริงวิธีการที่ใช้ MCMC นั้นใช้ในการประมาณค่าพารามิเตอร์ถึงแม้ว่าส่วนหลังนั้นจะทำการวิเคราะห์ (ตัวอย่างเช่น สำหรับฉันมันสมเหตุสมผลกว่าที่จะใช้ตัวประมาณค่า MAP แทนที่จะเป็นตัวประมาณค่า MCMC ใครสามารถชี้ให้เห็นว่าทำไม MCMC ยังคงเป็นวิธีการที่เหมาะสมในการปรากฏตัวของผู้วิเคราะห์หลัง?

13 bayesian  mcmc  posterior 

ฉันใหม่สำหรับการวิจัยสถิติแบบเบย์ ฉันได้ยินจากนักวิจัยว่านักวิจัยชาวเบย์นำเอา MCMC มาใช้ด้วยตัวเองแทนที่จะใช้เครื่องมืออย่าง JAGS / Stan ฉันขอถามว่าประโยชน์ของการใช้อัลกอริทึม MCMC ด้วยตัวเอง (ในภาษา "ไม่ค่อนข้างเร็ว" เช่น R) คืออะไรยกเว้นเพื่อการเรียนรู้?

13 bayesian  mcmc 

ฉันเพิ่งเริ่มสร้างแบบจำลองในสแตน ; เพื่อสร้างความคุ้นเคยกับเครื่องมือฉันกำลังทำงานผ่านแบบฝึกหัดในการวิเคราะห์ข้อมูลแบบเบย์ (2nd ed.) Waterbuck ออกกำลังกายซึมว่าข้อมูลกับ( N , θ )ที่ไม่รู้จัก ตั้งแต่มิล Monte Carlo ไม่อนุญาตให้มีพารามิเตอร์ที่ไม่ต่อเนื่องผมเคยประกาศNเป็นจริง∈ [ 72 , ∞ )และรหัสการกระจายทวินามจริงมูลค่าโดยใช้ฟังก์ชั่นn ∼ ทวินาม( N, θ )n∼binomial(N,θ)n \sim \text{binomial}(N, \theta)( N, θ )(N,θ)(N, \theta)ยังไม่มีข้อความNN∈ [ 72 , ∞ )∈[72,∞)\in [72, \infty)lbeta ฮิสโตแกรมของผลลัพธ์ดูเหมือนจะเหมือนกับสิ่งที่ฉันพบโดยคำนวณความหนาแน่นด้านหลังโดยตรง อย่างไรก็ตามฉันกังวลว่าอาจมีเหตุผลบางอย่างที่ฉันไม่ควรเชื่อถือผลลัพธ์เหล่านี้โดยทั่วไป เนื่องจากการอนุมานมูลค่าจริงบนกำหนดความน่าจะเป็นบวกให้กับค่าที่ไม่ใช่จำนวนเต็มเรารู้ว่าค่าเหล่านี้เป็นไปไม่ได้เนื่องจาก waterbuck ที่เป็นเศษส่วนไม่มีอยู่จริง ในทางกลับกันผลลัพธ์ดูเหมือนจะดีดังนั้นการทำให้เข้าใจง่ายจะไม่มีผลต่อการอนุมานในกรณีนี้ยังไม่มีข้อความNN มีหลักการหรือกฎของหัวแม่มือสำหรับการสร้างแบบจำลองด้วยวิธีนี้หรือไม่หรือเป็นวิธีการ "ส่งเสริม" พารามิเตอร์ที่ไม่ต่อเนื่องกับการปฏิบัติที่ไม่ดีจริงหรือไม่?

13 bayesian  mcmc  discrete-data  stan 

1. ปัญหา ฉันมีการวัดตัวแปรโดยที่ซึ่งฉันมีการแจกแจงได้รับผ่าน MCMC ซึ่งสำหรับความเรียบง่ายฉันจะถือว่าเป็น gaussian ของค่าเฉลี่ยและความแปรปรวน 2 T = 1 , 2 , . , n f y t ( y t ) μ t σ 2 tytyty_tt=1,2,..,nt=1,2,..,nt=1,2,..,nfyt(yt)fyt(yt)f_{y_t}(y_t)μtμt\mu_tσ2tσt2\sigma_t^2 ฉันมีแบบจำลองทางกายภาพสำหรับการสังเกตเหล่านั้นพูดแต่ส่วนที่เหลือดูเหมือนจะมีความสัมพันธ์; โดยเฉพาะอย่างยิ่งผมมีเหตุผลทางกายภาพที่จะคิดว่าขั้นตอนจะพอเพียงที่จะคำนึงถึงความสัมพันธ์และผมวางแผนที่จะได้รับค่าสัมประสิทธิ์ของความพอดีผ่าน MCMC ซึ่งฉันต้องการโอกาส ฉันคิดว่าวิธีการแก้ปัญหาค่อนข้างง่าย แต่ฉันไม่แน่ใจ (ดูเหมือนง่ายมากที่ฉันคิดว่าฉันขาดอะไรไป)r t = μ t - g ( t ) A R ( 1 )g(t)g(t)g(t)rt=μt−g(t)rt=μt−g(t)r_t …

13 time-series  mcmc  autoregressive  likelihood 

เมื่อได้รับตัวอย่าง MCMC เพื่อทำการอนุมานพารามิเตอร์ที่เฉพาะเจาะจงอะไรคือคำแนะนำที่ดีสำหรับจำนวนตัวอย่างที่มีประสิทธิภาพขั้นต่ำที่เราควรตั้งเป้าหมายไว้? และคำแนะนำนี้เปลี่ยนไปเมื่อแบบจำลองมีความซับซ้อนมากขึ้นหรือน้อยลงหรือไม่?

13 bayesian  sample-size  mcmc  posterior 

ฉันต้องการให้ตัวเลือกการเบิร์นอินสำหรับเครือข่าย MCMC โดยอัตโนมัติเช่นโดยการลบแถว n แรกตามการวิเคราะห์การลู่เข้า ขั้นตอนนี้จะปลอดภัยโดยอัตโนมัติในระดับใด แม้ว่าฉันจะยังตรวจสอบ autocorrelation, การติดตาม mcmc และ PDF อีกครั้งมันก็ดีถ้ามีทางเลือกในการเบิร์นอินแบบอัตโนมัติ คำถามของฉันเป็นเรื่องทั่วไป แต่มันจะดีถ้าคุณสามารถให้ข้อมูลเฉพาะสำหรับการจัดการกับ R mcmc.object; ฉันใช้แพ็คเกจ rjags และ coda ใน R

13 r  bayesian  mcmc 

การเรียนรู้สถิติแบบเบย์เป็นครั้งแรก ในมุมมองของการทำความเข้าใจ MCMC ฉันสงสัยว่า: มันเป็นการทำสิ่งที่ไม่สามารถทำได้โดยพื้นฐานหรือไม่หรือมันแค่ทำสิ่งที่มีประสิทธิภาพมากกว่าทางเลือกหรือไม่? โดยวิธีการภาพประกอบสมมติว่าเรากำลังพยายามที่จะคำนวณความน่าจะเป็นของพารามิเตอร์ของเราได้รับข้อมูลกำหนดรูปแบบที่คำนวณตรงข้ามเป็นz) การคำนวณนี้โดยตรงกับ Bayes' ทฤษฎีบทเราต้องหารเป็นแหลมออกที่นี่ แต่เราสามารถคำนวณได้โดยรวมเข้าด้วยกันพูดดังนี้:P(x,y,z|D)P(x,y,z|D)P(x,y,z|D)P(D|x,y,z)P(D|x,y,z)P(D|x,y,z)P(D)P(D)P(D) p_d = 0. for x in range(xmin,xmax,dx): for y in range(ymin,ymax,dy): for z in range(zmin,zmax,dz): p_d_given_x_y_z = cdf(model(x,y,z),d) p_d += p_d_given_x_y_z * dx * dy * dz การทำงานนั้น (แม้ว่าจะไม่มีประสิทธิภาพกับตัวแปรจำนวนมากขึ้น) หรือมีอย่างอื่นที่จะทำให้วิธีการนี้ล้มเหลวหรือไม่

13 bayesian  mcmc 

ในช่วงไม่กี่วันที่ผ่านมาฉันพยายามเข้าใจว่า Markov Chain Monte Carlo (MCMC) ทำงานอย่างไร โดยเฉพาะฉันพยายามทำความเข้าใจและใช้อัลกอริทึม Metropolis-Hastings จนถึงตอนนี้ฉันคิดว่าฉันมีความเข้าใจโดยรวมเกี่ยวกับอัลกอริทึม แต่มีบางสิ่งที่ยังไม่ชัดเจนสำหรับฉัน ฉันต้องการใช้ MCMC เพื่อให้พอดีกับบางรุ่นของข้อมูล ด้วยเหตุนี้ฉันจะอธิบายความเข้าใจของฉันเกี่ยวกับอัลกอริทึม Metropolis-Hastings สำหรับปรับเส้นตรงให้กับข้อมูลที่สังเกตได้ :f(x)=axf(x)=axf(x)=axDDD 1) ตรวจเดาการเริ่มต้นสำหรับ ตั้งค่านี้เป็นปัจจุบันของเรา( ) เพิ่มตอนท้ายของ Markov Chain ( ) ด้วยaaaaaaaaaa0a0a_0aaaCCC 2) ทำซ้ำขั้นตอนการร้องหลายครั้ง 3) ประเมินโอกาสในปัจจุบัน ( ) ให้และDL0L0{\cal L_0}a0a0a_0DDD 4) เสนอใหม่( ) โดยการสุ่มตัวอย่างจากการกระจายปกติกับและ\สำหรับตอนนี้คงที่aaaa1a1a_1μ=a0μ=a0\mu=a_0σ=stepsizeσ=stepsize\sigma=stepsizestepsizestepsizestepsize 5) ประเมินโอกาสใหม่ ( ) ให้และD a 1 DL1L1{\cal L_1}a1a1a_1DDD 6) …

13 mcmc  metropolis-hastings 

ฉันกำลังพยายามปรับให้เข้ากับโมเดลลำดับชั้นโดยใช้ jags และแพ็คเกจ rjags ตัวแปรผลลัพธ์ของฉันคือ y ซึ่งเป็นลำดับของการทดลองเบอโนลลี ฉันมี 38 วิชามนุษย์ที่มีประสิทธิภาพภายใต้สองประเภท: P เมตรและจากการวิเคราะห์ของฉันลำโพงทุกคนมีความน่าจะเป็นของความสำเร็จในหมวดหมู่ของ Pและความน่าจะเป็นของความสำเร็จในหมวดหมู่ของ M \ฉันยังสมมติว่ามีบาง hyperparameter ระดับชุมชนของ P และ M:และ\θpθp\theta_pθp×θmθp×θm\theta_p\times\theta_mμpμp\mu_pμmμm\mu_m ดังนั้นสำหรับผู้พูดทุกคน: และที่และควบคุมวิธีแหลมกระจายอยู่รอบ ๆและ\θp∼beta(μp×κp,(1−μp)×κp)θp∼beta(μp×κp,(1−μp)×κp)\theta_p \sim beta(\mu_p\times\kappa_p, (1-\mu_p)\times\kappa_p)θm∼beta(μm×κm,(1−μm)×κm)θm∼beta(μm×κm,(1−μm)×κm)\theta_m \sim beta(\mu_m\times\kappa_m, (1-\mu_m)\times\kappa_m)κpκp\kappa_pκmκm\kappa_mμpμp\mu_pμmμm\mu_m นอกจากนี้ยัง ,B_m)μp∼beta(Ap,Bp)μp∼beta(Ap,Bp)\mu_p \sim beta(A_p, B_p)μm∼beta(Am,Bm)μm∼beta(Am,Bm)\mu_m \sim beta(A_m, B_m) นี่คือรูปแบบ jags ของฉัน: model{ ## y = N bernoulli trials ## Each speaker …

13 mcmc  multilevel-analysis  jags 

ฉันเจอข้อความที่ดีมากใน Bayes / MCMC ฝ่ายไอทีแนะนำว่าการสร้างมาตรฐานของตัวแปรอิสระของคุณจะทำให้อัลกอริทึม MCMC (Metropolis) มีประสิทธิภาพมากขึ้น นั่นเป็นเรื่องจริงเหรอ? นี่คือสิ่งที่ฉันควรทำตามมาตรฐาน (ขออภัย) Kruschke 2011, ทำการวิเคราะห์ข้อมูลแบบเบย์ (AP) แก้ไข: ตัวอย่างเช่น > data(longley) > cor.test(longley$Unemployed, longley$Armed.Forces) Pearson's product-moment correlation data: longley$Unemployed and longley$Armed.Forces t = -0.6745, df = 14, p-value = 0.5109 alternative hypothesis: true correlation is not equal to 0 95 percent confidence …

13 bayesian  mcmc  multicollinearity  standardization 

ฉันต้องทำการจำลองเพื่อประเมินอินทิกรัลของฟังก์ชันพารามิเตอร์ 3 ตัวเราพูดว่าซึ่งมีสูตรที่ซับซ้อนมาก มันถูกขอให้ใช้วิธีการ MCMC เพื่อคำนวณและใช้อัลกอริทึม Metropolis-Hastings เพื่อสร้างค่าที่กระจายเป็นและแนะนำให้ใช้ 3 ตัวแปรปกติเป็นการกระจายข้อเสนอ เมื่ออ่านตัวอย่างเกี่ยวกับเรื่องนี้ฉันเห็นแล้วว่าบางส่วนใช้ปกติกับพารามิเตอร์คงที่และใช้กับตัวแปรหมายถึงโดยที่คือค่าที่ยอมรับล่าสุด กระจายตาม . ฉันมีข้อสงสัยเกี่ยวกับวิธีการทั้งสอง:ffffffN(μ,σ)N(μ,σ)N(\mu, \sigma)N(X,σ)N(X,σ)N(X, \sigma)XXXfff 1)ความหมายของการเลือกค่าที่ยอมรับล่าสุดเป็นค่าเฉลี่ยใหม่ของการกระจายข้อเสนอของเราคืออะไร สัญชาตญาณของฉันบอกว่าควรรับประกันได้ว่าคุณค่าของเราจะใกล้เคียงกับค่านิยมที่กระจายเป็นและโอกาสในการยอมรับจะยิ่งใหญ่ขึ้น แต่มันไม่ได้มุ่งเน้นตัวอย่างของเรามากเกินไปใช่ไหม รับประกันได้ว่าถ้าฉันได้รับตัวอย่างมากขึ้นโซ่จะกลายเป็นนิ่ง?fff 2)จะไม่เลือกพารามิเตอร์คงที่ (เนื่องจากยากต่อการวิเคราะห์) เป็นเรื่องยากและขึ้นอยู่กับตัวอย่างแรกที่เราต้องเลือกเพื่อเริ่มอัลกอริทึม? ในกรณีนี้อะไรจะเป็นวิธีที่ดีที่สุดในการค้นหาสิ่งที่ดีกว่าfff เป็นหนึ่งในวิธีการเหล่านั้นดีกว่าอื่น ๆ หรือขึ้นอยู่กับกรณีนี้หรือไม่? ฉันหวังว่าข้อสงสัยของฉันจะชัดเจนและฉันจะดีใจถ้าวรรณกรรมบางเล่มได้รับ (ฉันได้อ่านบทความเกี่ยวกับแก่นเรื่องแล้ว แต่ยิ่งดีกว่า!) ขอบคุณล่วงหน้า!

13 mcmc  metropolis-hastings 

ในหนังสือของ Gelman & Hill (2007) (การวิเคราะห์ข้อมูลโดยใช้การถดถอยและโมเดลหลายระดับ / ลำดับชั้น) ผู้เขียนอ้างว่าการรวมพารามิเตอร์ที่ซ้ำซ้อนสามารถช่วยเร่ง MCMC ได้ ตัวอย่างที่กำหนดเป็นรูปแบบที่ไม่ใช่ซ้อนกันของ "flight simulator" (Eq 13.9): yiγjδk∼N(μ+γj[i]+δk[i],σ2y)∼N(0,σ2γ)∼N(0,σ2δ)yi∼N(μ+γj[i]+δk[i],σy2)γj∼N(0,σγ2)δk∼N(0,σδ2) \begin{align} y_i &\sim N(\mu + \gamma_{j[i]} + \delta_{k[i]}, \sigma^2_y) \\ \gamma_j &\sim N(0, \sigma^2_\gamma) \\ \delta_k &\sim N(0, \sigma^2_\delta) \end{align} พวกเขาแนะนำการแก้ไขใหม่เพิ่มพารามิเตอร์ค่าเฉลี่ยและดังนี้:μγμγ\mu_\gammaμδμδ\mu_\delta γj∼N(μγ,σ2γ)δk∼N(μδ,σ2δ)γj∼N(μγ,σγ2)δk∼N(μδ,σδ2) \begin{align} \gamma_j \sim N(\mu_\gamma, \sigma^2_\gamma) \\ \delta_k \sim N(\mu_\delta, \sigma^2_\delta) \end{align} …

12 mcmc  hierarchical-bayesian  gibbs 

ในหนังสือของเขา Doing Bayesian Data Analysis John Kruschke ระบุว่าในการใช้ JAGS จาก R ... การประมาณค่าของโหมดจากตัวอย่าง MCMC นั้นค่อนข้างไม่เสถียรเนื่องจากการประมาณจะขึ้นอยู่กับอัลกอริธึมการปรับให้เรียบซึ่งสามารถไวต่อการกระแทกแบบสุ่มและระลอกในตัวอย่าง MCMC (ทำการวิเคราะห์ข้อมูลแบบเบย์ , หน้า 205, ส่วน 8.2.5.1) ในขณะที่ฉันมีความเข้าใจเกี่ยวกับอัลกอริทึม Metropolis และรูปแบบที่แน่นอนเช่นการสุ่มตัวอย่างกิ๊บส์ฉันไม่คุ้นเคยกับอัลกอริธึมที่ราบเรียบที่พูดพาดพิงเกินไปและสาเหตุที่มันหมายถึงการประเมินโหมดจากตัวอย่าง MCMC ไม่เสถียร ทุกคนสามารถให้ข้อมูลเชิงลึกที่เข้าใจง่ายเกี่ยวกับสิ่งที่อัลกอริทึมการปรับให้เรียบและทำไมมันทำให้การประเมินของโหมดไม่เสถียร?

12 bayesian  mcmc  mode 

อ้างถึงหัวข้อนี้: คุณจะอธิบายมาร์คอฟเชนมอนติคาร์โล (MCMC) ให้กับบุคคลทั่วไปได้อย่างไร? . ฉันเห็นได้ว่ามันเป็นการรวมกันของมาร์คอฟเชนและมอนติคาร์โล: โซ่มาร์คอฟถูกสร้างขึ้นด้วยส่วนหลังที่ จำกัด การกระจายตัวและจากนั้นมอนติคาร์โลวาด (ขึ้นอยู่) ทำจากการกระจาย จำกัด (= หลังของเรา) สมมติว่า (ฉันรู้ว่าฉันลดความซับซ้อนที่นี่) หลังจากก้าวไปเราก็ถึงขีด จำกัด การกระจาย (*)ΠLLLΠΠ\Pi ลูกโซ่มาร์คอฟเป็นลำดับของตัวแปรสุ่มฉันได้รับลำดับ , ที่เป็นตัวแปรสุ่มและคือการ จำกัด ' 'ตัวแปรสุ่ม' 'ซึ่งเราต้องการสุ่มตัวอย่าง X1,X2,…,XL,Π,Π,Π,…ΠX1,X2,…,XL,Π,Π,Π,…ΠX_1, X_2, \dots , X_L, \Pi, \Pi, \Pi, \dots \PiXiXiX_iΠΠ\Pi MCMC เริ่มจากค่าเริ่มต้นคือเป็นตัวแปรสุ่มที่มีมวลทั้งหมดในที่หนึ่งค่าx_1ถ้าฉันใช้ตัวอักษรพิมพ์ใหญ่สำหรับตัวแปรสุ่มและตัวอักษรขนาดเล็กสำหรับการรับรู้ของตัวแปรสุ่ม MCMC จะให้ลำดับ . ดังนั้นความยาวของห่วงโซ่ MCMC คือ L + nX1X1X_1x1x1x_1x1,x2,x3,…xL,π1,π2,π3,....πnx1,x2,x3,…xL,π1,π2,π3,....πnx_1,x_2,x_3, \dots x_L, …

12 mcmc 

ฉันกำลังพิจารณาที่มีขนาดใหญ่ ( แต่ จำกัด ) พื้นที่ของรูปแบบที่แตกต่างกันของความซับซ้อนซึ่งผมสำรวจโดยใช้RJMCMC ก่อนหน้าเกี่ยวกับเวกเตอร์พารามิเตอร์สำหรับแต่ละรุ่นมีข้อมูลค่อนข้าง ในกรณีใด (ถ้ามี) ฉันควรกังวลเกี่ยวกับJeffreys-Lindley บุคคลที่ผิดธรรมดานิยมรุ่นที่ง่ายกว่าเมื่อหนึ่งในแบบจำลองที่ซับซ้อนมากขึ้นจะเหมาะสมกว่าหรือไม่ มีตัวอย่างง่ายๆที่เน้นปัญหาของความขัดแย้งในการเลือกตัวแบบเบย์หรือไม่? ฉันได้อ่านบทความไม่กี่ฉบับนั่นคือบล็อกของซีอานและบล็อกของแอนดรูเจลแมนแต่ฉันยังไม่เข้าใจปัญหามากนัก

12 bayesian  model-selection  mcmc  prior  improper-prior