คำถามติดแท็ก mcmc

อัลกอริทึม MCMC เช่นการสุ่มตัวอย่าง Metropolis-Hastings และ Gibbs เป็นวิธีการสุ่มตัวอย่างจากการกระจายหลังร่วมกัน ฉันคิดว่าฉันเข้าใจและสามารถนำไปใช้ในการทำให้มหานครสวยได้อย่างง่ายดาย - คุณเพียงแค่เลือกจุดเริ่มต้นอย่างใดอย่างหนึ่งและ 'เดินพื้นที่พารามิเตอร์' โดยการสุ่มนำโดยความหนาแน่นหลังและความหนาแน่นของข้อเสนอ การสุ่มตัวอย่างของกิ๊บส์ดูเหมือนจะคล้ายกันมาก แต่มีประสิทธิภาพมากกว่าเนื่องจากจะอัปเดตพารามิเตอร์ครั้งละหนึ่งเท่านั้นในขณะที่ถือค่าคงตัวอื่น ๆ อย่างมีประสิทธิภาพการเดินบนอวกาศในรูปแบบมุมฉาก ในการดำเนินการนี้คุณต้องมีเงื่อนไขครบถ้วนของแต่ละพารามิเตอร์ในการวิเคราะห์จาก * แต่เงื่อนไขทั้งหมดนี้มาจากไหน P(x1|x2, …, xn)=P(x1, …, xn)P(x2, …, xn)P(x1|x2, …, xn)=P(x1, …, xn)P(x2, …, xn) P(x_1 | x_2,\ \ldots,\ x_n) = \frac{P(x_1,\ \ldots,\ x_n)}{P(x_2,\ \ldots,\ x_n)} ที่จะได้รับส่วนที่คุณจำเป็นต้องเหยียดหยามร่วมกว่าx1x1x_11 ดูเหมือนว่าจะมีการทำงานมากมายที่ต้องทำการวิเคราะห์หากมีพารามิเตอร์จำนวนมากและอาจไม่สามารถจัดการได้หากการกระจายข้อต่อไม่ดีมาก ฉันรู้ว่าถ้าคุณใช้การผันคำกริยาตลอดทั้งโมเดลเงื่อนไขแบบเต็มอาจง่าย แต่ก็ต้องมีวิธีที่ดีกว่าสำหรับสถานการณ์ทั่วไปมากขึ้น ตัวอย่างทั้งหมดของการสุ่มตัวอย่างของกิ๊บส์ที่ฉันเคยเห็นตัวอย่างการใช้ของเล่นออนไลน์ (เช่นการสุ่มตัวอย่างจากตัวแปรหลายตัวแปรซึ่งเงื่อนไขเป็นเพียงบรรทัดฐานของตัวเอง) และดูเหมือนจะหลบปัญหานี้ …

15 bayesian  mcmc  gibbs 

การสลับเลเบล (เช่นการกระจายด้านหลังเป็นค่าคงที่สำหรับการสลับเลเบลคอมโพเนนต์) เป็นปัญหาที่มีปัญหาเมื่อใช้ MCMC เพื่อประมาณตัวแบบผสม มีวิธีการมาตรฐาน (ตามที่ยอมรับกันอย่างแพร่หลาย) ในการจัดการกับปัญหานี้หรือไม่? หากไม่มีวิธีการมาตรฐานวิธีการคืออะไรข้อดีข้อเสียของวิธีการชั้นนำในการแก้ปัญหาการเปลี่ยนฉลาก?

15 bayesian  mcmc  mixture 

ฉันพยายามทำความเข้าใจกับ Markov chains โดยใช้ SAS ฉันเข้าใจว่ากระบวนการมาร์คอฟเป็นสิ่งที่รัฐในอนาคตขึ้นอยู่กับสถานะปัจจุบันเท่านั้นและไม่ได้อยู่ในสถานะที่ผ่านมาและมีเมทริกซ์การเปลี่ยนแปลงที่จับความน่าจะเป็นการเปลี่ยนแปลงจากรัฐหนึ่งไปยังอีกรัฐหนึ่ง แต่ฉันเจอคำนี้: มาร์คอฟเชนมอนติคาร์โล สิ่งที่ฉันอยากรู้คือถ้ามาร์คอฟเชนมอนติคาร์โลนั้นเกี่ยวข้องกับกระบวนการมาร์คอฟที่ฉันอธิบายไว้ข้างต้นหรือไม่

15 probability  simulation  mcmc  monte-carlo  markov-process 

ในช่วงสองสามสัปดาห์ที่ผ่านมาฉันพยายามทำความเข้าใจ MCMC และอัลกอริทึม Metropolis-Hastings ทุกครั้งที่ฉันคิดว่าฉันเข้าใจฉันรู้ว่าฉันผิด ตัวอย่างโค้ดส่วนใหญ่ที่ฉันพบในออนไลน์ใช้สิ่งที่ไม่สอดคล้องกับคำอธิบาย เช่นพวกเขากล่าวว่าพวกเขาใช้ Metropolis-Hastings แต่จริง ๆ แล้วพวกเขาใช้เมืองแบบสุ่มเดิน อื่น ๆ (เกือบตลอดเวลา) ข้ามการดำเนินการตามอัตราส่วนการแก้ไขเฮสติ้งส์อย่างเงียบ ๆ เนื่องจากใช้การกระจายข้อเสนอแบบสมมาตร ที่จริงแล้วฉันไม่พบตัวอย่างง่ายๆเพียงอย่างเดียวที่คำนวณอัตราส่วนจนถึงตอนนี้ นั่นทำให้ฉันสับสนมากขึ้น ใครสามารถให้ตัวอย่างรหัส (ภาษาใด ๆ ) ต่อไปนี้ให้ฉันได้: Vanilla Non-Random Walk Algorithm อัลกอริธึม Hastings พร้อมการคำนวณอัตราส่วนการแก้ไข Hastings (แม้ว่าสิ่งนี้จะกลายเป็น 1 เมื่อใช้การกระจายข้อเสนอแบบสมมาตร) ขั้นตอนวิธี Vanilla Random Metropolis-Hastings อัลกอรึทึมแห่งมหานคร - เฮสติ้งส์วานิลลาอิสระ ไม่จำเป็นต้องให้อัลกอริธึม Metropolis เพราะถ้าฉันไม่เข้าใจผิดความแตกต่างเพียงอย่างเดียวระหว่าง Metropolis และ Metropolis-Hastings ก็คือตัวแรกนั้นมักจะสุ่มตัวอย่างจากการกระจายแบบสมมาตรและทำให้พวกเขาไม่มีอัตราส่วนการแก้ไขเฮสติ้ง ไม่จำเป็นต้องอธิบายขั้นตอนวิธีโดยละเอียด …

15 mcmc  metropolis-hastings 

ผมได้เริ่มต้นเพียงเพื่อเรียนรู้ที่จะใช้สแตนrstanและ นอกจากว่าฉันมักจะสับสนเกี่ยวกับวิธีการทำงานของ JAGS / BUGS ฉันคิดว่าคุณต้องกำหนดการแจกจ่ายก่อนหน้าบางชนิดสำหรับพารามิเตอร์ทุกตัวในโมเดลที่จะดึงมา ดูเหมือนว่าคุณไม่จำเป็นต้องทำสิ่งนี้ใน Stan ตามเอกสารประกอบของมัน นี่คือรูปแบบตัวอย่างที่พวกเขาให้ที่นี่ data { int<lower=0> J; // number of schools real y[J]; // estimated treatment effects real<lower=0> sigma[J]; // s.e. of effect estimates } parameters { real theta[J]; real mu; real<lower=0> tau; } model { theta ~ normal(mu, tau); y ~ normal(theta, …

15 mcmc  prior  jags  graphical-model  stan 

ใครสามารถอธิบายแนวคิดหลักที่อยู่เบื้องหลังวิธีการของ Hamiltonian Monte Carlo และในกรณีใดที่พวกเขาจะให้ผลลัพธ์ที่ดีกว่าวิธีของ Markov Chain Monte Carlo

14 bayesian  mcmc  hmc 

เคยมีการศึกษาขนาดใหญ่ของวิธีการ MCMC ที่เปรียบเทียบประสิทธิภาพของอัลกอริทึมที่แตกต่างกันหลายชุดในชุดทดสอบความหนาแน่นหรือไม่? ฉันกำลังคิดถึงบางสิ่งที่เทียบเท่ากับกระดาษของ Rios และ Sahinidis (2013) ซึ่งเป็นการเปรียบเทียบอย่างละเอียดเกี่ยวกับเครื่องมือเพิ่มประสิทธิภาพกล่องดำแบบไร้อนุพันธ์จำนวนมากในฟังก์ชั่นการทดสอบหลายชั้น สำหรับ MCMC สามารถประเมินประสิทธิภาพได้เช่นจำนวนตัวอย่างที่มีประสิทธิภาพ (ESS) ต่อการประเมินความหนาแน่นหรือตัวชี้วัดอื่น ๆ ที่เหมาะสม ความคิดเห็นไม่กี่: ฉันขอขอบคุณที่ประสิทธิภาพจะขึ้นอยู่กับรายละเอียดของเป้าหมาย PDF แต่ข้อโต้แย้งที่คล้ายกัน (อาจไม่เหมือนกัน) สำหรับการเพิ่มประสิทธิภาพและยังมีฟังก์ชั่นมาตรฐานห้องสวีทการแข่งขันเอกสารและอื่น ๆ ที่เกี่ยวข้องกับการเพิ่มประสิทธิภาพการเปรียบเทียบ อัลกอริทึม นอกจากนี้มันเป็นความจริงที่ MCMC แตกต่างจากการปรับให้เหมาะสมเมื่อเปรียบเทียบกับการดูแลและปรับแต่งที่จำเป็นจากผู้ใช้ อย่างไรก็ตามขณะนี้มีวิธีการ MCMC หลายวิธีที่ต้องการการปรับแต่งเพียงเล็กน้อยหรือไม่มีเลย: วิธีการปรับตัวในเฟสเบิร์นอิน, ในระหว่างการสุ่มตัวอย่าง, หรือหลายรัฐ (หรือเรียกว่าensemble ) วิธีการ (เช่นEmcee ) ข้อมูลจากโซ่อื่น ๆ เพื่อเป็นแนวทางในการสุ่มตัวอย่าง ฉันสนใจเป็นพิเศษในการเปรียบเทียบระหว่างวิธีมาตรฐานและหลายรัฐ (aka ensemble) สำหรับคำจำกัดความของหลายรัฐโปรดดูมาตรา 30.6 ของหนังสือของ MacKay : …

14 machine-learning  bayesian  references  mcmc 

Q:วิธีมาตรฐานในการจัดกลุ่มข้อมูลโดยใช้กระบวนการ Dirichlet คืออะไร เมื่อใช้กลุ่มการสุ่มตัวอย่างของกิ๊บส์จะปรากฏขึ้นและหายไประหว่างการสุ่มตัวอย่าง นอกจากนี้เรามีปัญหาในการระบุตัวตนเนื่องจากการกระจายหลังนั้นไม่แปรเปลี่ยนไปจากการจัดกลุ่มใหม่ ดังนั้นเราไม่สามารถพูดได้ว่าเป็นกลุ่มของผู้ใช้ แต่ที่ผู้ใช้สองคนที่อยู่ในกลุ่มเดียวกัน (นั่นคือp(ci=cj)p(ci=cj)p(c_i=c_j) ) เราสามารถสรุปข้อมูลที่ได้รับมอบหมายในชั้นเรียนเพื่อที่ว่าถ้าคือการกำหนดกลุ่มของจุดฉันตอนนี้เราไม่เพียง แต่ที่คฉัน = คเจแต่ที่คฉัน = คJ = คJ = . . = ccicic_iiiici=cjci=cjc_i=c_j ?ci=cj=cj=...=czci=cj=cj=...=czc_i=c_j=c_j=...=c_z นี่เป็นทางเลือกที่ฉันพบและทำไมฉันจึงคิดว่าสิ่งเหล่านี้ไม่สมบูรณ์หรือเข้าใจผิด (1) DP-GMM + การสุ่มตัวอย่าง Gibbs + เมทริกซ์ความสับสนตามคู่ หากต้องการใช้แบบจำลองส่วนผสมของกระบวนการ Dirichlet แบบเกาส์ (DP-GMM) สำหรับการจัดกลุ่มฉันได้นำบทความนี้ไปใช้โดยผู้เขียนเสนอ DP-GMM สำหรับการประเมินความหนาแน่นโดยใช้การสุ่มตัวอย่างแบบกิ๊บส์ เพื่อสำรวจประสิทธิภาพการจัดกลุ่มพวกเขาพูดว่า: เนื่องจากจำนวนของส่วนประกอบเปลี่ยนแปลงไปตลอดห่วงโซ่ [MCMC] เราจะต้องสร้างเมทริกซ์ความสับสนซึ่งแสดงความถี่ของคู่ข้อมูลแต่ละคู่ที่ได้รับมอบหมายให้เป็นองค์ประกอบเดียวกันสำหรับทั้งห่วงโซ่ดูรูปที่ 6 ข้อด้อย : นี่ไม่ใช่การจัดกลุ่มแบบ "สมบูรณ์" จริง แต่เป็นการทำคลัสเตอร์แบบคู่ที่ชาญฉลาด รูปดูดีมากเพราะเรารู้ว่ากลุ่มจริงและจัดเมทริกซ์ตามนั้น …

14 bayesian  clustering  mcmc  dirichlet-process  identifiability 

การวินิจฉัย Gelman และ Rubin ใช้เพื่อตรวจสอบการลู่เข้าของเชน mcmc หลาย ๆ ตัวที่ทำงานแบบขนาน มันเปรียบเทียบความแปรปรวนภายในห่วงโซ่กับความแปรปรวนระหว่างห่วงโซ่การแสดงออกอยู่ด้านล่าง: ขั้นตอน (สำหรับแต่ละพารามิเตอร์): เรียกใช้ m ≥ 2 กลุ่มที่มีความยาว 2n จากค่าเริ่มต้นที่กระจายเกินพิกัด ยกเลิกการดึง n แรกในแต่ละเชน คำนวณความแปรปรวนภายในโซ่และระหว่างห่วงโซ่ คำนวณค่าความแปรปรวนโดยประมาณของพารามิเตอร์เป็นผลรวมถ่วงน้ำหนักของความแปรปรวนภายในห่วงโซ่และระหว่างห่วงโซ่ คำนวณปัจจัยการลดขนาดที่อาจเกิดขึ้น รายการสินค้า ฉันต้องการใช้สถิตินี้ แต่ตัวแปรที่ฉันต้องการใช้คือเวกเตอร์แบบสุ่ม มันสมเหตุสมผลไหมที่จะใช้ค่าเฉลี่ยของเมทริกซ์ความแปรปรวนร่วมในกรณีนี้?

14 mcmc  convergence  covariance-matrix 

ฉันกำลังจะไปบรรยายที่เกี่ยวข้องกับ MCMC อย่างไรก็ตามฉันไม่พบตัวอย่างที่ดีของวิธีการใช้งาน ใครช่วยยกตัวอย่างที่เป็นรูปธรรมให้ฉันได้บ้าง ทั้งหมดที่ฉันเห็นคือพวกเขาใช้โซ่มาร์คอฟและบอกว่าการกระจายแบบคงที่คือการกระจายที่ต้องการ ฉันต้องการตัวอย่างที่ดีที่การแจกแจงที่ต้องการนั้นยากที่จะสุ่มตัวอย่าง ดังนั้นเราจึงสร้างเชนมาร์คอฟ ฉันต้องการทราบวิธีการเลือกเมทริกซ์การเปลี่ยนแปลงเพื่อให้การกระจายแบบคงที่ของเชนมาร์คอฟคือการกระจายเป้าหมายขอบคุณ

14 probability  bayesian  mcmc  markov-process 

ฉันกำลังเรียกใช้ตัวอย่างเมือง (C ++) และต้องการใช้ตัวอย่างก่อนหน้านี้เพื่อประมาณอัตราการลู่เข้า สิ่งหนึ่งที่ง่ายต่อการใช้การวินิจฉัยที่ฉันพบคือการวินิจฉัยของ Gewekeซึ่งคำนวณความแตกต่างระหว่างตัวอย่างสองวิธีหมายถึงหารด้วยข้อผิดพลาดมาตรฐานโดยประมาณ ข้อผิดพลาดมาตรฐานประมาณจากความหนาแน่นสเปกตรัมที่ศูนย์ Zn=θ¯A−θ¯B1nASAθ^(0)+1nBSBθ^(0)−−−−−−−−−−−−−−−−√,Zn=θ¯A−θ¯B1nASθA^(0)+1nBSθB^(0),Z_n=\frac{\bar{\theta}_A-\bar{\theta}_B}{\sqrt{\frac{1}{n_A}\hat{S_{\theta}^A}(0)+\frac{1}{n_B}\hat{S_{\theta}^B}(0)}}, โดยที่ , Bเป็นหน้าต่างสองบานภายในเชนมาร์คอฟ ฉันได้ทำการวิจัยเกี่ยวกับ^ S A θ ( 0 )และ^ S B θ ( 0 )แต่อ่านความยุ่งเหยิงของวรรณคดีเรื่องความหนาแน่นสเปกตรัมพลังงานและความหนาแน่นสเปกตรัมพลังงานแต่ฉันไม่ใช่ผู้เชี่ยวชาญในหัวข้อเหล่านี้ ฉันต้องการคำตอบด่วน: ปริมาณเหล่านี้เหมือนกับความแปรปรวนตัวอย่างหรือไม่ ถ้าไม่เป็นสูตรในการคำนวณพวกเขาคืออะไร?AAABBBSAθ^(0)SθA^(0)\hat{S_{\theta}^A}(0)SBθ^(0)SθB^(0)\hat{S_{\theta}^B}(0) θθ\thetaθ(X)θ(X)\theta(X)SAθ^(0)SθA^(0)\hat{S_{\theta}^A}(0) SSS

14 mcmc  diagnostic 

เดินสุ่มเมือง - Hasitings พร้อมข้อเสนอสมมาตร Q( x | y) = g( | y- x | )Q(x|Y)=ก.(|Y-x|)q(x|y)= g(|y-x|) มีคุณสมบัติที่ความน่าจะเป็นที่ยอมรับได้ P( a c c e p t y ) = min { 1 , f( y) / f( x ) }P(aคคอีพีเสื้อ Y)=นาที{1,ฉ(Y)/ฉ(x)}P(accept\ y) = \min\{1, f(y)/f(x)\} ไม่ได้ขึ้นอยู่กับข้อเสนอก.( ⋅ )ก.(⋅)g(\cdot)cdot) นั่นหมายความว่าฉันสามารถเปลี่ยนก.( ⋅ )ก.(⋅)g(\cdot)เป็นฟังก์ชั่นของการทำงานก่อนหน้าของเชนได้โดยไม่ส่งผลกระทบต่อ markovianity …

14 mcmc  metropolis-hastings 

ไม่มีใครรู้รหัสบางเขียนดี (ใน Matlab หรือ R) สำหรับกระโดด MCMC ย้อนกลับได้? เป็นแอพพลิเคชั่นตัวอย่างที่ใช้ง่ายเพื่อชมเชยเอกสารในหัวข้อที่จะเป็นประโยชน์ในการทำความเข้าใจกระบวนการ

14 r  matlab  references  mcmc 

ฉันพยายามที่จะเข้าใจอัลกอริทึม Metropolis-Hastings เพื่อที่จะเขียนโค้ดเพื่อประมาณค่าพารามิเตอร์ของแบบจำลอง (เช่น ) อ้างอิงจากบรรณานุกรมอัลกอริทึม Metropolis-Hastings มีขั้นตอนดังต่อไปนี้:f(x)=a∗xf(x)=a∗xf(x)=a*x สร้างYt∼q(y|xt)Yt∼q(y|xt)Y_t \sim q(y|x^t) Xt+1={Yt,xt,with probabilityρ(xt,Yt),with probability1−ρ(xt,Yt),Xt+1={Yt,with probabilityρ(xt,Yt),xt,with probability1−ρ(xt,Yt),X^{t+1}=\begin{cases} Y^t, & \text{with probability} \quad \rho(x^t,Y_t), \\ x^t, & \text{with probability} \quad 1-\rho(x^t,Y_t), \end{cases} ρ(x,y)=min(f(y)f(x)∗q(x|y)q(y|x),1)ρ(x,y)=min(f(y)f(x)∗q(x|y)q(y|x),1)\rho(x,y)=\min \left( \frac{f(y)}{f(x)}*\frac{q(x|y)}{q(y|x)},1 \right) ฉันต้องการถามคำถามสองสามข้อ: บรรณานุกรมระบุว่าหากเป็นการกระจายแบบสมมาตรอัตราส่วนจะกลายเป็น 1 และอัลกอริทึมนั้นเรียกว่า Metropolis ถูกต้องหรือไม่ ความแตกต่างเพียงอย่างเดียวระหว่าง Metropolis และ Metropolis-Hastings คือสิ่งแรกที่ใช้การกระจายแบบสมมาตร? แล้ว "Random Walk" Metropolis (-Hastings) …

14 mcmc  metropolis-hastings 

มีบทสรุปที่ดี (บทวิจารณ์หนังสือ) ในแอปพลิเคชั่นต่างๆของ Markov chain Monte Carlo (MCMC) หรือไม่? ฉันเคยเห็นมาร์คอฟเชนมอนติคาร์โลในทางปฏิบัติแต่หนังสือเล่มนี้ดูเก่าไปหน่อย มีหนังสืออัปเดตเพิ่มเติมเกี่ยวกับแอปพลิเคชันต่างๆของ MCMC ในด้านต่าง ๆ เช่นการเรียนรู้ด้วยคอมพิวเตอร์, การมองเห็นคอมพิวเตอร์และชีววิทยาการคำนวณหรือไม่?

14 machine-learning  mcmc  inference  references  application