คำถามติดแท็ก gibbs

ฉันกำลังจะลองใช้สภาพแวดล้อมแบบ BUGS สำหรับการประเมินแบบจำลองของเบย์ มีข้อดีที่สำคัญที่ต้องพิจารณาในการเลือกระหว่าง OpenBugs หรือ JAGS หรือไม่? มีแนวโน้มว่าจะแทนที่คนอื่นในอนาคตอันใกล้? ฉันจะใช้ตัวอย่างกิ๊บส์ที่เลือกกับอาร์ฉันยังไม่มีแอปพลิเคชันเฉพาะ แต่ฉันกำลังตัดสินใจว่าจะเข้าร่วมและเรียนรู้ใด

41 r  software  bugs  jags  gibbs 

ฉันได้พยายามเรียนรู้วิธีการ MCMC และได้พบกับการสุ่มตัวอย่าง Metropolis Hastings, Gibbs, ความสำคัญและการปฏิเสธ ในขณะที่ความแตกต่างบางอย่างเห็นได้ชัดคือวิธีการที่กิ๊บส์เป็นกรณีพิเศษของ Metropolis Hastings เมื่อเรามีเงื่อนไขแบบสมบูรณ์ แต่สิ่งอื่น ๆ นั้นชัดเจนน้อยกว่าเช่นเมื่อเราต้องการใช้ MH ในตัวอย่าง Gibbs เป็นต้นไม่มีใครมี วิธีง่ายๆในการดูจำนวนมากของความแตกต่างระหว่างแต่ละเหล่านี้หรือไม่ ขอบคุณ!

36 mcmc  monte-carlo  gibbs  metropolis-hastings  importance-sampling 

ฉันต้องการเรียนรู้ว่า Gibbs Sampling ทำงานอย่างไรและฉันกำลังมองหากระดาษขั้นพื้นฐานที่ดีถึงขั้นกลาง ฉันมีพื้นฐานด้านวิทยาการคอมพิวเตอร์และมีความรู้ด้านสถิติขั้นพื้นฐาน มีใครอ่านเนื้อหาที่ดีรอบ ๆ ? คุณเรียนที่ไหน ขอบคุณ

29 references  gibbs 

เมื่อฉันเขียนโค้ดสำหรับการจำลอง Monte Carlo สำหรับปัญหาบางอย่างและตัวแบบนั้นง่ายพอฉันใช้การสุ่มตัวอย่างตำราเรียนพื้นฐานกิ๊บส์ เมื่อเป็นไปไม่ได้ที่จะใช้การสุ่มตัวอย่างของกิ๊บส์ฉันจะเขียนรหัสตำราเรียน Metropolis-Hastings ที่ฉันเรียนรู้เมื่อหลายปีก่อน ความคิดเดียวที่ฉันมอบให้คือเลือกการกระจายการกระโดดหรือพารามิเตอร์ ฉันรู้ว่ามีวิธีการพิเศษหลายร้อยและหลายร้อยวิธีที่พัฒนาขึ้นจากตัวเลือกตำราเรียนเหล่านั้น แต่ฉันมักไม่เคยคิดถึงการใช้ / การเรียนรู้ มันมักจะรู้สึกว่ามันเป็นความพยายามมากเกินไปในการปรับปรุงนิดหน่อยสิ่งที่ทำงานได้ดีอยู่แล้ว แต่เมื่อเร็ว ๆ นี้ฉันกำลังคิดว่าอาจจะไม่มีวิธีการทั่วไปแบบใหม่ที่สามารถปรับปรุงสิ่งที่ฉันทำ เป็นเวลาหลายทศวรรษแล้วที่ค้นพบวิธีการเหล่านั้น บางทีฉันล้าสมัยจริงๆ ! มีทางเลือกอื่น ๆ ที่รู้จักกันดีใน Metropolis-Hastings หรือไม่: ใช้งานง่ายพอสมควร เป็นที่ยอมรับในระดับสากลว่าเป็น MH และปรับปรุงผลลัพธ์ของ MH ให้ดีขึ้นอยู่เสมอ (การคำนวณประสิทธิภาพความแม่นยำ ฯลฯ ) ฉันรู้เกี่ยวกับการปรับปรุงที่พิเศษมากสำหรับโมเดลที่มีความพิเศษมาก แต่มีบางสิ่งที่ทุกคนใช้โดยทั่วไปที่ฉันไม่รู้

21 bayesian  mcmc  gibbs  metropolis-hastings 

ฉันเพิ่งได้อ่านการสุ่มตัวอย่างของกิ๊บส์และอัลกอริทึม Metropolis Hastings และมีคำถามสองสามข้อ อย่างที่ฉันเข้าใจในกรณีของการสุ่มตัวอย่างของกิ๊บส์ถ้าเรามีปัญหาหลายตัวแปรขนาดใหญ่เราจะสุ่มตัวอย่างจากการแจกแจงแบบมีเงื่อนไขนั่นคือตัวอย่างหนึ่งตัวแปรในขณะที่รักษาตัวแปรอื่น ๆ ทั้งหมดไว้ในขณะที่ MH เราสุ่มตัวอย่าง สิ่งหนึ่งที่เอกสารกล่าวคือตัวอย่างที่เสนอนั้นเป็นที่ยอมรับเสมอในการสุ่มตัวอย่างกิ๊บส์นั่นคืออัตราการยอมรับข้อเสนออยู่เสมอ 1 สำหรับฉันแล้วนี่เป็นข้อได้เปรียบที่ยิ่งใหญ่สำหรับปัญหาหลายตัวแปรขนาดใหญ่ดูเหมือนว่าอัตราการปฏิเสธสำหรับอัลกอริธึม MH ค่อนข้างใหญ่ . หากเป็นเช่นนั้นจริง ๆ แล้วอะไรคือสาเหตุที่ไม่ใช้ Gibbs Sampler ตลอดเวลาในการสร้างการกระจายหลัง

20 bayesian  sampling  mcmc  gibbs  metropolis-hastings 

อัลกอริทึม MCMC มีหลายประเภท: มหานครเฮสติ้งส์ กิ๊บส์ การสุ่มตัวอย่างความสำคัญ / การปฏิเสธ (เกี่ยวข้อง) เหตุใดจึงใช้การสุ่มตัวอย่างของกิ๊บส์แทนเมโทรโพลิส - แฮสติ้ง ฉันสงสัยว่ามีบางกรณีที่การอนุมานทำได้ง่ายกว่าด้วยการสุ่มตัวอย่างของกิ๊บส์มากกว่ากับเมโทรโพลิส - เฮสติงส์ แต่ฉันไม่ชัดเจนในเรื่องเฉพาะ

20 bayesian  simulation  mcmc  gibbs  metropolis-hastings 

ฉันมีอำนาจสูงสุด1ที่ Gibbs Sampling เป็นกรณีพิเศษของอัลกอริทึม Metropolis-Hastings สำหรับการสุ่มตัวอย่าง Markov Chain Monte Carlo อัลกอริทึม MH ให้ความน่าจะเป็นในการเปลี่ยนแปลงด้วยคุณสมบัติสมดุลแบบละเอียดเสมอ ฉันคาดหวังว่ากิ๊บส์ก็ควรทำเช่นกัน ดังนั้นในกรณีที่เรียบง่ายต่อไปนี้ฉันผิดไปที่ไหน? สำหรับการแจกแจงเป้าหมายπ(x,y)π(x,y)\pi(x, y)สำหรับตัวแปรสองตัวที่แยกกัน (เพื่อความง่าย) การแจกแจงแบบมีเงื่อนไขเต็มรูปแบบคือ: q1(x;y)q2(y;x)=π(x,y)∑zπ(z,y)=π(x,y)∑zπ(x,z)q1(x;y)=π(x,y)∑zπ(z,y)q2(y;x)=π(x,y)∑zπ(x,z) \begin{align} q_1 (x;y) & =\frac{\pi (x,y)}{\sum_z \pi (z,y)} \\ q_2 (y;x) & =\frac{\pi (x,y)}{\sum_z \pi (x,z)} \end{align} เมื่อฉันเข้าใจการสุ่มตัวอย่างของกิ๊บส์ความน่าจะเป็นในการเปลี่ยนแปลงสามารถเขียนได้: Prob{(y1,y2)→(x1,x2)}=q1(x1;y2)q2(x2;x1)Prob{(y1,y2)→(x1,x2)}=q1(x1;y2)q2(x2;x1) Prob\{(y_1, y_2) \to (x_1, x_2)\} = q_1(x_1; y_2) q_2(x_2; x_1) คำถามคือ …

17 mcmc  gibbs 

ผมจะผ่านเอกสารสแตนซึ่งสามารถดาวน์โหลดได้จากที่นี่ ฉันมีความสนใจเป็นพิเศษในการใช้งานการวินิจฉัยของเจลแมน - รูบิน กระดาษดั้งเดิมGelman & Rubin (1992)กำหนดปัจจัยการลดขนาดที่อาจเกิดขึ้น (PSRF) ดังนี้ Let เป็นฉัน TH โซ่มาร์คอฟชิมและให้มีการรวมMโซ่อิสระตัวอย่าง ให้ˉ Xฉัน⋅เป็นค่าเฉลี่ยจากฉันห่วงโซ่, th และˉ X ⋅ ⋅เป็นค่าเฉลี่ยโดยรวม กำหนด W = 1Xฉัน, 1, … , Xฉัน, NXi,1,…,Xi,NX_{i,1}, \dots , X_{i,N}ผมiiMMMX¯ฉัน⋅X¯i⋅\bar{X}_{i\cdot}ผมiiX¯⋅ ⋅X¯⋅⋅\bar{X}_{\cdot \cdot} ที่ s 2 m =1W= 1MΣm = 1Ms2ม.,W=1M∑m=1Msm2,W = \dfrac{1}{M} \sum_{m=1}^{M} {s^2_m}, และกำหนด B B …

16 mcmc  convergence  gibbs  metropolis-hastings  stan 

อัลกอริทึม MCMC เช่นการสุ่มตัวอย่าง Metropolis-Hastings และ Gibbs เป็นวิธีการสุ่มตัวอย่างจากการกระจายหลังร่วมกัน ฉันคิดว่าฉันเข้าใจและสามารถนำไปใช้ในการทำให้มหานครสวยได้อย่างง่ายดาย - คุณเพียงแค่เลือกจุดเริ่มต้นอย่างใดอย่างหนึ่งและ 'เดินพื้นที่พารามิเตอร์' โดยการสุ่มนำโดยความหนาแน่นหลังและความหนาแน่นของข้อเสนอ การสุ่มตัวอย่างของกิ๊บส์ดูเหมือนจะคล้ายกันมาก แต่มีประสิทธิภาพมากกว่าเนื่องจากจะอัปเดตพารามิเตอร์ครั้งละหนึ่งเท่านั้นในขณะที่ถือค่าคงตัวอื่น ๆ อย่างมีประสิทธิภาพการเดินบนอวกาศในรูปแบบมุมฉาก ในการดำเนินการนี้คุณต้องมีเงื่อนไขครบถ้วนของแต่ละพารามิเตอร์ในการวิเคราะห์จาก * แต่เงื่อนไขทั้งหมดนี้มาจากไหน P(x1|x2, …, xn)=P(x1, …, xn)P(x2, …, xn)P(x1|x2, …, xn)=P(x1, …, xn)P(x2, …, xn) P(x_1 | x_2,\ \ldots,\ x_n) = \frac{P(x_1,\ \ldots,\ x_n)}{P(x_2,\ \ldots,\ x_n)} ที่จะได้รับส่วนที่คุณจำเป็นต้องเหยียดหยามร่วมกว่าx1x1x_11 ดูเหมือนว่าจะมีการทำงานมากมายที่ต้องทำการวิเคราะห์หากมีพารามิเตอร์จำนวนมากและอาจไม่สามารถจัดการได้หากการกระจายข้อต่อไม่ดีมาก ฉันรู้ว่าถ้าคุณใช้การผันคำกริยาตลอดทั้งโมเดลเงื่อนไขแบบเต็มอาจง่าย แต่ก็ต้องมีวิธีที่ดีกว่าสำหรับสถานการณ์ทั่วไปมากขึ้น ตัวอย่างทั้งหมดของการสุ่มตัวอย่างของกิ๊บส์ที่ฉันเคยเห็นตัวอย่างการใช้ของเล่นออนไลน์ (เช่นการสุ่มตัวอย่างจากตัวแปรหลายตัวแปรซึ่งเงื่อนไขเป็นเพียงบรรทัดฐานของตัวเอง) และดูเหมือนจะหลบปัญหานี้ …

15 bayesian  mcmc  gibbs 

ฉันทำซ้ำตั้งแต่เริ่มต้นผลลัพธ์ในหัวข้อ 4.2.1 จาก โอกาสที่จะได้รับผลกระทบเล็กน้อยจากผลผลิตกิ๊บส์ Siddhartha Chib วารสารสมาคมสถิติอเมริกัน 90, No. 432. (Dec. , 1995), pp. 1313-1321 มันเป็นส่วนผสมของโมเดล normals พร้อมด้วยหมายเลขรู้จัก k≥1k≥1k\geq 1f(x∣w,μ,σ2)=∏i=1n∑j=1kN(xi∣μj,σ2j).(∗)f(x∣w,μ,σ2)=∏i=1n∑j=1kN(xi∣μj,σj2).(∗) f(x\mid w,\mu,\sigma^2) =\prod_{i=1}^n\sum_{j=1}^k \mathrm{N}(x_i\mid\mu_j,\sigma_j^2) \, . \qquad (*) ตัวอย่าง Gibbs สำหรับรุ่นนี้นำมาใช้โดยใช้เทคนิคการเพิ่มข้อมูลของแทนเนอร์และหว่อง ชุดของตัวแปรการจัดสรรสมมติว่ามีค่าและเราระบุว่าและf (x_i \ mid z \ หมู่, \ Sigma ^ 2) = \ mathrm {N} (x_i \ กลาง \ …

13 bayesian  mixture  gibbs 

ในหนังสือของ Gelman & Hill (2007) (การวิเคราะห์ข้อมูลโดยใช้การถดถอยและโมเดลหลายระดับ / ลำดับชั้น) ผู้เขียนอ้างว่าการรวมพารามิเตอร์ที่ซ้ำซ้อนสามารถช่วยเร่ง MCMC ได้ ตัวอย่างที่กำหนดเป็นรูปแบบที่ไม่ใช่ซ้อนกันของ "flight simulator" (Eq 13.9): yiγjδk∼N(μ+γj[i]+δk[i],σ2y)∼N(0,σ2γ)∼N(0,σ2δ)yi∼N(μ+γj[i]+δk[i],σy2)γj∼N(0,σγ2)δk∼N(0,σδ2) \begin{align} y_i &\sim N(\mu + \gamma_{j[i]} + \delta_{k[i]}, \sigma^2_y) \\ \gamma_j &\sim N(0, \sigma^2_\gamma) \\ \delta_k &\sim N(0, \sigma^2_\delta) \end{align} พวกเขาแนะนำการแก้ไขใหม่เพิ่มพารามิเตอร์ค่าเฉลี่ยและดังนี้:μγμγ\mu_\gammaμδμδ\mu_\delta γj∼N(μγ,σ2γ)δk∼N(μδ,σ2δ)γj∼N(μγ,σγ2)δk∼N(μδ,σδ2) \begin{align} \gamma_j \sim N(\mu_\gamma, \sigma^2_\gamma) \\ \delta_k \sim N(\mu_\delta, \sigma^2_\delta) \end{align} …

12 mcmc  hierarchical-bayesian  gibbs 

เท่าที่ฉันเข้าใจมันเป็น (อย่างน้อยนั่นคือวิธีที่Wikipedia กำหนดไว้ ) แต่ฉันได้พบข้อความนี้โดย Efron * (เน้นที่เพิ่ม): มาร์คอฟเชนมอนติคาร์โล (MCMC) เป็นเรื่องราวความสำเร็จที่ยิ่งใหญ่ของสถิติแบบเบย์ในปัจจุบัน MCMC และวิธีการน้องสาวของ "การสุ่มตัวอย่างกิ๊บส์"ช่วยให้การคำนวณเชิงตัวเลขของการแจกแจงหลังในสถานการณ์ที่ซับซ้อนเกินไปสำหรับการแสดงออกเชิงวิเคราะห์ และตอนนี้ฉันสับสน นี่เป็นเพียงความแตกต่างเล็กน้อยในคำศัพท์หรือเป็นกิ๊บส์สุ่มตัวอย่างอย่างอื่นที่ไม่ใช่ MCMC? [*]: Efron 2011, "The Bootstrap และ Markov-Chain Monte Carlo"

11 mcmc  gibbs 

พื้นหลังของการศึกษาของฉัน : ในการสุ่มตัวอย่างกิ๊บส์เมื่อเราสุ่มตัวอย่าง (ตัวแปรที่สนใจ) และจากและตามลำดับโดยที่และเป็นเวกเตอร์สุ่มมิติ เรารู้ว่ากระบวนการนั้นมักจะแบ่งออกเป็นสองขั้นตอน:XXXYYYP(X|Y)P(X|Y)P(X|Y)P(Y|X)P(Y|X)P(Y|X)XXXYYYkkk ระยะเวลาการเผาไหม้ที่เราทิ้งตัวอย่างทั้งหมด แสดงว่ากลุ่มตัวอย่างเป็นและY_tX1∼XtX1∼XtX_1\sim X_tY1∼YtY1∼YtY_1\sim Y_t "After-Burn-in" ประจำเดือนซึ่งเราทำการหาค่าเฉลี่ยตัวอย่างเป็นผลลัพธ์สุดท้ายที่เราต้องการX¯=1k∑ki=1Xt+iX¯=1k∑i=1kXt+i\bar{X} = \frac{1}{k}\sum_{i=1}^k X_{t+i} อย่างไรก็ตามตัวอย่างในลำดับ "after-burn-in"ไม่ได้ถูกแจกจ่ายอย่างอิสระ ดังนั้นหากฉันต้องการตรวจสอบความแปรปรวนของผลลัพธ์สุดท้ายมันก็จะกลายเป็นXt+1∼Xt+kXt+1∼Xt+kX_{t+1}\sim X_{t+k} Var[X¯]=Var[∑i=1kXt+i]=1k2(∑i=1kVar[Xt+i]+∑i=1k−1∑j=i+1kCov[Xt+i,Xt+j])Var⁡[X¯]=Var⁡[∑i=1kXt+i]=1k2(∑i=1kVar⁡[Xt+i]+∑i=1k−1∑j=i+1kCov⁡[Xt+i,Xt+j])\operatorname{Var}[\bar{X}] = \operatorname{Var}\left[\sum_{i=1}^k X_{t+i}\right] = \frac{1}{k^2}\left(\sum_{i=1}^k\operatorname{Var}[X_{t+i}] + \sum_{i=1}^{k-1} \sum_{j=i+1}^k \operatorname{Cov}[X_{t+i},X_{t+j}]\right) ที่นี่มีคำCov[ Xt + i, Xt + j]Cov⁡[Xt+i,Xt+j]\operatorname{Cov}[X_{t+i},X_{t+j}]เป็นk × kk×kk\times kข้ามแปรปรวนเมทริกซ์ใช้กับใด ๆ( i , j )(i,j)(i,j)กับฉัน&lt; ji&lt;ji<j&lt;J ตัวอย่างเช่นฉันมี Xt + 1= ( …

11 hypothesis-testing  covariance  covariance-matrix  gibbs 

ที่จริงฉันลังเลที่จะถามเรื่องนี้เพราะฉันกลัวว่าฉันจะถูกส่งต่อไปยังคำถามอื่นหรือวิกิพีเดียในการสุ่มตัวอย่างของกิ๊บส์ แต่ฉันไม่มีความรู้สึกว่าพวกเขาอธิบายสิ่งที่อยู่ในมือ รับความน่าจะเป็นแบบมีเงื่อนไข : p ( x | y ) y = y 0 y = y 1 x = x 0 1p ( x | y)p(x|y)p(x|y)p ( x | y)x = x0x = x1Y= y01434Y= y12646p(x|y)y=y0y=y1x=x01426x=x13446 \begin{array}{c|c|c} p(x|y) & y = y_0 & y = y_1 \\ \hline x …

11 sampling  mcmc  gibbs 

สมมติว่าคุณมีตัวแปรอธิบายโดยที่แทนพิกัดที่กำหนด คุณยังมีตัวแปรตอบสนองขวา) ตอนนี้เราสามารถรวมตัวแปรทั้งสองเป็น:X=(X(s1),…,X(sn))X=(X(s1),…,X(sn)){\bf{X}} = \left(X(s_{1}),\ldots,X(s_{n})\right)sssY=(Y(s1),…,Y(sn))Y=(Y(s1),…,Y(sn)){\bf{Y}} = \left(Y(s_{1}),\ldots,Y(s_{n})\right) W(s)=(X(s)Y(s))∼N(μ(s),T)W(s)=(X(s)Y(s))∼N(μ(s),T){\bf{W}}({\bf{s}}) = \left( \begin{array}{ccc}X(s) \\ Y(s) \end{array} \right) \sim N(\boldsymbol{\mu}(s), T) ในกรณีนี้เราเลือกμ(s)=(μ1μ2)Tμ(s)=(μ1μ2)T\boldsymbol{\mu}(s) = \left( \mu_{1} \; \; \mu_{2}\right)^{T}และTTTเป็นเมทริกซ์ความแปรปรวนร่วมที่อธิบาย ความสัมพันธ์ระหว่างXXXและYYYYสิ่งนี้อธิบายค่าXXXและYYYที่sssเท่านั้น เนื่องจากเรามีคะแนนเพิ่มเติมจากที่ตั้งอื่นสำหรับXXXและYYYเราจึงสามารถอธิบายค่าเพิ่มเติมของW(s)W(s){\bf{W}}(s)ด้วยวิธีต่อไปนี้: (XY)=N((μ11μ21),T⊗H(ϕ))(XY)=N((μ11μ21),T⊗H(ϕ))\left( \begin{array}{ccc} {\bf{X}} \\ {\bf{Y}} \end{array}\right) = N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), T\otimes H(\phi)\right) คุณจะสังเกตเห็นว่าเราได้จัดเรียงองค์ประกอบของXX\bf{X}และYY\bf{Y}เพื่อให้ได้X(si)X(si)X(s_i)ในคอลัมน์และหลังจากนั้นเชื่อมต่อY(si)Y(si)Y(s_i)เข้าด้วยกัน แต่ละองค์ประกอบH(ϕ)ijH(ϕ)ijH(\phi)_{ij}เป็นฟังก์ชันที่สัมพันธ์กันρ(si,sj)ρ(si,sj)\rho(s_i, s_j)และTTTอยู่ด้านบน เหตุผลที่เรามีความแปรปรวนร่วมT⊗H(ϕ)T⊗H(ϕ)T\otimes H(\phi)เป็นเพราะเราคิดว่ามันเป็นไปได้ที่จะแยกเมทริกซ์ความแปรปรวนเป็นC(s,s′)=ρ(s,s′)TC(s,s′)=ρ(s,s′)TC(s, s')=\rho(s, s') TT คำถามที่ 1: เมื่อฉันคำนวณเงื่อนไขY∣XY∣X{\bf{Y}}\mid{\bf{X}}สิ่งที่ฉันกำลังทำจริง ๆ …

11 probability  bayesian  conditional-probability  gibbs