วิธีการรับตัวอย่างกิ๊บส์?

ที่จริงฉันลังเลที่จะถามเรื่องนี้เพราะฉันกลัวว่าฉันจะถูกส่งต่อไปยังคำถามอื่นหรือวิกิพีเดียในการสุ่มตัวอย่างของกิ๊บส์ แต่ฉันไม่มีความรู้สึกว่าพวกเขาอธิบายสิ่งที่อยู่ในมือ

รับความน่าจะเป็นแบบมีเงื่อนไข : p ( x | y ) y = y 0 y = y 1 x = x 0 $p(x|y)$

$$\begin{array}{c|c|c} p(x|y) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{4} & \tfrac{2}{6} \\ \hline x = x_1 & \tfrac{3}{4} & \tfrac{4}{6} \\ \end{array}$$

และความน่าจะเป็นแบบมีเงื่อนไข : p ( y | x ) y = y 0 y = y 1 x = x 0 $p(y|x)$

$$\begin{array}{c|c|c} p(y|x) & y = y_0 & y = y_1 \\ \hline x = x_0 & \tfrac{1}{3} & \tfrac{2}{3} \\ \hline x = x_1 & \tfrac{3}{7} & \tfrac{4}{7} \\ \end{array}$$

เราสามารถคิดค่าความน่าจะเป็นร่วม :$f_{unique}=p(x,y)$

$$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & a_0 & a_1 & c_0 \\ \hline x = x_1 & a_2 & a_3 & c_1 \\ \hline p(y) & b_0 & b_1 & \\ \end{array}$$

เพราะแม้ว่าเรามี unknown แต่เรามีสมการเชิงเส้นมากกว่า ( ):$8$$4*2+3$

$a_0+a_1+a_2+a_3=1 \\ b_0+b_1 = 1 \\ c_0+c_1 = 1$

เช่นเดียวกับ:

$\tfrac{1}{4} b_0 = a_0 \\ \tfrac{3}{4} b_0 = a_2 \\ \tfrac{2}{6} (1-b_0) = a_1 \\ \tfrac{4}{6} (1-b_0) = a_3 \\ \tfrac{1}{3} c_0 = a_0 \\ \tfrac{2}{3} c_0 = a_1 \\ \tfrac{3}{7} (1-c_0) = a_2 \\ \tfrac{4}{7} (1-c_0) = a_3$

มันแก้ไขได้อย่างรวดเร็วโดย , \กล่าวคือโดยเท่ากับ\สิ่งนี้จะให้และที่เหลือตามมา$c_0=\tfrac{3}{4}b_0$$\tfrac{2}{3}c_0=a_1$$\tfrac{2}{4}b_0=a_1$$\tfrac{2}{6}(1-b_0)=a_1$$b_0=\tfrac{2}{5}$

$$\begin{array}{c|c|c|c} p(x,y) & y = y_0 & y = y_1 & p(x) \\ \hline x = x_0 & \tfrac{1}{10} & \tfrac{2}{10} & \tfrac{3}{10} \\ \hline x = x_1 & \tfrac{3}{10} & \tfrac{4}{10} & \tfrac{7}{10} \\ \hline p(y) & \tfrac{4}{10} & \tfrac{6}{10} & \\ \end{array}$$

ดังนั้นตอนนี้เราไปที่กรณีอย่างต่อเนื่อง มันเป็นไปไม่ได้ที่จะไปช่วงเวลาและรักษาโครงสร้างข้างต้นในการเจรจาต่อรอง (มีสมการมากกว่าที่ไม่รู้จัก) อย่างไรก็ตามจะเกิดอะไรขึ้นเมื่อเราไปที่จุดอินสแตนซ์ของตัวแปรสุ่ม สุ่มตัวอย่างอย่างไร

$$x_a \sim p(x|y=y_b) \\ y_b \sim p(y|x=x_a)$$

ซ้ำนำไปสู่หรือไม่ เทียบเท่ากับข้อ จำกัดมันแน่ใจได้อย่างไรว่าเช่น? ในทำนองเดียวกันกับ 1 เราสามารถเขียนข้อ จำกัด และสุ่มตัวอย่างจากกิ๊บส์จากหลักการแรกได้หรือไม่?a 0 + a 1$p(x,y)$$a_0 + a_1 + a_2 + a_3=1$$\int_X \int_Y p(x,y) dy dx = 1$$\int_Y p(y|x)dy=1$

ดังนั้นฉันไม่สนใจวิธีการสุ่มตัวอย่างของกิ๊บส์ซึ่งเป็นเรื่องง่าย แต่ฉันสนใจที่จะหามาได้และโดยเฉพาะอย่างยิ่งวิธีที่จะพิสูจน์ว่ามันใช้งานได้ (อาจอยู่ภายใต้เงื่อนไขบางประการ)

การคำนวณการกระจายแบบมีส่วนร่วมจากการแจกแจงแบบมีเงื่อนไขโดยทั่วไปนั้นยากมาก หากการแจกแจงแบบมีเงื่อนไขถูกเลือกโดยพลการการกระจายข้อต่อร่วมอาจไม่มีอยู่จริง ในกรณีนี้แม้แสดงให้เห็นว่าการแจกแจงแบบมีเงื่อนไขมีความสอดคล้องกันโดยทั่วไปเป็นเรื่องยาก ผลลัพธ์หนึ่งที่อาจใช้ในการหาการแจกแจงร่วมคือบทแทรกของ Brook , โดยเลือกสถานะคงที่แม้ว่าฉันจะไม่เคยใช้มันด้วยตนเองเพื่อจุดประสงค์นั้น สำหรับเพิ่มเติมในหัวข้อนั้นฉันจะดูงานของ Julian Besag

$$\frac{p(\mathbf{x})}{p(\mathbf{x}')} = \prod_i \frac{p(x_i \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})}{p(x_i' \mid \mathbf{x}_{<i}, \mathbf{x}'_{>i})},$$ $\mathbf{x}'$

เพื่อพิสูจน์ว่าการสุ่มตัวอย่างของกิ๊บส์นั้นใช้งานได้ดีกว่าหากใช้เส้นทางอื่น ถ้าห่วงโซ่มาร์คอฟดำเนินการโดยขั้นตอนวิธีการสุ่มตัวอย่างมีการกระจายการกระจายคงที่และเป็นลดลงและสม่ำเสมอแล้วห่วงโซ่มาร์คอฟจะมาบรรจบกันที่การกระจาย(Tierney, 1994)$p$

กิ๊บส์สุ่มตัวอย่างมักจะปล่อยให้คงการจัดจำหน่ายร่วมกันจากการที่การกระจายตามเงื่อนไขที่ได้มา: ประมาณถ้าและเราได้ลิ้มลองแล้ว$(x_0, y_0) \sim p(x_0, y_0)$$x_1 \sim p(x_1 \mid y_0)$

$$(x_1, y_0) \sim \int p(x_0, y_0) p(x_1 \mid y_0) \, dx_0 = p(x_1 \mid y_0) p(y_0) = p(x_1, y_0).$$

นั่นคือการอัพเดตโดยการสุ่มตัวอย่างแบบมีเงื่อนไขไม่ได้เปลี่ยนการกระจายตัวของตัวอย่าง$x$

แต่กิ๊บส์สุ่มตัวอย่างคือไม่ได้ลดลงเสมอ ในขณะที่เราสามารถนำไปใช้ได้เสมอโดยไม่ทำลายทุกสิ่ง (ในแง่ที่ว่าถ้าเรามีตัวอย่างจากการกระจายที่ต้องการมันจะไม่เปลี่ยนการกระจาย) มันขึ้นอยู่กับการกระจายข้อต่อว่าการสุ่มตัวอย่างกิ๊บส์จะมาบรรจบกันจริง ๆ หรือไม่ เงื่อนไขสำหรับการลดทอนไม่ได้คือความหนาแน่นเป็นบวกทุกที่, )$p(\mathbf{x}) > 0$