เมื่อไหร่จะใช้การสุ่มตัวอย่างของกิ๊บส์แทนเมโทรโพลิส - แฮสติ้ง

อัลกอริทึม MCMC มีหลายประเภท:

• มหานครเฮสติ้งส์
• กิ๊บส์
• การสุ่มตัวอย่างความสำคัญ / การปฏิเสธ (เกี่ยวข้อง)

เหตุใดจึงใช้การสุ่มตัวอย่างของกิ๊บส์แทนเมโทรโพลิส - แฮสติ้ง ฉันสงสัยว่ามีบางกรณีที่การอนุมานทำได้ง่ายกว่าด้วยการสุ่มตัวอย่างของกิ๊บส์มากกว่ากับเมโทรโพลิส - เฮสติงส์ แต่ฉันไม่ชัดเจนในเรื่องเฉพาะ

ก่อนอื่นขอให้ฉันทราบว่า

อัลกอริทึม MCMC มีหลายประเภท: Metropolis-Hastings, Gibbs, การสุ่มตัวอย่างความสำคัญ / การปฏิเสธ (เกี่ยวข้อง)

ความสำคัญและวิธีการสุ่มตัวอย่างการปฏิเสธไม่ใช่ MCMC อัลกอริธึมเพราะพวกเขาไม่ได้อยู่บนพื้นฐานของมาร์คอฟโซ่ อันที่จริงการสุ่มตัวอย่างสำคัญไม่ได้ผลิตตัวอย่างจากการกระจายเป้าหมายพูด แต่ความสำคัญน้ำหนักเพียงωพูดที่จะใช้ในการประมาณ Monte Carlo ของปริพันธ์เกี่ยวข้องกับฉ การใช้ตุ้มน้ำหนักเหล่านั้นเป็นความน่าจะเป็นในการสร้างตัวอย่างนั้นไม่ได้นำไปสู่ตัวอย่างที่เหมาะสมจากfถึงแม้ว่าการประมาณค่าที่เป็นกลางโดยปราศจากความคาดหวังภายใต้fสามารถสร้างได้$f$$\omega$$f$$f$$f$

ประการที่สองคำถาม

ทำไมบางคนถึงไปกับการสุ่มตัวอย่างกิ๊บส์แทนที่จะเป็นมหานคร? ฉันสงสัยว่ามีบางกรณีที่การอนุมานทำได้ง่ายกว่าด้วยการสุ่มตัวอย่างของกิ๊บส์มากกว่ากับเมโทรโพลิส - เฮสติงส์

ไม่มีคำตอบในตัวอย่างที่ Metropolis-Hastings สามารถเป็นได้เกือบทุกอย่างรวมถึงตัวอย่างกิ๊บส์ ฉันตอบด้วยคำศัพท์ที่ค่อนข้างละเอียดสำหรับคำถามก่อนหน้านี้และคำถามที่คล้ายกัน แต่ขอเพิ่มหน่อยถ้ามีจุดซ้ำซ้อนที่นี่:

เหตุผลหลักว่าทำไมการสุ่มตัวอย่างกิ๊บส์ได้รับการแนะนำคือการทำลายคำสาปของมิติ (ซึ่งส่งผลกระทบทั้งการปฏิเสธและการสุ่มตัวอย่างที่สำคัญ) โดยการสร้างลำดับของการจำลองขนาดต่ำที่ยังคงบรรจบกับเป้าหมายที่เหมาะสม แม้ว่ามิติของเป้าหมายจะส่งผลต่อความเร็วของการลู่เข้า ตัวอย่างของ Metropolis-Hastings ได้รับการออกแบบมาเพื่อสร้างห่วงโซ่มาร์คอฟ (เช่นการสุ่มตัวอย่างกิ๊บส์) ตามข้อเสนอ (เช่นการสุ่มตัวอย่างที่สำคัญและการปฏิเสธ) โดยการแก้ไขความหนาแน่นที่ผิดผ่านขั้นตอนการยอมรับ - ปฏิเสธ แต่ประเด็นสำคัญก็คือพวกเขาจะไม่คัดค้าน: กล่าวคือการสุ่มตัวอย่างกิ๊บส์อาจต้องใช้ขั้นตอนเมโทรโพลิส - เฮสติ้งส์เมื่อต้องเผชิญกับความซับซ้อนหากเป้าหมายที่มีเงื่อนไขต่ำมิติในขณะที่ข้อเสนอของมหานคร ในคำนิยามอย่างเป็นทางการ การสุ่มตัวอย่างกิ๊บส์เป็นกรณีพิเศษของอัลกอริทึม Metropolis-Hasting โดยมีความน่าจะเป็นที่จะยอมรับได้ (โดยวิธีการที่ฉันคัดค้านการใช้การอนุมานในเครื่องหมายคำพูดนั้นเนื่องจากฉันจะสงวนไว้เพื่อจุดประสงค์ทางสถิติในขณะที่ตัวอย่างเหล่านั้นเป็นอุปกรณ์ตัวเลข )

โดยทั่วไปการสุ่มตัวอย่างของกิ๊บส์ [เข้าใจว่าใช้ลำดับของการจำลองสถานการณ์แบบมิติต่ำ] ได้รับการสนับสนุนในการตั้งค่าที่การย่อยสลายลงในเงื่อนไขดังกล่าวนั้นง่ายต่อการติดตั้งและรันได้อย่างรวดเร็ว ในการตั้งค่าที่การสลายตัวดังกล่าวก่อให้เกิด multimodality และดังนั้นจึงเป็นเรื่องยากที่จะย้ายระหว่างโหมด (แบบจำลองตัวแปรแฝงเช่นแบบผสมมาถึงใจ) ใช้ข้อเสนอระดับโลกมากขึ้นในอัลกอริทึมมหานคร Hasting อาจผลิตประสิทธิภาพที่สูงขึ้น แต่ข้อเสียเปรียบคือการเลือกการกระจายข้อเสนอในอัลกอริทึม Metropolis-Hasting