อัตราการยอมรับของ Metropolis-Hastings พร้อมการกระจายผู้สมัครที่สม่ำเสมอ

9

เมื่อรันอัลกอริทึม Metropolis-Hastings ด้วยการแจกแจงผู้สมัครที่สม่ำเสมอเหตุผลในการมีอัตราการยอมรับประมาณ 20% คืออะไร?

ความคิดของฉันคือ: เมื่อค้นพบค่าพารามิเตอร์จริง (หรือใกล้เคียงกับจริง) แล้วไม่มีการตั้งค่าพารามิเตอร์ของตัวเลือกใหม่จากช่วงเวลาเดียวกันที่เหมือนกันจะเพิ่มค่าของฟังก์ชันความน่าจะเป็น ดังนั้นยิ่งฉันวิ่งซ้ำมากเท่าไหร่อัตราการยอมรับก็ยิ่งต่ำลงเท่านั้น

ฉันผิดในความคิดนี้ที่ไหน ขอบคุณมาก!

นี่คือภาพประกอบการคำนวณของฉัน:

A ค ค อี พี เสื้อ a n ค อี_R a เสื้อ อี = ประสบการณ์ {ล. (θ_{ค} | Y) + เข้าสู่ระบบ (พี (θ_{ค})) - [ล. (θ^{* * * *} | Y) + เข้าสู่ระบบ (พี (θ^{* * * *})]},

$Acceptance\_rate = \exp \{l(\theta_c|y) + \log(p(\theta_c)) - [l(\theta^*|y) + \log(p(\theta^*) ]\},$

เมื่อคือโอกาสในการบันทึก $l$

ในขณะที่ผู้สมัครจะถูกนำมาจากช่วงเวลาเดียวกันเสมอ $\theta$

พี (θ_{ค}) = พี (θ^{* * * *}) .

$p(\theta_c) = p(\theta^*).$

ดังนั้นการคำนวณอัตราการตอบรับจึงย่อลงเป็น:

A ค ค อี พี เสื้อ a n ค อี_R a เสื้อ อี = ประสบการณ์ {ล. (θ_{ค} | Y) - [ล. (θ^{* * * *} | Y)]}

$Acceptance\_rate = \exp \{l(\theta_c | y) - [l(\theta^* | y) ]\}$

กฎการยอมรับของจะเป็นดังนี้: $\theta_c$

ถ้าที่คือการวาดจากเครื่องแบบกระจายในช่วงแล้ว $U \le Acceptance\_rate$ $U$ $[0,1]$

θ^{* * * *} = θ_{ค},

$\theta^* = \theta_c,$

อื่นวาดจากการแจกแจงแบบสม่ำเสมอในช่วงเวลา $\theta_c$ $[\theta_{min}, \theta_{max}]$

— auretaure
แหล่งที่มา

1

ฉันเปลี่ยนรูปแบบเพื่อให้อ่านง่ายขึ้นตรวจสอบเพื่อให้แน่ใจว่าไม่ได้เปลี่ยนความหมายดั้งเดิม

— mpiktas

9

ฉันเชื่อว่าการบรรจบที่อ่อนแอและการปรับขนาดที่เหมาะสมของอัลกอริธึมการเดินแบบสุ่มโดย Roberts, Gelman และ Gilks เป็นแหล่งที่มาสำหรับอัตราการยอมรับสูงสุด 0.234

สิ่งที่กระดาษแสดงคือภายใต้สมมติฐานบางประการคุณสามารถปรับขนาดอัลกอริทึมแบบเดินนคร - เฮสติ้งส์แบบสุ่มขณะที่มิติของพื้นที่ไปที่อินฟินิตี้เพื่อรับการกระจายแบบ จำกัด สำหรับแต่ละพิกัด ในขีด จำกัด การแพร่สามารถเห็นได้ว่า "มีประสิทธิภาพมากที่สุด" ถ้าอัตราการยอมรับใช้ค่า 0.234 โดยสังหรณ์ใจมันเป็นการแลกเปลี่ยนระหว่างการทำตามขั้นตอนเล็ก ๆ ที่ยอมรับและทำกับข้อเสนอมากมายที่ถูกปฏิเสธ

อัลกอริทึม Metropolis-Hastings ไม่ได้เป็นอัลกอริธึมการปรับให้เหมาะสมที่สุดซึ่งตรงกันข้ามกับการหลอมจำลอง มันเป็นอัลกอริทึมที่ควรจะจำลองจากการกระจายเป้าหมายดังนั้นความน่าจะเป็นที่ยอมรับไม่ควรถูกนำไปสู่ 0

— NRH
แหล่งที่มา

9

เพียงเพิ่มเพื่อตอบโดย @NRH แนวคิดทั่วไปตามหลักการของ Goldilocks :

หากการกระโดดนั้น "ใหญ่เกินไป" แสดงว่าโซ่นั้นเกาะติดอยู่
ถ้าการกระโดดนั้น "เล็กเกินไป" โซ่จะสำรวจพื้นที่พารามิเตอร์ช้ากว่ามาก
เราต้องการให้การกระโดดนั้นถูกต้อง

แน่นอนคำถามคือสิ่งที่เราหมายถึงโดย "ถูกต้อง" เป็นหลักสำหรับบางกรณีพวกเขาลดระยะทางกระโดดสี่เหลี่ยมที่คาดไว้ นี่เทียบเท่ากับการลดความสัมพันธ์ระหว่างความล่าช้า -1 เมื่อเร็ว ๆ นี้เชอร์ล็อคและโรเบิร์ตส์แสดงให้เห็นว่าเวทมนตร์ 0.234 มีไว้สำหรับการแจกแจงเป้าหมายอื่น ๆ :

C. Sherlock, G. Roberts (2009); การปรับขนาดที่เหมาะสมที่สุดของการเดินสุ่ม Metropolis เป้าหมาย unimodal สมมาตรวงรี ; เบอร์นูลลี 15 (3)

— csgillespie
แหล่งที่มา

1

(+1) ขอบคุณสำหรับการอ้างอิง นี่คืออีกการอ้างอิงแสดงให้เห็นว่า 0.234 ไม่ใช่เรื่องที่สมบูรณ์

— NRH

2

ฉันกำลังเพิ่มสิ่งนี้เป็นคำตอบเพราะฉันไม่มีชื่อเสียงเพียงพอที่จะแสดงความคิดเห็นภายใต้คำถาม ฉันคิดว่าคุณกำลังสับสนระหว่างอัตราการยอมรับและอัตราการได้รับการยอมรับ

อัตราส่วนการยอมรับใช้เพื่อตัดสินใจว่าจะยอมรับหรือปฏิเสธผู้สมัคร อัตราส่วนที่คุณเรียกว่าอัตราการยอมรับนั้นเรียกว่าอัตราการยอมรับจริงและแตกต่างจากอัตราการยอมรับ
อัตราการยอมรับเป็นอัตราการยอมรับผู้สมัคร เป็นอัตราส่วนของจำนวนค่าที่ไม่ซ้ำกันในห่วงโซ่ MCMC ต่อจำนวนทั้งหมดของค่าในห่วงโซ่ MCMC

ตอนนี้ความสงสัยของคุณเกี่ยวกับอัตราการยอมรับที่เหมาะสมคือ 20% นั้นจริง ๆ แล้วเกี่ยวกับอัตราการยอมรับจริงไม่ใช่อัตราส่วนการยอมรับ คำตอบที่ได้รับในคำตอบอื่น ๆ ฉันแค่อยากจะชี้ให้เห็นความสับสนที่คุณมี

— Safwan
แหล่งที่มา

1

ดูเหมือนว่าคำตอบที่เพียงพอสำหรับฉัน ยินดีต้อนรับสู่เว็บไซต์ @MusafitSafwan เนื่องจากคุณใหม่ที่นี่คุณอาจต้องการเข้าชมทัวร์ของเราซึ่งมีข้อมูลสำหรับผู้ใช้ใหม่

— gung - Reinstate Monica