บางคนสามารถอธิบายให้ฉัน NUTS เป็นภาษาอังกฤษได้ไหม


17

ความเข้าใจเกี่ยวกับอัลกอริทึมของฉันมีดังต่อไปนี้:

No U-Turn Sampler (NUTS) เป็นวิธีการ Hamiltonian Monte Carlo ซึ่งหมายความว่ามันไม่ใช่วิธีของมาร์คอฟเชนดังนั้นขั้นตอนวิธีนี้จะหลีกเลี่ยงส่วนของการเดินแบบสุ่มซึ่งมักจะถือว่าไม่มีประสิทธิภาพและช้าในการบรรจบกัน

แทนที่จะเดินแบบสุ่ม NUTS กระโดดข้ามความยาว x การกระโดดแต่ละครั้งจะเพิ่มเป็นสองเท่าเมื่ออัลกอริทึมยังคงทำงาน สิ่งนี้จะเกิดขึ้นจนกว่าวิถีจะถึงจุดที่ต้องการกลับไปยังจุดเริ่มต้น

คำถามของฉัน: มีอะไรพิเศษเกี่ยวกับการกลับรถ? การเพิ่มเส้นทางเป็นสองเท่าไม่ข้ามจุดที่ปรับให้เหมาะสมได้อย่างไร คำอธิบายข้างต้นของฉันถูกต้องหรือไม่


ฉันพบโพสต์นี้และภาพจำลองที่สร้างความแตกต่างในการอธิบายแนวคิด
kael

คำตอบ:


13

ไม่มีบิตกลับรถเป็นวิธีสร้างข้อเสนอ HMC สร้างระบบสมมุติฐานทางกายภาพ: ลองจินตนาการว่าลูกบอลที่มีพลังงานจลน์หมุนไปรอบ ๆ ภูมิประเทศที่มีหุบเขาและเนินเขา (การเปรียบเทียบแบ่งออกเป็นสองมิติมากกว่า 2 มิติ) ที่กำหนดโดยผู้ชมที่คุณต้องการตัวอย่างจาก ทุกครั้งที่คุณต้องการนำตัวอย่าง MCMC ใหม่คุณสุ่มเลือกพลังงานจลน์และเริ่มต้นการกลิ้งลูกบอลจากที่ที่คุณอยู่ คุณจำลองในขั้นตอนเวลาแบบไม่ต่อเนื่องและเพื่อให้แน่ใจว่าคุณสำรวจพื้นที่พารามิเตอร์อย่างถูกต้องคุณจำลองขั้นตอนในทิศทางเดียวและสองเท่าในทิศทางอื่นให้หันกลับมาอีกรอบ ฯลฯ ในบางจุดที่คุณต้องการหยุดสิ่งนี้และวิธีที่ดี การทำเช่นนั้นคือเมื่อคุณกลับรถ (ดูเหมือนจะหายไปหมดแล้ว)

ในขั้นตอนนี้ขั้นตอนถัดไปที่เสนอของเครือมาร์คอฟของคุณจะถูกเลือก (ด้วยข้อ จำกัด บางอย่าง) จากจุดที่คุณเคยเยี่ยมชม นั่นคือการจำลองระบบทางกายภาพทั้งหมดของสมมติฐานคือ "เพียงแค่" เพื่อรับข้อเสนอที่ได้รับการยอมรับ (ตัวอย่าง MCMC ถัดไปคือจุดที่เสนอ) หรือถูกปฏิเสธ (ตัวอย่าง MCMC ต่อไปคือจุดเริ่มต้น)

สิ่งที่ฉลาดเกี่ยวกับเรื่องนี้คือข้อเสนอนั้นทำขึ้นตามรูปร่างของคนหลังและสามารถอยู่ที่ปลายอีกด้านของการกระจาย ในทางตรงกันข้าม Metropolis-Hastings ทำข้อเสนอภายในลูกบอล (อาจเบ้) การสุ่มตัวอย่างของกิ๊บส์จะเคลื่อนที่ไปตามมิติเดียว (หรืออย่างน้อยก็น้อยมาก) ในแต่ละครั้ง


คุณช่วยขยายความใน " ดูเหมือนจะไปทั่วสถานที่ " ความคิดเห็นโปรด?
Gabriel

1
ความหมายมีข้อบ่งชี้บางอย่างว่ามันครอบคลุมการกระจายซึ่ง NUTS พยายามที่จะตัดสินโดยไม่ว่าคุณจะหันกลับมาโดยสิ้นเชิง หากเป็นเช่นนั้นคุณหวังว่าในขั้นตอนหนึ่งของ MCMC จะไปสู่ส่วนใดส่วนหนึ่งของด้านหลัง แน่นอนว่าเงื่อนไขไม่ได้รับประกันว่าคุณได้สำรวจหลังทั้งหมด แต่ให้ข้อบ่งชี้ว่าคุณได้สำรวจ "ส่วนที่เป็นปัจจุบัน" ของมัน (ถ้าคุณมีการกระจายแบบหลายส่วนคุณอาจมีปัญหาในการเข้าถึงทุกส่วน ของการกระจาย)
Björn

6

คุณไม่ถูกต้องที่ HMC ไม่ใช่วิธีมาร์คอฟเชน ต่อWikipedia :

ในวิชาคณิตศาสตร์และฟิสิกส์ไฮบริดสลีมอนติคาร์โลอัลกอริธึมยังเป็นที่รู้จักกันในนามมอนเต้มอนติคาร์โลเป็นวิธีมาร์คอฟโซ่มอนติคาร์โลสำหรับการสุ่มลำดับตัวอย่างจากการแจกแจงความน่าจะเป็น ลำดับนี้สามารถใช้เพื่อประมาณการแจกแจง (เช่นเพื่อสร้างฮิสโตแกรม) หรือเพื่อคำนวณอินทิกรัล (เช่นค่าที่คาดหวัง)

เพื่อความชัดเจนมากขึ้นอ่านเอกสาร arXiv โดย Betancourtซึ่งระบุถึงเกณฑ์การยกเลิก NUTS:

... ระบุว่าเมื่อใดที่วิถีนั้นยาวพอที่จะให้ผลการสำรวจพื้นที่ใกล้เคียงรอบระดับพลังงานที่ตั้งไว้ในปัจจุบัน โดยเฉพาะอย่างยิ่งเราต้องการหลีกเลี่ยงการรวมกันสั้นเกินไปซึ่งในกรณีนี้เราจะไม่ใช้ประโยชน์จากวิถีของแฮมิลตันและบูรณาการนานเกินไปซึ่งในกรณีนี้เราสูญเสียทรัพยากรการคำนวณที่มีค่าในการสำรวจที่ให้ผลตอบแทนลดน้อยลงเท่านั้น

ภาคผนวก A.3 พูดถึงบางสิ่งบางอย่างเช่นวิถีโคจรที่คุณพูดถึง:

นอกจากนี้เรายังสามารถขยายได้เร็วขึ้นโดยการเพิ่มความยาวของวิถีในการวนซ้ำทุก ๆ ครั้งทำให้วิถีการเคลื่อนที่ตัวอย่าง t ∼ T (t | z) = U T2L กับสถานะตัวอย่างที่สอดคล้องกัน z ′∼ T (z′ | t) ในกรณีนี้ทั้งองค์ประกอบวิถีเก่าและใหม่ในการวนซ้ำทุกครั้งจะเทียบเท่ากับใบไม้ที่สมบูรณ์แบบของต้นไม้ไบนารีที่สั่ง (รูปที่ 37) สิ่งนี้ช่วยให้เราสามารถสร้างส่วนประกอบวิถีใหม่แบบซ้ำ ๆ โดยเผยแพร่ตัวอย่างในแต่ละขั้นตอนในการเรียกซ้ำ ...

และขยายในเรื่องนี้ใน A.4 ซึ่งจะพูดถึงการใช้งานแบบไดนามิก (ส่วน A.3 พูดถึงเกี่ยวกับการใช้งานแบบคงที่):

โชคดีที่รูปแบบสแตติกที่มีประสิทธิภาพที่กล่าวถึงในส่วน A.3 สามารถทำซ้ำเพื่อให้เกิดการใช้งานแบบไดนามิกเมื่อเราเลือกเกณฑ์สำหรับการพิจารณาว่าเมื่อวิถีใดเติบโตขึ้นนานพอที่จะพอใจในการสำรวจระดับพลังงานที่สอดคล้องกัน

ฉันคิดว่ากุญแจสำคัญคือมันไม่ได้กระโดดสองครั้งมันคำนวณการกระโดดครั้งต่อไปของมันโดยใช้เทคนิคที่เพิ่มความยาวของการกระโดดสองเท่าที่เสนอจนเป็นไปตามเกณฑ์ อย่างน้อยนั่นก็เป็นวิธีที่ฉันเข้าใจกระดาษจนถึงตอนนี้

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.