อัลกอริทึมการเรียนรู้ของเครื่องหรือการเรียนรู้ลึกสามารถนำมาใช้เพื่อ“ ปรับปรุง” กระบวนการสุ่มตัวอย่างของเทคนิค MCMC ได้หรือไม่?

จากความรู้เล็กน้อยที่ฉันมีในวิธีการ MCMC (มาร์คอฟโซ่มอนติคาร์โล) ฉันเข้าใจว่าการสุ่มตัวอย่างเป็นส่วนสำคัญของเทคนิคดังกล่าว วิธีการสุ่มตัวอย่างที่ใช้กันมากที่สุดคือ Hamiltonian และ Metropolis

มีวิธีใช้ประโยชน์จากการเรียนรู้ของเครื่องจักรหรือแม้แต่การเรียนรู้ลึกเพื่อสร้างตัวอย่าง MCMC ที่มีประสิทธิภาพมากขึ้นหรือไม่?

ใช่. ซึ่งแตกต่างจากสิ่งที่คำตอบอื่น ๆ รัฐวิธีการเรียนรู้เครื่อง 'ปกติ' เช่น nonparametrics และ (ลึก) เครือข่ายประสาทสามารถช่วยสร้างตัวอย่าง MCMC ที่ดีขึ้น

เป้าหมายของ MCMC คือการวาดตัวอย่างจาก (unnormalized) การกระจายเป้าหมาย ) ตัวอย่างที่ได้รับนั้นถูกใช้เพื่อประมาณค่าfและส่วนใหญ่อนุญาตให้คำนวณความคาดหวังของฟังก์ชันภายใต้f (เช่นอินทิกรัลมิติสูง) และโดยเฉพาะคุณสมบัติของf (เช่นช่วงเวลา)$f(x)$$f$$f$$f$

การสุ่มตัวอย่างมักจะต้องมีการประเมินจำนวนมากของและความลาดชันของมันสำหรับวิธีการเช่น Hamiltonian Monte Carlo (HMC) หากfมีค่าใช้จ่ายสูงในการประเมินหรือไม่สามารถใช้การไล่ระดับสีบางครั้งเป็นไปได้ที่จะสร้างฟังก์ชั่นตัวแทนเสมือนที่ราคาไม่แพงซึ่งสามารถช่วยนำทางตัวอย่างและประเมินแทนf (ในลักษณะที่ยังคงคุณสมบัติของ MCMC)$f$$f$$f$

ยกตัวอย่างเช่นกระดาษน้ำเชื้อ ( รัสมุส 2003 ) ได้เสนอที่จะใช้กระบวนการแบบเกาส์ (ฟังก์ชั่นการประมาณอิงพารามิเตอร์) เพื่อสร้างการประมาณที่จะและดำเนิน HMC ในฟังก์ชั่นตัวแทนที่มีเพียงขั้นตอนการยอมรับ / ปฏิเสธของ HMC อยู่บนพื้นฐานของฉ สิ่งนี้จะช่วยลดจำนวนการประเมินของต้นฉบับfและอนุญาตให้ดำเนินการ MCMC ในรูปแบบไฟล์ PDF ที่อาจมีราคาแพงเกินไปที่จะประเมิน$\log f$$f$$f$

แนวคิดของการใช้ตัวแทนเพื่อเร่งความเร็ว MCMC ได้รับการสำรวจอย่างมากในช่วงไม่กี่ปีที่ผ่านมาโดยการลองใช้วิธีที่แตกต่างกันในการสร้างฟังก์ชั่นตัวแทนและรวมเข้ากับวิธีการ MCMC ที่แตกต่างกัน 'ของการสุ่มตัวอย่าง MCMC) ที่เกี่ยวข้องกับคำถามของคุณเอกสารสองฉบับล่าสุดนี้ใช้เทคนิคการเรียนรู้ด้วยเครื่องจักรขั้นสูง - เครือข่ายแบบสุ่ม ( Zhang et al. 2015 ) หรือเรียนรู้ฟังก์ชั่นเคอร์เนลเอกซ์โพเนนเชียล ( Strathmann และคณะ 2015 ) เพื่อสร้างฟังก์ชั่นตัวแทน

HMC ไม่ใช่ MCMC รูปแบบเดียวที่สามารถได้รับประโยชน์จากตัวแทน ตัวอย่างเช่นNishiara และคณะ (2014)สร้างประมาณของความหนาแน่นของเป้าหมายโดยการปรับนักศึกษาหลายตัวแปรของแจกจ่ายให้กับรัฐหลายห่วงโซ่ของตัวอย่างทั้งมวลและใช้ในการดำเนินการเป็นรูปแบบทั่วไปของการสุ่มตัวอย่างชิ้นเป็นรูปวงรี$t$

นี่เป็นเพียงตัวอย่างเท่านั้น โดยทั่วไปแล้วเทคนิค ML จำนวนมาก (ส่วนใหญ่อยู่ในพื้นที่ของการประมาณฟังก์ชั่นและการประมาณความหนาแน่น) สามารถใช้เพื่อดึงข้อมูลที่อาจปรับปรุงประสิทธิภาพของเครื่องมือเก็บตัวอย่าง MCMC ประโยชน์ที่แท้จริงของพวกเขา- เช่นวัดในจำนวน "ตัวอย่างอิสระที่มีประสิทธิภาพต่อวินาที" - มีเงื่อนไขว่ามีราคาแพงหรือค่อนข้างยากที่จะคำนวณ นอกจากนี้วิธีการเหล่านี้จำนวนมากอาจต้องการการปรับความรู้ของตนเองหรือเพิ่มเติมการ จำกัด การบังคับใช้ของพวกเขา$f$

อ้างอิง:

1. Rasmussen, Carl Edward "Gaussian ประมวลผลเพื่อเร่ง Monte Carlo ไฮบริดสำหรับอินทิกรัลเบย์ที่มีราคาแพง" สถิติแบบเบย์ 7. 2003.

2. Zhang, Cheng, Babak Shahbaba และ Hongkai Zhao "แฮมิลโตเนียนมอนติคาร์โลเร่งด้วยฟังก์ชั่นตัวแทนด้วยฐานแบบสุ่ม" พิมพ์ล่วงหน้า arXiv arXiv: 1506.05555 (2015)

3. Strathmann, Heiko และคณะ "Hamiltonian Monte Carlo ปราศจากการไล่ระดับสีพร้อมตระกูลชี้แจงเคอร์เนลที่มีประสิทธิภาพ" ความก้าวหน้าในระบบประมวลผลข้อมูลประสาท 2015

4. Nishihara, Robert, Iain Murray และ Ryan P. Adams "Parallel MCMC พร้อมการสุ่มตัวอย่างชิ้นแบบวงรีทั่วไป" วารสารการวิจัยการเรียนรู้ของเครื่อง 15.1 (2014): 2087-2112

วิธีการที่สามารถเชื่อมต่อแนวคิดทั้งสองคืออัลกอริทึม Metropolis Hastings หลายตัวแปร ในกรณีนี้เรามีการกระจายเป้าหมาย (การกระจายด้านหลัง) และการกระจายข้อเสนอ (โดยทั่วไปคือการกระจายทั่วไปหลายตัวแปรหรือการแจกแจงแบบ t)

ข้อเท็จจริงที่รู้จักกันดีก็คือยิ่งการกระจายข้อเสนอนั้นมาจากการกระจายด้านหลังยิ่งตัวอย่างมีประสิทธิภาพน้อยลงเท่านั้น ดังนั้นเราสามารถจินตนาการได้ว่าใช้วิธีการเรียนรู้ของเครื่องบางอย่างเพื่อสร้างการกระจายข้อเสนอที่ตรงกับการกระจายด้านหลังที่แท้จริงดีกว่าการแจกแจงหลายตัวแปรปกติ / t แบบง่าย ๆ

อย่างไรก็ตามยังไม่ชัดเจนว่าจะเป็นการเพิ่มประสิทธิภาพใด ๆ โดยการแนะนำการเรียนรู้ลึกฉันคิดว่าคุณอาจสนใจใช้วิธีโครงข่ายประสาท ในกรณีส่วนใหญ่การคำนวณนี้จะมีราคาแพงกว่าวิธีการวานิลลา MCMC ทั้งหมดอย่างมีนัยสำคัญ ในทำนองเดียวกันฉันไม่ทราบเหตุผลใด ๆ ที่วิธีการของ NN (หรือวิธีการเรียนรู้ด้วยเครื่องจักรส่วนใหญ่) ทำงานได้ดีในการให้ความหนาแน่นเพียงพอนอกพื้นที่ที่สังเกตซึ่งเป็นสิ่งสำคัญสำหรับ MCMC ดังนั้นแม้เพิกเฉยต่อค่าใช้จ่ายในการคำนวณที่เกี่ยวข้องกับการสร้างรูปแบบการเรียนรู้ของเครื่องฉันไม่สามารถเห็นเหตุผลที่ดีว่าทำไมสิ่งนี้จะปรับปรุงประสิทธิภาพการสุ่มตัวอย่าง

การเรียนรู้ของเครื่องเกี่ยวข้องกับการทำนายการจัดประเภทหรือการรวมกลุ่มในการตั้งค่าแบบมีผู้ดูแลหรือไม่มีการดูแล ในทางกลับกัน MCMC เกี่ยวข้องกับการประเมิน intergral ที่ซับซ้อน (โดยปกติจะไม่มีรูปแบบปิด) โดยใช้วิธีการเชิงตัวเลขที่น่าจะเป็น การสุ่มตัวอย่างนครหลวงแน่นอนไม่ใช่วิธีที่ใช้กันมากที่สุดในความเป็นจริงนี้เป็นเพียงวิธีการ MCMC ไม่ได้ที่จะมีความน่าจะเป็นส่วนประกอบใด ๆ ดังนั้น ML จะไม่แจ้งอะไรกับ MCMC ในกรณีนี้

การสุ่มตัวอย่างตามความสำคัญนั้นจำเป็นต้องมีส่วนประกอบที่น่าจะเป็น มันมีประสิทธิภาพมากกว่ามหานครภายใต้สมมติฐานพื้นฐานบางอย่าง วิธีการ ML สามารถนำมาใช้ในการประมาณค่าองค์ประกอบที่น่าจะเป็นนี้หากมีการตัดกับสมมติฐานบางอย่าง ตัวอย่างอาจเป็นการรวมกลุ่มหลายตัวแปรเพื่อประเมินความหนาแน่นแบบเกาส์มิติสูงที่ซับซ้อน ฉันไม่คุ้นเคยกับวิธีการที่ไม่อิงพารามิเตอร์สำหรับปัญหานี้ แต่อาจเป็นพื้นที่ที่น่าสนใจสำหรับการพัฒนา

อย่างไรก็ตาม ML โดดเด่นสำหรับฉันในขั้นตอนที่แตกต่างกันในกระบวนการประเมินแบบจำลองความน่าจะเป็นมิติเชิงซ้อนสูงซึ่งใช้ในวิธีการเชิงตัวเลขในเวลาต่อมา ฉันไม่เห็นว่า ML ปรับปรุง MCMC ได้อย่างไรในกรณีนี้

มีงานล่าสุดในสาขาฟิสิกส์เชิงคำนวณที่ผู้เขียนใช้เครื่องจำกัด Boltzmannเพื่อจำลองการแจกแจงความน่าจะเป็นแล้วเสนอการปรับปรุงที่มีประสิทธิภาพ Monte Carlo arXiv: 1610.02746 ความคิดที่นี่กลายเป็นค่อนข้างคล้ายกับการอ้างอิงที่ได้รับจาก @lacerbi ข้างต้น

ในความพยายามอีก1702.08586ผู้เขียนอย่างชัดเจนสร้างเครื่อง Boltzmann ซึ่งสามารถดำเนินการ (และแม้กระทั่งค้นพบ) ที่มีชื่อเสียงโด่งดังคลัสเตอร์การปรับปรุง Monte Carlo