เทคนิคการเพิ่มประสิทธิภาพทำแผนที่กับเทคนิคการสุ่มตัวอย่างหรือไม่?

จากอัลกอริธึมการสุ่มตัวอย่างทั่วไปเราสามารถหาอัลกอริธึมการเพิ่มประสิทธิภาพได้

แท้จริงเพื่อเพิ่มฟังก์ชั่นโดยพลก็พอเพียงที่จะวาดตัวอย่างจากกรัม~ จฉ/ T สำหรับพอขนาดเล็กตัวอย่างเหล่านี้จะตกอยู่ใกล้สูงสุดทั่วโลก (หรือสูงสุดในท้องถิ่นในการปฏิบัติ) ของฟังก์ชันฉ$f: \textbf{x} \rightarrow f(\textbf{x})$$g \sim e^{f/T}$$T$$f$

โดย "การสุ่มตัวอย่าง" ฉันหมายถึงการวาดภาพตัวอย่างแบบหลอกเทียมจากการแจกแจงให้ฟังก์ชั่นบันทึกความเป็นไปได้ที่รู้จักกันถึงค่าคงที่ ตัวอย่างเช่นการสุ่มตัวอย่าง MCMC การสุ่ม Gibbs การสุ่มตัวอย่าง Beam เป็นต้นโดย "การปรับให้เหมาะสม" ฉันหมายถึงความพยายามในการค้นหาพารามิเตอร์ที่ทำให้ค่าของฟังก์ชั่นที่กำหนดนั้นมีค่าสูงสุด

ย้อนกลับเป็นไปได้? จากการวิเคราะห์พฤติกรรมเพื่อหาค่าสูงสุดของฟังก์ชันหรือนิพจน์ combinatorial เราสามารถแยกขั้นตอนการสุ่มตัวอย่างที่มีประสิทธิภาพได้หรือไม่?

เช่น HMC ดูเหมือนจะใช้ประโยชน์จากข้อมูลการไล่ระดับสี เราสามารถสร้างขั้นตอนการสุ่มตัวอย่างที่ใช้ประโยชน์จากการประมาณเหมือน BFGS ของ Hessian ได้หรือไม่? (แก้ไข: เห็นได้ชัดว่าใช่: http://papers.nips.cc/paper/4464-quasi-newton-methods-for-markov-chain-monte-carlo.pdf ) เราสามารถใช้ MCTS ในปัญหา combinatorial เราสามารถแปลได้ไหม เข้าสู่ขั้นตอนการสุ่มตัวอย่างหรือไม่

บริบท: ความยากลำบากในการสุ่มตัวอย่างมักจะว่าการกระจายความน่าจะเป็นส่วนใหญ่อยู่ในพื้นที่ขนาดเล็กมาก มีเทคนิคที่น่าสนใจในการค้นหาภูมิภาคดังกล่าว แต่พวกเขาไม่ได้แปลโดยตรงเป็นกระบวนการสุ่มตัวอย่างที่เป็นกลาง

แก้ไข: ตอนนี้ฉันมีความรู้สึกอืดอาดว่าคำตอบของคำถามนั้นค่อนข้างเทียบเท่ากับความเท่าเทียมกันของคลาสความซับซ้อน #P และ NP ทำให้คำตอบนั้นน่าจะเป็น "ไม่" มันอธิบายว่าทำไมเทคนิคการสุ่มตัวอย่างทุกครั้งให้เทคนิคการปรับให้เหมาะสม แต่ไม่ใช่ในทางกลับกัน

การเชื่อมต่อหนึ่งครั้งได้รับการนำเสนอโดย Max Welling และเพื่อน ๆ ในเอกสารสองฉบับนี้:

• การเรียนรู้แบบเบย์ผ่านทาง Langevin Dynamics ของ Stochastic Gradient
• คชกรรมหลังสุ่มตัวอย่างผ่าน Stochastic ไล่โทนสีฟิชเชอร์เกณฑ์การให้คะแนน

ส่วนสำคัญคือ "การเรียนรู้" คือ การปรับให้เหมาะสมของโมเดลเปลี่ยนไปเป็นการสุ่มตัวอย่างจากด้านหลังอย่างราบรื่น

มีลิงค์มันเป็นเคล็ดลับ Gumbel-Max!

http://www.cs.toronto.edu/~cmaddis/pubs/astar.pdf

$U \sim unif[0,1]$ที่F$F^{-1}(U) \sim F$โดยที่ F คือ cdf ของการกระจายที่คุณอยู่ หากคุณไม่สามารถหา cdf ได้อย่างถูกต้องคุณสามารถใช้วิธีแก้ปัญหาแบบตอบรับปฏิเสธแบบง่าย