เมื่อชุดของสมการไม่สามารถแก้ไขได้เชิงวิเคราะห์เราสามารถใช้อัลกอริธึมการไล่ระดับสี แต่ดูเหมือนว่ายังมีวิธีการจำลองมอนติคาร์โลที่สามารถใช้ในการแก้ปัญหาที่ไม่มีวิธีการวิเคราะห์
จะบอกได้อย่างไรว่าจะใช้การไล่ระดับสีแบบไล่ระดับและเมื่อใดที่จะใช้ Monte Carlo หรือฉันแค่สับสนคำว่า 'การจำลอง' กับ 'การเพิ่มประสิทธิภาพ' แบบธรรมดา
ขอบคุณมาก!
คำตอบ:
เทคนิคเหล่านี้ทำสิ่งต่าง ๆ
Gradient descent เป็นเทคนิคการปรับให้เหมาะสมดังนั้นจึงเป็นเรื่องธรรมดาในวิธีการทางสถิติใด ๆ ที่ต้องการการขยายใหญ่สุด (MLE, MAP)
การจำลองแบบมอนติคาร์โลนั้นใช้สำหรับการคำนวณอินทิกรัลโดยการสุ่มตัวอย่างจากการแจกแจงและการประเมินฟังก์ชั่นบางอย่างของตัวอย่าง ดังนั้นจึงมักใช้กับเทคนิคที่ต้องการการคำนวณความคาดหวัง (การอนุมานแบบเบย์, การทดสอบสมมติฐานแบบเบย์)
นี่เป็นทั้งอัลกอริธึมขนาดใหญ่ดังนั้นจึงเป็นเรื่องยากที่จะให้คำตอบที่แม่นยำ แต่ ...
การไล่ระดับสีขึ้น (หรือโคตร) มีประโยชน์เมื่อคุณต้องการค้นหาจำนวนสูงสุด (หรือต่ำสุด) ตัวอย่างเช่นคุณอาจกำลังค้นหาโหมดของการแจกแจงความน่าจะเป็นหรือการรวมกันของพารามิเตอร์ที่ลดฟังก์ชั่นการสูญเสียบางอย่าง "เส้นทาง" ที่ใช้ในการค้นหาเอกซ์เรย์เหล่านี้สามารถบอกคุณได้เล็กน้อยเกี่ยวกับรูปร่างโดยรวมของฟังก์ชั่น แต่มันไม่ได้ตั้งใจ ในความเป็นจริงยิ่งทำงานได้ดีเท่าไหร่คุณก็จะยิ่งรู้น้อยลง
วิธีการมอนติคาร์โลถูกตั้งชื่อตามคาสิโนมอนติคาร์โลเพราะพวกเขาเช่นเดียวกับคาสิโนขึ้นอยู่กับการสุ่ม สามารถใช้งานได้หลายวิธี แต่ส่วนใหญ่มุ่งเน้นไปที่การประมาณค่าแบบกระจาย ยกตัวอย่างเช่นอัลกอริทึมของมาร์คอฟโซ่มอนติคาร์โลหาวิธีในการสุ่มตัวอย่างอย่างมีประสิทธิภาพจากการแจกแจงความน่าจะเป็นที่ซับซ้อน การจำลองแบบมอนติคาร์โลอื่น ๆ อาจสร้างการกระจายตัวของผลการค้นหา
ดังที่อธิบายไว้โดยคนอื่น ๆ การไล่ระดับสี / การขึ้นลงของสีจะทำการปรับให้เหมาะสมเช่นหาค่าสูงสุดหรือต่ำสุดของฟังก์ชัน Monte Carlo เป็นวิธีการจำลองสุ่มเช่นประมาณฟังก์ชั่นการแจกแจงสะสมผ่านการสุ่มตัวอย่างซ้ำ ๆ สิ่งนี้เรียกว่า "การรวมกันของ Monte Carlo" เพราะ cdf ของการแจกแจงแบบต่อเนื่องนั้นเป็นส่วนสำคัญ
สิ่งที่พบได้ทั่วไประหว่างการไล่ระดับสีและ Monte Carlo ก็คือทั้งคู่มีประโยชน์อย่างยิ่งในปัญหาที่ไม่มีวิธีแก้ปัญหาแบบปิด คุณอาจใช้ความแตกต่างอย่างง่ายเพื่อหาจุดสูงสุดหรือจุดต่ำสุดของฟังก์ชันนูนใด ๆ เมื่อใดก็ตามที่วิธีการวิเคราะห์นั้นเป็นไปได้ เมื่อไม่มีวิธีแก้ปัญหาดังกล่าวคุณต้องใช้วิธีการวนซ้ำเช่นการไล่ระดับสี เหมือนกันสำหรับการจำลอง Monte Carlo; โดยทั่วไปคุณสามารถใช้การรวมแบบธรรมดาเพื่อคำนวณ cdf ใด ๆ ที่วิเคราะห์ได้ แต่ไม่มีการรับประกันว่าโซลูชันแบบปิดจะเป็นไปได้เสมอ ปัญหาจะแก้ไขได้อีกครั้งด้วยการจำลอง Monte Carlo
คุณสามารถใช้การไล่ระดับสีสำหรับการจำลองและ Monte Carlo เพื่อปรับให้เหมาะสมได้หรือไม่? คำตอบง่ายๆคือไม่ Monte Carlo ต้องการองค์ประกอบสุ่ม (การกระจาย) เพื่อสุ่มตัวอย่างและการไล่ระดับสีแบบไล่ระดับไม่มีวิธีจัดการกับปัญหาข้อมูลสุ่ม อย่างไรก็ตามคุณสามารถรวมการจำลองกับการเพิ่มประสิทธิภาพเพื่อสร้างอัลกอริธึมการเพิ่มประสิทธิภาพสุ่มที่มีประสิทธิภาพยิ่งขึ้นซึ่งสามารถแก้ปัญหาที่ซับซ้อนมากซึ่งการไล่ระดับสีแบบง่ายไม่สามารถแก้ไขได้ ตัวอย่างของสิ่งนี้คือ Simulate Annealing Monte Carlo
คำตอบนี้ผิดบางส่วน คุณสามารถรวมวิธีการ Monte Carlo เข้ากับการไล่ระดับสีได้อย่างแน่นอน คุณสามารถใช้วิธีการ Monte Carlo เพื่อประเมินการไล่ระดับสีของฟังก์ชั่นการสูญเสียซึ่งจะถูกใช้โดยการไล่ระดับสีแบบไล่ระดับเพื่ออัพเดทพารามิเตอร์ วิธียอดนิยมของ Monte Carlo ในการประมาณค่าความลาดชันคือตัวประมาณค่าความลาดชันซึ่งสามารถใช้ในการเรียนรู้การเสริมแรง ดูการคาดคะเนการไล่ระดับสีของ Monte Carlo ในการเรียนรู้ของเครื่อง (2019) โดย Shakir Mohamed et al. สำหรับข้อมูลเพิ่มเติม