การปรับพารามิเตอร์ไฮเปอร์: การค้นหาแบบสุ่มกับการปรับให้เหมาะสมแบบเบย์

ดังนั้นเรารู้ว่าการค้นหาแบบสุ่มทำงานได้ดีกว่าการค้นหาแบบตาราง แต่วิธีการที่ใหม่กว่าคือการเพิ่มประสิทธิภาพแบบเบย์ (ใช้กระบวนการแบบเกาส์) ฉันค้นหาการเปรียบเทียบระหว่างทั้งสองและไม่พบอะไรเลย ฉันรู้ว่าที่ cs231n ของ Stanford พวกเขาพูดถึงการค้นหาแบบสุ่มเท่านั้น แต่เป็นไปได้ว่าพวกเขาต้องการทำให้สิ่งต่าง ๆ เรียบง่าย

คำถามของฉันคือ: วิธีใดดีกว่าและถ้าคำตอบคือ "บางครั้งการค้นหาแบบสุ่มบางครั้ง Bayesian" เมื่อใดฉันจึงควรเลือกวิธีอื่นมากกว่า?

ฉันคิดว่าคำตอบที่นี่เหมือนกับทุกที่ในวิทยาศาสตร์ข้อมูล: มันขึ้นอยู่กับข้อมูล :-)

มันอาจเกิดขึ้นได้ว่าวิธีหนึ่งมีประสิทธิภาพเหนือกว่าวิธีอื่น (ที่นี่https://arimo.com/data-science/2016/bayesian-optimization-hyperparameter-tuning/คนเปรียบเทียบการเพิ่มประสิทธิภาพพารามิเตอร์ hyperesameter แบบเบย์และบรรลุผลที่ดีกว่าในการท้าทายอาชญากรรมในซานฟรานซิสโกมากกว่า ด้วยการค้นหาแบบสุ่ม) แต่ฉันสงสัยว่ามีกฎทั่วไปสำหรับสิ่งนั้น คุณสามารถดู gif ที่สวยงามได้ที่นี่ ( http://blog.revolutionanalytics.com/2016/06/bayesian-optimization-of-machine-learning-models.html ) ที่ซึ่งผู้คนแสดง 'เส้นทาง' ที่การปรับให้เหมาะสมแบบเบส์ใช้ในแนวนอน ของไฮเปอร์พารามิเตอร์โดยเฉพาะดูเหมือนว่าจะไม่ดีกว่าการค้นหาแบบสุ่มโดยทั่วไป ...

ฉันคิดว่าเหตุผลที่ผู้คนมักจะใช้การเพิ่มประสิทธิภาพพารามิเตอร์ไฮเปอร์พารามิเตอร์แบบเบส์คือใช้ขั้นตอนการฝึกอบรมน้อยลงเพื่อให้ได้ผลลัพธ์ที่เปรียบเทียบได้เมื่อเปรียบเทียบกับการค้นหาแบบสุ่มด้วยการทดลองที่มีจำนวนมากพอสมควร

สรุปในหนึ่งประโยค:

* เมื่อเวลาการฝึกอบรมมีความสำคัญให้ใช้การเพิ่มประสิทธิภาพพารามิเตอร์ไฮเปอร์พารามิเตอร์แบบเบย์และหากเวลาไม่เป็นปัญหาให้เลือกหนึ่งในทั้งสอง ... *

โดยปกติแล้วฉันขี้เกียจเกินไปที่จะใช้สิ่งที่ Bayesian กับกระบวนการแบบเกาส์หากฉันสามารถบรรลุผลแบบเดียวกันกับการค้นหาแบบสุ่ม ... ฉันเพิ่งฝึก Gradient Bossting ตระการตากับข้อมูล 'ไม่กี่' ดังนั้นสำหรับฉันเวลาไม่มีปัญหา ...

การปรับให้เหมาะสมแบบเบส์นั้นดีกว่าเพราะเป็นการตัดสินใจที่ชาญฉลาดกว่า คุณสามารถตรวจสอบบทความนี้เพื่อเรียนรู้เพิ่มเติมได้ที่: การเพิ่มประสิทธิภาพ Hyperparameter สำหรับโครงข่ายประสาทเทียม บทความนี้ยังมีข้อมูลเกี่ยวกับข้อดีข้อเสียของทั้งสองวิธี + เทคนิคพิเศษบางอย่างเช่นการค้นหากริดและตัวประมาณทฤษฏี parzen โครงสร้าง แม้ว่ามันจะถูกเขียนขึ้นเพื่อแสดงข้อดีข้อเสียของวิธีการที่แตกต่างกันสำหรับเครือข่ายประสาทความรู้หลักคือ generalizable สำหรับโดเมนการเรียนรู้เครื่องอื่น ๆ

จากการสังเกตการเพิ่มประสิทธิภาพพารามิเตอร์ไฮเปอร์พารามิเตอร์แบบเบย์เป็นกระบวนการต่อเนื่องดังนั้นอาจใช้เวลานานกว่าวิธีการอื่นที่สามารถค้นหาหรือดำเนินการควบคู่กัน