ข้อได้เปรียบของการเพิ่มประสิทธิภาพจับกลุ่มอนุภาคเหนือการปรับแต่งแบบเบย์สำหรับการปรับจูนพารามิเตอร์?

มีการวิจัยร่วมสมัยจำนวนมากเกี่ยวกับการเพิ่มประสิทธิภาพแบบเบส์ (1) สำหรับการปรับแต่งพารามิเตอร์ไฮเปอร์พารามิเตอร์ ML แรงจูงใจในการขับขี่ที่นี่คือจำเป็นต้องมีจุดข้อมูลจำนวนน้อยที่สุดเพื่อทำการเลือกอย่างชาญฉลาดเกี่ยวกับจุดที่คุ้มค่าที่จะลอง (การเรียกใช้ฟังก์ชันตามวัตถุประสงค์มีราคาแพง - ปัญหา SVM ขนาดใหญ่ที่ฉันทำงานอยู่อาจใช้เวลาระหว่างนาทีและชั่วโมงให้เสร็จสมบูรณ์

ในอีกทางหนึ่งOptunityคือการนำอนุภาคไปจับที่ที่อยู่สำหรับงานเดียวกัน ฉันไม่คุ้นเคยกับ PSO อย่างท่วมท้น แต่ดูเหมือนว่ามันจะต้องมีประสิทธิภาพน้อยกว่าในแง่ของการต้องใช้จำนวนจุดทดลองมากขึ้นดังนั้นการประเมินฟังก์ชันวัตถุประสงค์เพื่อประเมินพื้นผิวพารามิเตอร์

ฉันไม่มีรายละเอียดสำคัญที่ทำให้ PSO เป็นที่ต้องการของ BO ในบริบทการเรียนรู้ของเครื่องหรือไม่ หรือเป็นตัวเลือกระหว่างทั้งสองบริบทโดยเนื้อแท้เสมอสำหรับงานการปรับจูนพารามิเตอร์?

(1) Shahriari et al, "นำมนุษย์ออกจากวง: การทบทวน Bayesian Optimizaiton"

ในฐานะผู้พัฒนานำของ Optunity ฉันจะเพิ่มสองเซ็นต์ของฉัน

เราได้ทำการเปรียบเทียบอย่างกว้างขวางเมื่อเปรียบเทียบกับ Optunity กับนักแก้ปัญหาแบบเบย์ที่ได้รับความนิยมมากที่สุด (เช่น hyperopt, SMAC, Bayesopt) เกี่ยวกับปัญหาในโลกแห่งความเป็นจริงและผลลัพธ์ที่บ่งชี้ว่า PSO นั้นมีประสิทธิภาพไม่น้อย ในมาตรฐานของเราซึ่งประกอบด้วยการปรับจูนเนอร์ SVM บนชุดข้อมูลต่างๆ Optunity นั้นมีประสิทธิภาพมากกว่า hyperopt และ SMAC แต่มีประสิทธิภาพน้อยกว่า BayesOpt เล็กน้อย ฉันชอบที่จะแบ่งปันผลที่นี่ แต่ผมจะรอจนกว่า Optunity ถูกที่สุดที่ตีพิมพ์ใน JMLR (ภายใต้การตรวจสอบนานกว่าหนึ่งปีตอนนี้จึงไม่ถือลมหายใจของคุณ ... )

ตามที่คุณระบุประสิทธิภาพที่เพิ่มขึ้นเป็นจุดขายที่ใช้กันทั่วไปสำหรับการปรับให้เหมาะสมแบบเบย์ แต่ในทางปฏิบัติแล้วมันจะกักเก็บน้ำไว้เฉพาะในกรณีที่สมมติฐานของแบบจำลองตัวแทนตั้งต้นอยู่ในตำแหน่งซึ่งอยู่ไกลจากเรื่องเล็กน้อย ในการทดลองของเราตัวแก้ PSO ที่ง่ายมากของ Optunity มักแข่งขันกับวิธี Bayesian ที่ซับซ้อนในแง่ของจำนวนการประเมินฟังก์ชัน นักแก้ปัญหาแบบเบย์ทำงานได้ดีมากเมื่อให้กับนักบวชที่ดี แต่ด้วยความรู้ที่ไม่เคยมีมาก่อนก็แทบจะไม่ได้รับประโยชน์เชิงโครงสร้างใด ๆ จากวิธีการเชิงอภิปรัชญาเช่น PSO ในแง่ของประสิทธิภาพ

จุดขายที่ยิ่งใหญ่สำหรับ PSO คือข้อเท็จจริงที่ว่ามันขนานกันอย่างน่าอาย การปรับให้เหมาะสมแบบเบย์นั้นมักจะยากที่จะทำให้ขนานกันเนื่องจากลักษณะตามลำดับโดยเนื้อแท้ (การดำเนินการของไฮเปอร์พอยต์เป็นเพียงข้อยกเว้นจริงเท่านั้น) เมื่อได้รับโอกาสในการเผยแพร่ซึ่งกลายเป็นบรรทัดฐาน Optunity จะเป็นผู้นำในเวลานาฬิกาแขวนเพื่อรับการแก้ปัญหาที่ดี

ความแตกต่างที่สำคัญอีกอย่างระหว่าง Optunity และไลบรารีการเพิ่มประสิทธิภาพพารามิเตอร์ไฮเปอร์พารามิเตอร์อื่น ๆ ส่วนใหญ่คือกลุ่มเป้าหมาย: Optunity มีอินเทอร์เฟซที่ง่ายที่สุดและได้รับการกำหนดเป้าหมายไปยังผู้เชี่ยวชาญด้านการเรียนรู้ที่ไม่ใช้เครื่องจักร กำหนดเป้าหมายไปยังผู้เชี่ยวชาญ)

เหตุผลที่เราสร้างห้องสมุดคือแม้ว่าจะมีวิธีการเพิ่มประสิทธิภาพพารามิเตอร์ไฮเปอร์พารามิเตอร์โดยเฉพาะ แต่ก็ยังขาดการใช้งานจริง คนส่วนใหญ่ยังคงไม่ปรับจูนทำเองหรือผ่านวิธีไร้เดียงสาเช่นกริดหรือค้นหาแบบสุ่ม ในความเห็นของเราเหตุผลสำคัญสำหรับเรื่องนี้คือความจริงที่ว่าห้องสมุดที่มีอยู่ก่อนที่จะพัฒนา Optunity นั้นยากที่จะใช้ในแง่ของการติดตั้งเอกสาร API และมักจะ จำกัด อยู่ในสภาพแวดล้อมเดียว

คำตอบนั้นขึ้นอยู่กับปัญหาและไม่สามารถให้ได้หากไม่มีบริบทเพิ่มเติม โดยทั่วไปแล้วคำตอบจะเป็นดังนี้ การปรับให้เหมาะสมแบบเบส์เหมาะสำหรับปัญหาที่มีมิติต่ำด้วยงบประมาณการคำนวณมากถึง 10 เท่าของตัวแปร 100 เท่า PSO นั้นค่อนข้างมีประสิทธิภาพสำหรับงบประมาณที่มีขนาดใหญ่กว่า แต่ไม่ได้ทันสมัยในซอกของมัน