คำถามติดแท็ก bayesian-optimization

การไล่ระดับสีแบบลาดลงและวิธีอื่น ๆ มีประโยชน์สำหรับการค้นหาค่าต่ำสุดท้องถิ่นในฟังก์ชันต้นทุน พวกเขาสามารถมีประสิทธิภาพเมื่อฟังก์ชันต้นทุนสามารถประเมินได้อย่างรวดเร็วในแต่ละจุดไม่ว่าจะเป็นตัวเลขหรือเชิงวิเคราะห์ ฉันมีสิ่งที่ดูเหมือนจะเป็นสถานการณ์ที่ผิดปกติ การประเมินฟังก์ชั่นค่าใช้จ่ายของฉันแต่ละครั้งมีราคาแพง ฉันกำลังพยายามค้นหาชุดของพารามิเตอร์ที่ย่อเล็กสุดพื้นผิว 3 มิติกับพื้นผิวจริงพื้นดิน เมื่อใดก็ตามที่ฉันเปลี่ยนพารามิเตอร์ฉันต้องเรียกใช้อัลกอริทึมกับกลุ่มตัวอย่างทั้งหมดเพื่อวัดผลของมัน ในการคำนวณการไล่ระดับสีฉันต้องเปลี่ยนพารามิเตอร์ทั้ง 15 อย่างอิสระซึ่งหมายความว่าฉันต้องสร้างพื้นผิวทั้งหมดใหม่และเปรียบเทียบกับวิธีการสุ่มตัวอย่างกลุ่มตัวอย่างหลายครั้งเกินไปต่อการไล่ระดับสี ฉันได้พัฒนาวิธีการที่จะหลีกเลี่ยงปัญหานี้และขณะนี้กำลังประเมินอยู่ แต่ฉันประหลาดใจที่ฉันไม่ได้พบมากในวรรณกรรมเกี่ยวกับการประเมินฟังก์ชั่นราคาแพง นี่ทำให้ฉันสงสัยว่าฉันกำลังทำให้ปัญหาหนักขึ้นกว่าที่เป็นอยู่หรือไม่และอาจมีวิธีที่ดีกว่าที่มีอยู่แล้ว ดังนั้นคำถามของฉันจึงเป็นแบบนี้: ไม่มีใครรู้วิธีการเพิ่มประสิทธิภาพฟังก์ชั่นค่าใช้จ่ายนูนหรือไม่เมื่อการประเมินผลช้า? หรือฉันกำลังทำอะไรโง่ ๆ ในตอนแรกโดยทำขั้นตอนวิธีใหม่และเปรียบเทียบกับกลุ่มตัวอย่างหลาย ๆ ครั้ง?

59 gradient-descent  optimization  bayesian-optimization 

มีการวิจัยร่วมสมัยจำนวนมากเกี่ยวกับการเพิ่มประสิทธิภาพแบบเบส์ (1) สำหรับการปรับแต่งพารามิเตอร์ไฮเปอร์พารามิเตอร์ ML แรงจูงใจในการขับขี่ที่นี่คือจำเป็นต้องมีจุดข้อมูลจำนวนน้อยที่สุดเพื่อทำการเลือกอย่างชาญฉลาดเกี่ยวกับจุดที่คุ้มค่าที่จะลอง (การเรียกใช้ฟังก์ชันตามวัตถุประสงค์มีราคาแพง - ปัญหา SVM ขนาดใหญ่ที่ฉันทำงานอยู่อาจใช้เวลาระหว่างนาทีและชั่วโมงให้เสร็จสมบูรณ์ ในอีกทางหนึ่งOptunityคือการนำอนุภาคไปจับที่ที่อยู่สำหรับงานเดียวกัน ฉันไม่คุ้นเคยกับ PSO อย่างท่วมท้น แต่ดูเหมือนว่ามันจะต้องมีประสิทธิภาพน้อยกว่าในแง่ของการต้องใช้จำนวนจุดทดลองมากขึ้นดังนั้นการประเมินฟังก์ชันวัตถุประสงค์เพื่อประเมินพื้นผิวพารามิเตอร์ ฉันไม่มีรายละเอียดสำคัญที่ทำให้ PSO เป็นที่ต้องการของ BO ในบริบทการเรียนรู้ของเครื่องหรือไม่ หรือเป็นตัวเลือกระหว่างทั้งสองบริบทโดยเนื้อแท้เสมอสำหรับงานการปรับจูนพารามิเตอร์? (1) Shahriari et al, "นำมนุษย์ออกจากวง: การทบทวน Bayesian Optimizaiton"

18 hyperparameter  bayesian-optimization  optunity 

ความเป็นมาและปัญหา ฉันใช้กระบวนการแบบเกาส์ (GP) สำหรับการถดถอยและการปรับให้เหมาะสมแบบเบย์ (BO) ในภายหลัง สำหรับการถดถอยฉันใช้แพ็คเกจgpmlสำหรับ MATLAB ที่มีการแก้ไขที่กำหนดเองหลายอย่าง แต่ปัญหาเป็นเรื่องทั่วไป มันเป็นความจริงที่รู้จักกันดีว่าเมื่ออินพุตการฝึกอบรมสองอันอยู่ใกล้กับพื้นที่อินพุตมากเกินไปเมทริกซ์ความแปรปรวนร่วมอาจไม่แน่นอนแน่นอน (มีคำถามหลายข้อเกี่ยวกับมันในเว็บไซต์นี้) เป็นผลให้การสลายตัว Cholesky ของเมทริกซ์ความแปรปรวนร่วมที่จำเป็นสำหรับการคำนวณ GP ต่างๆอาจล้มเหลวเนื่องจากข้อผิดพลาดเชิงตัวเลข เรื่องนี้เกิดขึ้นกับฉันในหลายกรณีเมื่อดำเนินการ BO พร้อมกับฟังก์ชั่นวัตถุประสงค์ที่ฉันใช้และฉันต้องการแก้ไข โซลูชันที่เสนอ AFAIK โซลูชันมาตรฐานเพื่อบรรเทาอาการป่วยไข้คือการเพิ่มสันเขาหรือนักเก็ตในแนวทแยงของเมทริกซ์ความแปรปรวนร่วม สำหรับการถดถอย GP จำนวนเสียงนี้จะเพิ่ม (หรือเพิ่มขึ้นหากมีอยู่) เสียงการสังเกต จนถึงตอนนี้ดีมาก ฉันปรับเปลี่ยนรหัสสำหรับการอนุมานที่แน่นอนของgpmlดังนั้นเมื่อใดก็ตามที่การสลายตัวของ Cholesky ล้มเหลวฉันพยายามที่จะแก้ไขเมทริกซ์ความแปรปรวนร่วมกับเมทริกซ์สมการเชิงบวกสมมาตร (SPD) ที่ใกล้เคียงที่สุดในบรรทัดฐาน Frobenius แรงบันดาลใจจากรหัส MATLABโดย John d'Errico เหตุผลคือเพื่อลดการแทรกแซงในเมทริกซ์เดิม วิธีแก้ปัญหานี้ทำงานได้ แต่ฉันสังเกตเห็นว่าประสิทธิภาพของ BO ลดลงอย่างมากสำหรับบางฟังก์ชั่น - อาจเป็นได้ทุกครั้งที่อัลกอริทึมจำเป็นต้องซูมเข้าในบางพื้นที่ (เช่นเนื่องจากใกล้เข้าใกล้ระดับต่ำสุด ปัญหามีขนาดเล็กไม่สม่ำเสมอ) พฤติกรรมนี้เหมาะสมเมื่อฉันเพิ่มสัญญาณรบกวนอย่างมีประสิทธิภาพเมื่อใดก็ตามที่จุดอินพุตสองจุดเข้าใกล้เกินไป แต่แน่นอนว่ามันไม่เหมาะ …

12 regression  covariance-matrix  gaussian-process  bayesian-optimization