การค้นหาขั้นต่ำทั่วโลกของฟังก์ชั่น 2D ที่ราบรื่นไม่มีขอบเขตและไม่มีค่าใช้จ่ายในการประเมิน

ฉันมีฟังก์ชั่น non-convex 2-D แบบ จำกัด ซึ่งฉันต้องการค้นหาขั้นต่ำ ฟังก์ชั่นค่อนข้างเรียบ การประเมินค่าใช้จ่ายสูง ข้อผิดพลาดที่ยอมรับได้คือประมาณ 3% ของโดเมนของฟังก์ชันในแต่ละแกน

ฉันพยายามเรียกใช้การใช้อัลกอริธึม DIRECT ในไลบรารี NLOPT แต่มันก็ไม่ได้ให้การปรับปรุงที่ดีกว่าการค้นหาแรงเดรัจฉานในแง่ของจำนวนการประเมินฟังก์ชันที่จำเป็นสำหรับความแม่นยำที่ต้องการและมีค่าผิดปกติบางอย่าง

ฉันควรพิจารณาตัวแก้ไขการเพิ่มประสิทธิภาพระดับโลกอื่น ๆ แบบใด

ฉันอยากจะแนะนำวิธีการที่แตกต่างกันบ้างเมื่อเทียบกับคำตอบอื่น ๆ แม้ว่า @ barron จะพูดถึงสิ่งเดียวกันโดยอ้อม

แทนที่จะปรับฟังก์ชั่นของคุณโดยตรงเช่นโดยการประเมินที่ชุดของจุดจุดที่ (หวังว่า) มาบรรจบกันเป็น (ท้องถิ่น) ที่ดีที่สุดคุณสามารถใช้แนวคิดของการสร้างแบบจำลองตัวแทนซึ่งเป็น เหมาะมากสำหรับปัญหาประเภทที่คุณอธิบาย (ค่าใช้จ่ายสูงเรียบขอบเขต จำกัด มิติต่ำเช่นไม่ทราบน้อยกว่า 20 รายการ)$\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_k$$\textit{surrogate modelling}$

โดยเฉพาะการสร้างแบบจำลองตัวแทนทำงานโดยการตั้งค่าฟังก์ชั่นแบบของฟังก์ชั่นของคุณเป็นจริงฉ∈ R d → R กุญแจสำคัญคือแม้ว่าแน่นอนว่าcไม่ได้เป็นตัวแทนของfอย่างสมบูรณ์แต่ก็ถูกกว่าการประเมิน$c \in \mathbb{R}^d \rightarrow \mathbb{R}$$f \in \mathbb{R}^d \rightarrow \mathbb{R}$$c$$f$

ดังนั้นกระบวนการปรับให้เหมาะสมแบบทั่วไปจะเป็นดังนี้:

1. ประเมินที่ชุดของเจจุดเริ่มต้นx 1 , x 2 , ... , xเจ โปรดทราบว่าไม่จำเป็นต้องใช้อนุพันธ์ โปรดทราบว่าจุดเหล่านี้ควรกระจายอย่างสม่ำเสมอทั่วทั้งพื้นที่การค้นหาเช่นโดย Latin Hypercube Sampling หรือการออกแบบการเติมพื้นที่ที่คล้ายกัน$f$$j$$\mathbf{x}_1,\mathbf{x}_2,\ldots,\mathbf{x}_j$
2. ขึ้นอยู่กับชุดเดิมนี้สร้างฟังก์ชั่นรุ่นCคุณสามารถใช้การตรวจสอบข้ามการตรวจสอบรูปแบบของคุณ (เช่นใช้เฉพาะชุดย่อยของเดิมเจจุดที่จะสร้างคและจากนั้นใช้ที่เหลือของชุดข้อมูลเพื่อตรวจสอบวิธีการที่ดีคคาดการณ์ค่าเหล่านั้น)$c$$j$$c$$c$
3. ใช้เกณฑ์เช่นที่คาดว่าจะปรับปรุง (EI) เกณฑ์ที่จะหาสถานที่ที่จะ '' เติมใน '' ตัวอย่างมากขึ้นเพื่อให้ถูกต้องมากขึ้นโดยการสุ่มตัวอย่างฉ นี่เป็นการศึกษาที่ดีกว่าในทางทฤษฎีมากกว่าที่คิดและเกณฑ์ EI นั้นได้รับการวิจัยเป็นอย่างดี เกณฑ์ของ EI นั้นไม่ใช่เกณฑ์โลภดังนั้นคุณทั้งสองจึงได้รับการปรับปรุงโดยรวมที่ดีของความแม่นยำของแบบจำลองในขณะที่จัดลำดับความถูกต้องใกล้กับ Optima$c$$f$
4. หากโมเดลของคุณไม่แม่นยำเพียงพอให้ทำซ้ำขั้นตอนที่ 3 หรือใช้ขั้นตอนการเพิ่มประสิทธิภาพที่คุณชื่นชอบเพื่อหาค่าที่เหมาะสมที่สุดซึ่งจะถูกประเมินได้อย่างถูกต้องมาก (เพื่อให้คุณสามารถใช้รูทีนที่คุณต้องการแม้แต่คนที่ต้องการอนุพันธ์ ประเมินฟังก์ชั่นในรูปแบบตาข่าย)$c$

$f$$c$$f$

$c$

แน่นอนว่านี่เป็นงานเขียนโค้ดเพียงเล็กน้อย แต่คนอื่น ๆ จำนวนมากได้ทำการปรับใช้ที่ดีมาก ใน Matlab ฉันรู้เพียงว่ากล่องเครื่องมือซอฟต์แวร์ DACE DACE นั้นฟรี TOMLAB อาจเสนอแพ็คเกจ Matlab แต่ก็คุ้มค่ากับเงินที่เสียไป - อย่างไรก็ตามฉันเชื่อว่ามันใช้งานได้ใน C ++ และมีความสามารถมากกว่าที่ DACE เคยมี (หมายเหตุ: ฉันเป็นหนึ่งในนักพัฒนาของ DACE เวอร์ชันใหม่ซึ่งจะเปิดตัวเร็ว ๆ นี้ซึ่งจะให้การสนับสนุนเพิ่มเติมสำหรับ EGO)

หวังว่าภาพรวมคร่าวๆนี้ช่วยคุณได้โปรดถามคำถามว่ามีจุดที่สามารถทำให้ชัดเจนขึ้นหรือสิ่งที่ฉันพลาดไปหรือถ้าคุณต้องการเนื้อหาเพิ่มเติมเกี่ยวกับเรื่องนี้

ดู

LM Rios และ NV Sahinidis, การเพิ่มประสิทธิภาพที่ปราศจากอนุพันธ์: การทบทวนอัลกอริทึมและการเปรียบเทียบการปรับใช้ซอฟต์แวร์

สำหรับการเปรียบเทียบ solver ล่าสุดที่มีประโยชน์มาก

DOI: 10.1007 / s10898-012-9951-y

สำหรับฟังก์ชั่นที่ราบรื่นวิธี Efficient Global Optimization ควรทำได้ค่อนข้างดีและมีประสิทธิภาพมากกว่า DIRECT อย่างมาก มีการใช้งานในTOMLAB (ไม่ได้ใช้ด้วยตนเอง) และDAKOTA (ซึ่งฉันเคยประสบความสำเร็จมาบ้าง)

เนื่องจากฟังก์ชั่นนั้นราบรื่นวิธีการของนิวตันจึงเป็นวิธีที่มีประสิทธิภาพที่สุดในการค้นหาขั้นต่ำ เนื่องจากฟังก์ชั่นไม่ได้นูนคุณจะต้องใช้เทคนิคปกติเพื่อให้วิธีการของนิวตันมาบรรจบกัน (การปรับเปลี่ยน Levenberg-Marquardt, การค้นหาสายหรือภูมิภาคที่เชื่อถือได้เพื่อโลกาภิวัตน์) หากคุณไม่สามารถหาอนุพันธ์ของฟังก์ชั่นของคุณให้ลองคำนวณด้วยความแตกต่างที่ จำกัด หรือใช้การอัพเดท BFGS หากคุณสงสัยว่าปัญหานั้นมีมากกว่าหนึ่งขั้นต่ำในท้องถิ่นหนึ่งจะเริ่มวิธีของนิวตันจากจุดสุ่มหรือสุ่มเลือกที่ค่อนข้างสุ่มและดูว่าพวกเขามาบรรจบกันที่ไหน

เนื่องจากการประเมินของคุณมีราคาแพงคุณจึงต้องใช้ประโยชน์จากการประเมินฟังก์ชั่น sevaral ควบคู่กัน

ฉันอยากจะแนะนำให้คุณดูที่รหัสนี้ ที่อยู่เบื้องหลังการทางคณิตศาสตร์ที่อธิบายไว้ที่นี่