ทำไมการไม่นูนจึงควรมีปัญหาในการปรับให้เหมาะสม

ฉันประหลาดใจมากเมื่อฉันเริ่มอ่านบางอย่างเกี่ยวกับการปรับให้เหมาะสมแบบไม่ต้องนูนและฉันเห็นข้อความเช่นนี้:

ปัญหาในทางปฏิบัติที่มีความสำคัญหลายอย่างนั้นไม่ใช่แบบนูนและปัญหาที่ไม่ใช่แบบนูนส่วนใหญ่นั้นยากที่จะแก้ไขได้ในเวลาที่เหมาะสม (ที่มา )

หรือ

โดยทั่วไปแล้วมันยากที่จะหา NP ในท้องถิ่นและอัลกอริธึมหลายอย่างอาจติดอยู่ที่จุดอาน (ที่มา )

ฉันกำลังทำการเพิ่มประสิทธิภาพแบบไม่นูนทุกวัน - คือการผ่อนคลายของเรขาคณิตโมเลกุล ฉันไม่เคยคิดว่ามันเป็นสิ่งที่ยุ่งยากช้าและมีแนวโน้มที่จะติดอยู่ ในบริบทนี้เรามีพื้นผิวไม่นูนหลายมิติอย่างชัดเจน (> 1,000 องศาอิสระ) เราใช้เทคนิคการเรียงลำดับครั้งแรกส่วนใหญ่ที่ได้มาจากการสืบเชื้อสายที่สูงชันและการดับอย่างแรงเช่นไฟซึ่งรวมกันในไม่กี่ร้อยขั้นตอนถึงขั้นต่ำในท้องถิ่น (น้อยกว่าจำนวน DOFs) ฉันคาดว่าด้วยการเพิ่มเสียงสุ่มมันต้องแข็งแกร่งเหมือนนรก (การเพิ่มประสิทธิภาพทั่วโลกเป็นเรื่องที่แตกต่าง)

ฉันไม่สามารถจินตนาการได้ว่าพื้นผิวพลังงานที่มีศักยภาพควรมีลักษณะอย่างไรเพื่อทำให้วิธีการปรับให้เหมาะสมเหล่านี้ติดอยู่หรือค่อยๆบรรจบกัน เช่น PES ทางพยาธิวิทยาที่มาก (แต่ไม่ได้เกิดจากการไม่นูน) เป็นเกลียวนี้แต่มันก็ไม่ได้เป็นปัญหาใหญ่ คุณสามารถยกตัวอย่างที่เป็นตัวอย่างของ PES ที่ไม่ใช่ทางพยาธิวิทยาได้หรือไม่?

ดังนั้นฉันไม่ต้องการโต้แย้งกับคำพูดข้างต้น ค่อนข้างฉันรู้สึกว่าฉันขาดอะไรบางอย่างที่นี่ บางทีบริบท

ความเข้าใจผิดอยู่ในสิ่งที่ถือเป็นการ "แก้ปัญหา" การหาค่าเหมาะที่สุดเช่น$\arg\min f(x)$(x) สำหรับนักคณิตศาสตร์ปัญหาจะถูกพิจารณาว่า "แก้ไข" เมื่อเรามี:

1. โซลูชันผู้สมัคร:ตัวเลือกเฉพาะของตัวแปรการตัดสินใจและค่าวัตถุประสงค์ที่สอดคล้องกันและ$x^\star$$f(x^\star)$
2. หลักฐานการ optimality:หลักฐานทางคณิตศาสตร์ที่ทางเลือกของระดับโลกที่ดีที่สุดคือว่าถือสำหรับทางเลือกของทุกx$x^\star$$f(x) \ge f(x^\star)$$x$

เมื่อถูกนูนส่วนประกอบทั้งสองจะได้รับอย่างง่ายดาย เชื้อสายไล่โทนสีตั้งเป็นทางออกที่ผู้สมัครที่ทำให้การไล่ระดับสีหายไป 0 ข้อพิสูจน์การมองโลกในแง่ดีนั้นตามมาจากข้อเท็จจริงง่ายๆที่สอนใน MATH101 ว่าถ้านูนและการไล่ระดับสีหายไปที่ดังนั้นจึงเป็นทางออกระดับโลก$f$$x^\star$$\nabla f(x^\star)=0$$f$$\nabla f$$x^\star$$x^\star$

เมื่อไม่ใช่แบบ nonconvex คำตอบของผู้สมัครอาจยังหาได้ง่าย แต่การพิสูจน์ให้เห็นถึงความเหมาะสมนั้นยากมาก ตัวอย่างเช่นเราอาจทำงานโคตรลาดและหาจุด 0 แต่เมื่อไม่ใช่แบบ nonconvex เงื่อนไขเป็นสิ่งที่จำเป็น แต่ไม่เพียงพอสำหรับโลกที่มีประสิทธิภาพสูงสุด ที่จริงแล้วมันยังไม่เพียงพอสำหรับการมองโลกในแง่ดีที่สุดเช่นเราไม่สามารถรับประกันได้ว่าเป็นข้อมูลขั้นต่ำในระดับท้องถิ่นตามข้อมูลการไล่ระดับสีอย่างเดียว วิธีการหนึ่งคือการแจกแจงคะแนนทั้งหมดที่ทำให้พอใจและนี่อาจเป็นงานที่น่าเกรงขามแม้กระทั่งเพียงมิติเดียวหรือสองมิติ$f$$\nabla f(x^\star)=0$$f$$\nabla f(x)=0$$x^\star$$\nabla f(x)=0$

เมื่อนักคณิตศาสตร์บอกว่าปัญหาส่วนใหญ่เป็นไปไม่ได้ที่จะแก้ปัญหาพวกเขากำลังพูดว่าการพิสูจน์ของการมองโลกในแง่ดี (แม้แต่ในพื้นที่) นั้นเป็นไปไม่ได้ที่จะสร้างขึ้น แต่ในโลกแห่งความเป็นจริงเรามักจะสนใจในการคำนวณโซลูชัน "ดีพอ" และสามารถพบได้ในหลายวิธี สำหรับปัญหาที่ไม่เกิดปัญหาสูงมากสัญชาตญาณของเราบอกเราว่าวิธีแก้ปัญหา "ดีพอ" นั้นดีที่สุดทั่วโลกแม้ว่าเราจะไม่สามารถพิสูจน์ได้!

ตัวอย่างของปัญหามิติต่ำที่ซับซ้อนอาจเป็น:

เมื่อคุณได้รับผลกระทบจากท้องถิ่นคุณจะมั่นใจได้อย่างไรว่ามันใกล้เคียงกับความดีระดับโลก คุณจะรู้ได้อย่างไรว่าผลลัพธ์ของคุณเป็นทางออกที่ดีที่สุดที่ไม่เหมือนใครทำให้ได้ผลที่ดีที่สุดทั่วโลก คุณจะสร้างอัลกอริทึมที่แข็งแกร่งให้กับเนินเขาและหุบเขาทุกแห่งได้อย่างไรจึงไม่ติดอยู่ที่ไหนสักแห่ง?

ตัวอย่างเช่นนี่คือสิ่งที่อาจเป็นเรื่องยาก เห็นได้ชัดว่าไม่ใช่ปัญหาทุกอย่างเช่นนี้ แต่บางปัญหา สิ่งที่แย่กว่านั้นคือในการตั้งค่าในอุตสาหกรรมฟังก์ชันต้นทุนอาจใช้เวลานานในการคำนวณและมีพื้นผิวที่มีปัญหาเหมือนที่กล่าวมาข้างต้น

ตัวอย่างปัญหาจริง

ตัวอย่างที่ฉันสามารถแก้ไขได้ในที่ทำงานก็คือการปรับให้เหมาะสมสำหรับอัลกอริทึมขีปนาวุธที่อาจแข็งแกร่งในเงื่อนไขการเปิดตัวจำนวนมาก ใช้คลัสเตอร์ของเราฉันสามารถรับการวัดประสิทธิภาพที่ฉันต้องการในเวลาประมาณ 10 นาทีสำหรับเงื่อนไขเดียว ตอนนี้การตัดสินความแข็งแกร่งอย่างเพียงพอเราต้องการตัวอย่างของเงื่อนไขในการตัดสินอย่างน้อยที่สุด สมมุติว่าเรารันหกเงื่อนไขทำให้การประเมินฟังก์ชันต้นทุนใช้เวลาหนึ่งชั่วโมง

พลวัตขีปนาวุธไม่เชิงเส้นพลศาสตร์บรรยากาศกระบวนการเวลาไม่ต่อเนื่อง ฯลฯ ส่งผลให้เกิดปฏิกิริยาไม่เชิงเส้นต่อการเปลี่ยนแปลงในอัลกอริทึมคำแนะนำทำให้การเพิ่มประสิทธิภาพยากที่จะแก้ปัญหา ฟังก์ชั่นค่าใช้จ่ายนี้จะเป็นแบบไม่นูนทำให้ใช้เวลานานในการประเมินปัญหาใหญ่ ตัวอย่างเช่นนี้เป็นที่ที่เราจะพยายามให้ได้อย่างดีที่สุดในเวลาที่เราได้รับ

ปัญหาคือที่ของจุดอานกล่าวถึงในโพสต์ที่คุณเชื่อมโยง จากนามธรรมของหนึ่งในบทความที่เชื่อมโยง :

อย่างไรก็ตามโดยทั่วไปมันยากที่จะรับประกันได้ว่าอัลกอริทึมดังกล่าวรวมตัวกันเป็นค่าต่ำสุดในท้องถิ่นเนื่องจากโครงสร้างจุดอานที่ซับซ้อนในมิติสูง ฟังก์ชั่นหลายอย่างมีจุดด้อยของอานม้าซึ่งคำสั่งซื้อขายอันดับที่หนึ่งและสองไม่สามารถแยกแยะความแตกต่างกับออพติม่าท้องถิ่นได้ ในบทความนี้เราใช้อนุพันธ์คำสั่งซื้อที่สูงขึ้นเพื่อหลีกเลี่ยงจุดอานเหล่านี้: เราออกแบบอัลกอริธึมที่มีประสิทธิภาพแรกที่รับประกันว่าจะรวมกันเป็นออเดอร์ลำดับที่สามที่เหมาะสมที่สุด (ในขณะที่เทคนิคที่มีอยู่ นอกจากนี้เรายังแสดงให้เห็นว่าเป็นเรื่องยากที่จะขยายเรื่องนี้ต่อไปเพื่อค้นหาออพติม่าท้องถิ่นลำดับที่สี่

เป็นหลักคุณสามารถมีฟังก์ชั่นที่คุณมีจุดอานที่แยกไม่ได้จาก minima ท้องถิ่นเมื่อดูอนุพันธ์อันดับ 1, 2 และ 3 คุณสามารถแก้ปัญหานี้ได้โดยไปที่เครื่องมือเพิ่มประสิทธิภาพคำสั่งซื้อที่สูงขึ้น แต่พวกเขาแสดงให้เห็นว่าการสั่งซื้อขั้นต่ำในท้องถิ่นอันดับที่ 4 คือ NP hard

$x^2y+y^2$

คุณสามารถใช้ฮิวริสติกจำนวนหนึ่งเพื่อหนีคะแนนดังกล่าวซึ่งอาจใช้ได้ผลกับตัวอย่างในโลกแห่งความเป็นจริง (ส่วนใหญ่?) แต่ไม่สามารถพิสูจน์ได้ว่าทำงานได้ตลอดเวลา
ในการโพสต์บล็อกที่คุณเชื่อมโยงพวกเขายังหารือเกี่ยวกับเงื่อนไขตามที่คุณสามารถหลบหนีจุดอานในเวลาพหุนาม