สามารถใช้การไล่ระดับสีแบบลาดเอียงกับฟังก์ชั่นที่ไม่นูนได้หรือไม่?

ฉันแค่เรียนรู้เกี่ยวกับการปรับให้เหมาะสมและมีปัญหาในการทำความเข้าใจความแตกต่างระหว่างการเพิ่มประสิทธิภาพของนูนและที่ไม่นูน จากความเข้าใจของฉันฟังก์ชั่นนูนคือหนึ่งที่ "ส่วนของเส้นตรงระหว่างจุดสองจุดใด ๆ บนกราฟของฟังก์ชันอยู่เหนือหรือบนกราฟ" ในกรณีนี้สามารถใช้อัลกอริทึมการไล่ระดับสีได้เนื่องจากมีค่าต่ำสุดเพียงครั้งเดียวและการไล่ระดับสีจะนำคุณไปสู่ระดับต่ำสุดเสมอ

อย่างไรก็ตามสิ่งที่เกี่ยวกับฟังก์ชั่นในรูปนี้:

ที่นี่ส่วนของเส้นสีน้ำเงินตัดผ่านฟังก์ชันสีแดง อย่างไรก็ตามฟังก์ชั่นยังคงมีค่าต่ำสุดเพียงครั้งเดียวดังนั้นการไล่ระดับสีแบบลาดชันจะยังคงนำคุณไปสู่ระดับต่ำสุดนี้

ดังนั้นคำถามของฉันคือ:

1) ฟังก์ชั่นในรูปนี้นูนหรือไม่นูน?

2) ถ้าไม่ใช่แบบนูนสามารถใช้วิธีการหาค่าเหมาะที่สุดแบบนูน (การไล่ระดับสี) ได้หรือไม่

ฟังก์ชั่นที่คุณสร้างกราฟนั้นไม่ได้มาจากการนูน แต่ก็เป็นquasiconvex

การไล่ระดับสีเป็นวิธีทั่วไปสำหรับการปรับให้เหมาะสมอย่างต่อเนื่องดังนั้นจึงเป็นไปได้และโดยทั่วไปจะใช้กับฟังก์ชั่น nonconvex ด้วยฟังก์ชั่นที่ราบรื่นและขนาดขั้นตอนที่เลือกอย่างสมเหตุสมผลมันจะสร้างลำดับของคะแนน$x_1, x_2, \ldots$ ด้วยค่าที่ลดลงอย่างเคร่งครัด $f(x_1) > f(x_2) > \ldots$.

โคตรลาดลงในที่สุดจะมาบรรจบกันที่จุดนิ่งของฟังก์ชั่นโดยไม่คำนึงถึงนูน หากฟังก์ชั่นนูนนี่จะเป็นค่าต่ำสุดทั่วโลก แต่ถ้าไม่ใช่มันอาจจะเป็นค่าต่ำสุดในพื้นที่หรือแม้แต่จุดอาน

ฟังก์ชัน Quasiconvex เป็นกรณีที่น่าสนใจ ใด ๆ ขั้นต่ำในท้องถิ่นของฟังก์ชั่น quasiconvex ยังเป็นขั้นต่ำทั่วโลก แต่ฟังก์ชั่น quasiconvex ยังสามารถมีจุดนิ่งที่ไม่ใช่ท้องถิ่นขั้นต่ำ (ใช้$f(x) = x^3$ตัวอย่างเช่น). ดังนั้นจึงเป็นไปได้ในทางทฤษฎีสำหรับการไล่ระดับสีที่จะติดอยู่กับจุดที่อยู่กับที่และไม่คืบหน้าไปสู่ระดับต่ำสุดของโลก ในตัวอย่างของคุณถ้าไหล่ทางด้านซ้ายของกราฟอยู่ในระดับที่สมบูรณ์แบบการไล่ระดับสีที่ลาดลงมา อย่างไรก็ตามตัวแปรต่าง ๆ เช่นวิธีการใช้ลูกหนักอาจสามารถ "หมุนผ่าน" และไปสู่ระดับต่ำสุดของโลก

เปาโลพูดถึงประเด็นสำคัญข้อหนึ่งแล้ว:

• ถ้า f นูนออกมาจะไม่มีจุดอานและขนาดเล็กที่สุดในโลกก็เป็นระดับโลกเช่นกัน ดังนั้น GD (พร้อมกับ stepize ที่เหมาะสม) จึงรับประกันว่าจะพบกับ minimizer ระดับโลก

สิ่งที่ทำให้การเพิ่มประสิทธิภาพที่ไม่ใช่แบบนูนนั้นยากคือการมีจุด saddle และ minima เฉพาะที่ซึ่งการไล่ระดับสีคือ (0, ... , 0) และนั่นมีค่าวัตถุประสงค์ที่ไม่ดีตามอำเภอใจ

การค้นหา minmizer ทั่วโลกในการตั้งค่าดังกล่าวโดยทั่วไปแล้วจะเป็นแบบ NP-hard และอีกอันหนึ่งแทนที่จะมาตั้งเป้าหมายโดยมีเป้าหมายในการหาตัวย่อขนาดเล็กในเครื่อง

อย่างไรก็ตามโปรดทราบว่า:

• ความน่าจะเป็นของ GD ที่ติดอยู่บนอานเป็นจริง 0 ( ดูที่นี่ )
• อย่างไรก็ตามการปรากฏตัวของจุดอานอาจช้าลงอย่างรุนแรง GDs ลงเพราะทิศทางของความโค้งต่ำจะใช้ประโยชน์ช้าเกินไป ( ดูที่นี่ )

ขึ้นอยู่กับมิติของปัญหาของคุณดังนั้นจึงแนะนำให้เลือกวิธีการเพิ่มประสิทธิภาพลำดับที่สอง