มีเทคนิคการไล่ระดับสีแบบไล่ตามสำหรับการค้นหาขั้นต่ำสุด (สูงสุด) ของฟังก์ชันในพื้นที่หลายมิติหรือไม่?

11

ฉันคุ้นเคยกับอัลกอริทึมการไล่ระดับสีซึ่งสามารถค้นหาขั้นต่ำ (สูงสุด) ของฟังก์ชันที่กำหนดได้

มีการดัดแปลงใด ๆ ของการลดลงของการไล่ระดับสีซึ่งช่วยให้สามารถหาค่าต่ำสุดที่แน่นอน (สูงสุด) ได้หรือไม่ซึ่งฟังก์ชั่นนี้มีหลาย extrema ในท้องที่?

มีเทคนิคทั่วไปวิธีการเพิ่มประสิทธิภาพอัลกอริทึมที่สามารถหา extremum ท้องถิ่นสำหรับการค้นหา extremum แน่นอนได้อย่างไร

ds.algorithms approximation-algorithms machine-learning

— โรมัน
แหล่งที่มา

คุณอาจต้องการตรวจสอบข้ามการตรวจสอบหรือ AI Q & A เชื่อมโยงจากคำถามที่พบบ่อย

— Kaveh

ฉันคิดว่าเป็นหนึ่งในข้อเสียของการไล่ระดับสี - มันสามารถติดอยู่ใน extrema ท้องถิ่น เทคนิคอื่น ๆ เช่นการอบแบบจำลองอาจไม่ไวต่อสิ่งนี้ แต่ก็ยังไม่สามารถรับประกันได้จากสิ่งที่ฉันเข้าใจ

— Joe

1

ฉันไม่แน่ใจว่า 'พื้นที่หลายมิติ' เกี่ยวข้องกับเรื่องนี้อย่างไร แม้แต่ฟังก์ชั่นสำหรับ R ก็สามารถมี extrema ได้หลายตัวซึ่งการค้นหาแบบไล่ระดับสีจะมีปัญหา

— Suresh Venkat

ฉันค่อนข้างแน่ใจว่ามีทฤษฏีตามเส้นที่ว่าถ้าฟังก์ชั่นนั้นต่อเนื่องและสุ่มตัวอย่างในจุดที่เพียงพอคุณสามารถรับรองได้ว่า คือบางสิ่งบางอย่างตามเส้นของอัลกอริทึมของพาวเวลล์ วรรณคดีนั้นกว้างใหญ่จนทฤษฎีเช่นนี้น่าจะถูกตีพิมพ์ที่ไหนสักแห่ง แต่ไม่ได้ยินเลย มันยังพิสูจน์ได้ว่าการเพิ่มประสิทธิภาพในท้องถิ่นสามารถเข้าถึงการเพิ่มประสิทธิภาพระดับโลกภายใต้การสุ่มตัวอย่างที่เพียงพอเมื่อการสุ่มตัวอย่างเพิ่มขึ้น

— vzn

ค่อนข้างเกี่ยวข้องดูความเห็นที่นี่ที่ขอยืนยันว่า NN ทั่วโลกหรือวิธีการเชิงตัวเลข / วิธีการแก้ปัญหาประเภทไม่ได้เป็น"อัลกอริทึมการประมาณ"

— vzn

17

ฉันคิดว่าคุณกำลังพูดถึงการลดขนาดที่ไม่มีข้อ จำกัด คำถามของคุณควรระบุว่าคุณกำลังพิจารณาโครงสร้างปัญหาที่เฉพาะเจาะจงหรือไม่ มิฉะนั้นคำตอบคือไม่

ก่อนอื่นฉันควรปัดเป่าตำนาน วิธีการไล่ระดับสีแบบคลาสสิก (หรือที่เรียกว่าวิธีการลาดชันแบบลาดชัน ) ไม่ได้รับประกันว่าจะสามารถหาเครื่องลดขนาดเล็กในท้องถิ่นได้ มันจะหยุดเมื่อพบจุดวิกฤติที่มีลำดับแรกคือจุดที่การไล่ระดับสีหายไป ขึ้นอยู่กับฟังก์ชั่นการลดขนาดและจุดเริ่มต้นคุณอาจจะจบลงที่จุดอานหรือแม้แต่ที่ maximizer ทั่วโลก!

$f(x,y) = x^2 - y^2$ $(x_0,y_0) := (1,0)$ $-\nabla f(1,0) = (-2,0)$ $(0,0)$ $f(x,y) = x^2 - 10^{-16} y^2$ $(0,0)$ $\nabla^2 f(x^*,y^*)$ $-10^{-16}$ $+10^{-16}$

f (x) = {\begin{cases} 1 & if x \leq 0 \\ \cos (x) & if 0 < x < π \\ - 1 & if x \geq π . \end{cases}

$f(x) = \begin{cases} 1 & \text{if } x \leq 0 \\ \cos(x) & \text{if } 0 < x < \pi \\ -1 & \text{if } x \geq \pi. \end{cases}$

$x_0 = -2$

ตอนนี้วิธีการปรับให้เหมาะสมที่สุดที่ใช้การไล่ระดับสีได้รับผลกระทบจากการออกแบบ คำถามของคุณเป็นจริงเกี่ยวกับการเพิ่มประสิทธิภาพระดับโลก อีกครั้งคำตอบคือไม่ไม่มีสูตรทั่วไปในการปรับเปลี่ยนวิธีการเพื่อรับประกันว่าจะมีการระบุตัวย่อขนาดเล็กทั่วโลก แค่ถามตัวเองว่า: หากอัลกอริทึมคืนค่าและบอกว่าเป็นตัวลดขนาดเล็กระดับโลกคุณจะตรวจสอบว่าเป็นจริงได้อย่างไร

มีคลาสของวิธีการต่าง ๆ ในการเพิ่มประสิทธิภาพระดับโลก บางคนแนะนำการสุ่ม บางคนใช้กลยุทธ์หลายจุดเริ่มต้น บางคนใช้ประโยชน์จากโครงสร้างของปัญหา แต่เป็นกรณีพิเศษ รับหนังสือเกี่ยวกับการเพิ่มประสิทธิภาพทั่วโลก คุณจะสนุกกับมัน

— โดมินิก
แหล่งที่มา

@ Roman: ยินดีมาก

— Dominique

3

อาจไม่มีคำตอบสำหรับคำถามของคุณทุกขนาด แต่คุณอาจต้องการดูอัลกอริทึมการหลอมจำลองหรือวิธีการอื่น ๆ ที่อาศัยวิธีการของมาร์คอฟเชนมอนติคาร์โล (MCMC) สิ่งเหล่านี้สามารถใช้ร่วมกับวิธีการในท้องถิ่นเช่นการไล่ระดับสี

— mrig
แหล่งที่มา

1

มีการอ้างอิงมากมายเกี่ยวกับ "การเพิ่มประสิทธิภาพทั่วโลกของเครือข่ายประสาท" เทคนิคคล้ายกับการจำลองการหลอม [ดูคำตอบอื่น ๆ ] แนวคิดพื้นฐานคือการรีสตาร์ทเครือข่ายการไล่ระดับสีเริ่มต้นที่จุดเริ่มต้นน้ำหนักที่แตกต่างกันจำนวนมากสุ่มตัวอย่างแบบสุ่มหรือเป็นระบบ ผลลัพธ์ของการไล่ระดับสีแต่ละครั้งนั้นก็เหมือนกับ "ตัวอย่าง" ยิ่งมีการสุ่มตัวอย่างมากเท่าไรความน่าจะเป็นที่สูงขึ้นที่หนึ่งในตัวอย่างจะเหมาะสมที่สุดในโลกโดยเฉพาะอย่างยิ่งหากฟังก์ชันเป้าหมายคือ

อ้างอิงออนไลน์

[1] การเพิ่มประสิทธิภาพระดับโลกของตุ้มน้ำหนักโครงข่ายประสาทเทียมโดย Hamm et al

[2] วิธีการเพิ่มประสิทธิภาพระดับโลกในการฝึกอบรมโครงข่ายประสาทเทียม Voglis / Lagaris

[3] การสอบเทียบเครือข่ายประสาทเทียมโดย Pinter การเพิ่มประสิทธิภาพระดับโลก

[4] การเพิ่มประสิทธิภาพทั่วโลกของโครงข่ายประสาทเทียมโดยใช้วิธีไฮบริดแบบกำหนดแน่นอน Beliakov

[5] การเพิ่มประสิทธิภาพระดับโลกสำหรับการฝึกอบรมเครือข่ายประสาทชา / ว

— vzn
แหล่งที่มา

1

โดยทั่วไปมันเป็นการยากที่จะคำนวณเพื่อเพิ่มประสิทธิภาพของฟังก์ชัน nonconvex แบบหลายตัวแปร ความแข็งมีหลายรสชาติ (การเข้ารหัสลับ, NP-hard) วิธีหนึ่งในการเห็นสิ่งนี้คือโมเดลผสม (เช่นส่วนผสมของ Guassians หรือ HMM) นั้นยากที่จะเรียนรู้ แต่จะง่าย (*) ถ้าเป็นไปได้ที่จะเพิ่มโอกาสได้อย่างมีประสิทธิภาพสูงสุด สำหรับผลลัพธ์เกี่ยวกับความแข็งของการเรียนรู้ HMM โปรดดูที่ http://alex.smola.org/journalclub/AbeWar92.pdf http://link.springer.com/chapter/10.1007%2F3-540-45678-3_36 http: // www.math.ru.nl/~terwijn/publications/icgiFinal.pdf

(*) โมดูโลเงื่อนไขปกติของการไม่ยอมรับและการระบุตัวตน

— Aryeh
แหล่งที่มา

0

ฉันต้องไม่เห็นด้วยกับ Dominique มันแสดงให้เห็นโดย hajek ในช่วงกลางทศวรรษที่ 1980 ที่หลอมปัญหา nonconvex ภายใต้เงื่อนไขที่เข้มงวดบางอย่างรับประกันถึงระดับต่ำสุดทั่วโลก: http://dx.doi.org/10.1287/moor.13.2.311

— แอรอนบริค
แหล่งที่มา

2

จากผลของความแข็งที่กล่าวถึงข้างต้นเงื่อนไขเหล่านั้นจะต้องเข้มงวดอย่างแน่นอน!

— Aryeh