การทดสอบวิธีการเพิ่มประสิทธิภาพเชิงตัวเลข: Rosenbrock กับฟังก์ชั่นการทดสอบจริง

15

ดูเหมือนว่าจะมีฟังก์ชั่นทดสอบหลักสองประเภทสำหรับเครื่องมือเพิ่มประสิทธิภาพที่ไม่มีอนุพันธ์:

เรือเดินสมุทรหนึ่งเส้นเหมือน ฟังก์ชัน Rosenbrock ff. พร้อมจุดเริ่มต้น
ชุดของจุดข้อมูลจริงด้วยตัวแทรก

เป็นไปได้ไหมที่จะเปรียบเทียบว่า 10d Rosenbrock กับปัญหา 10d จริง ๆ
สามารถเปรียบเทียบได้หลายวิธี: อธิบายโครงสร้างของ minima ท้องถิ่น
หรือเรียกใช้ตัวเพิ่มประสิทธิภาพ ABC ใน Rosenbrock และปัญหาจริงบางอย่าง
แต่ทั้งคู่ดูยาก

(บางทีนักทฤษฎีและนักทดลองเป็นเพียงสองวัฒนธรรมที่แตกต่างกันมากดังนั้นฉันจะขอความฝัน?)

ดูสิ่งนี้ด้วย:

คำถาม scicomp.SE: ใครจะได้รับชุดข้อมูล / ปัญหาการทดสอบที่ดีสำหรับการทดสอบอัลกอริทึม / กิจวัตร?
เชื่องช้า "การทดสอบการวิเคราะห์: เรามีทุกอย่างผิด"เป็นการดูหมิ่น: "การเน้นไปที่การแข่งขัน ... บอกเราว่าอัลกอริธึมดีกว่า แต่ไม่ใช่ทำไม"

(เพิ่มในเดือนกันยายน 2014):
พล็อตด้านล่างเปรียบเทียบอัลกอริทึม DFO 3 รายการในฟังก์ชันทดสอบ 14 รายการใน 8d จาก 10 จุดเริ่มต้นแบบสุ่ม: BOBYQA PRAXIS SBPLX จากNLOpt

14 N มิติทดสอบฟังก์ชั่น Python ภายใต้gist.github จากMatlabนี้โดย A. Hedar

10 เครื่องแบบจุดเริ่มต้นแบบสุ่มในกล่องขอบเขตของแต่ละฟังก์ชัน

\times

$\times$

\times

$\times$

ตัวอย่างเช่นบน Ackley แถวบนสุดแสดงว่า SBPLX นั้นดีที่สุดและ PRAXIS นั้นแย่มาก บน Schwefel แผงด้านล่างขวาแสดง SBPLX ค้นหาขั้นต่ำในจุดเริ่มต้นที่ 5 แบบสุ่ม

โดยรวมแล้ว BOBYQA นั้นดีที่สุดในวันที่ 1, PRAXIS เมื่อวันที่ 5 และ SBPLX (~ Nelder-Mead พร้อมการรีสตาร์ท) จากการทดสอบฟังก์ชั่น 7 จาก 13 โดย Powersum a tossup YMMV! โดยเฉพาะอย่างยิ่งจอห์นสันกล่าวว่า "ฉันขอแนะนำให้คุณอย่าใช้ฟังก์ชั่น - ค่า (ftol) หรือความคลาดเคลื่อนของพารามิเตอร์ (xtol) ในการปรับให้เหมาะสมทั่วโลก"

สรุป: อย่าเอาเงินทั้งหมดของคุณใส่ม้าตัวเดียวหรือทดสอบฟังก์ชั่นเดียว

ป้อนคำอธิบายรูปภาพที่นี่

optimization data-sets

— เดนิส
แหล่งที่มา

13

ฟังก์ชั่นง่าย ๆ เช่น Rosenbrock ใช้ในการดีบักและทดสอบอัลกอริธึมที่เพิ่งเขียนใหม่: พวกมันใช้งานได้อย่างรวดเร็วและดำเนินการและวิธีการที่ไม่สามารถแก้ไขปัญหามาตรฐานได้นั้นไม่น่าจะทำงานได้ดีกับปัญหาในชีวิตจริง

สำหรับการเปรียบเทียบอย่างละเอียดล่าสุดของวิธีการอนุพันธ์ฟรีสำหรับฟังก์ชั่นที่มีราคาแพงดูการเพิ่มประสิทธิภาพอนุพันธ์ฟรี: ความคิดเห็นของอัลกอริทึมและการเปรียบเทียบของการใช้งานซอฟแวร์ LM Rios, NV Sahinidis - doi 10.1007 / s10898-012-9951-y วารสารการปรับให้เหมาะสมระดับโลก, 2012 (ดูเพิ่มเติมที่เว็บเพจประกอบ: http://archimedes.cheme.cmu.edu/?q=dfocomp )

— อาร์โนลด์ Neumaier
แหล่งที่มา

ศ. Neumaier คุณช่วยชี้ให้เห็นถึงปัญหาที่แท้จริงหลักฐานบางประการสำหรับ "วิธีการที่ไม่สามารถแก้ปัญหามาตรฐานได้ดีไม่น่าจะทำงานได้ดีกับปัญหาชีวิตจริง" ฉันรู้ว่านั่นไม่ใช่เรื่องง่าย (ฉันสนใจในความคิดเห็นของคุณเกี่ยวกับ Hooker) นอกจากนี้การดูอย่างรวดเร็วเกี่ยวกับโมเดล c จากลิงก์ของคุณแสดงให้เห็นว่า princetonlibgloballib ต้องใช้ AMPL และ source_convexmodels * .c ทุกอย่างหายไป ";" หลังจาก fscanf () - เล็กน้อย แต่

— ปฏิเสธ

@Denis: ปัญหาเช่น Rosenbrock เกิดจากวันแรกของการเพิ่มประสิทธิภาพอัตโนมัติที่ผู้คนแยกปัญหาทั่วไปในตัวอย่างตัวแทนง่าย ๆ ที่สามารถศึกษาได้โดยไม่ต้องซับซ้อนตัวเลขของปัญหาในชีวิตจริง ดังนั้นพวกเขาจึงไม่ได้ประดิษฐ์ขึ้นมาจริงๆ ตัวอย่างเช่น Rosenbrock แสดงให้เห็นถึงผลรวมของความไม่เชิงเส้นที่แข็งแกร่งและสภาพที่ไม่รุนแรง

— อาร์โนลด์ Neumaier

เว็บไซต์ AMPL AMP.comเสนอรุ่นนักเรียนฟรีสำหรับ AMPL

— อาร์โนลด์ Neumaier

7

ข้อดีของการทดสอบแบบสังเคราะห์เช่นฟังก์ชั่น Rosenbrock คือมีวรรณกรรมที่มีอยู่เพื่อเปรียบเทียบและมีความรู้สึกในชุมชนว่าวิธีการที่ดีในการทำงานกับแบบทดสอบเหล่านั้น หากทุกคนใช้ตู้ทดสอบของตัวเองมันจะยากกว่าที่จะได้รับฉันทามติซึ่งวิธีการทำงานและที่ไม่ได้

— Wolfgang Bangerth
แหล่งที่มา

1

(ฉันหวังว่าจะไม่มีการคัดค้านการแก้ไขของฉันในตอนท้ายของการสนทนานี้ฉันใหม่ที่นี่ดังนั้นโปรดแจ้งให้เราทราบหากฉันมีการละเมิด!)

ฟังก์ชั่นการทดสอบสำหรับอัลกอริธึมวิวัฒนาการตอนนี้ซับซ้อนกว่าพวกเขามากถึง 2 หรือ 3 ปีก่อนซึ่งห้องสวีทที่ใช้ในการแข่งขันในการประชุมเช่นล่าสุด (ล่าสุด) 2015 การประชุมเกี่ยวกับวิวัฒนาการการคำนวณ ดู:

http://www.cec2015.org/

ชุดทดสอบเหล่านี้มีฟังก์ชั่นที่มีการโต้ตอบแบบไม่เชิงเส้นระหว่างตัวแปรหลายอย่าง จำนวนตัวแปรอาจมีขนาดใหญ่ถึง 1,000 และฉันเดาว่าอาจเพิ่มขึ้นในอนาคตอันใกล้

อีกนวัตกรรมล่าสุดคือ "การแข่งขันการเพิ่มประสิทธิภาพกล่องดำ" ดู: http://bbcomp.ini.rub.de/

อัลกอริทึมสามารถสืบค้นค่า f (x) สำหรับจุด x แต่ไม่ได้รับข้อมูลการไล่ระดับสีและโดยเฉพาะอย่างยิ่งมันไม่สามารถทำการตั้งสมมติฐานใด ๆ ในรูปแบบการวิเคราะห์ของฟังก์ชันวัตถุประสงค์

ในแง่หนึ่งสิ่งนี้อาจใกล้เคียงกับสิ่งที่คุณอ้างถึงว่าเป็น "ปัญหาจริง" แต่ในสภาพแวดล้อมที่มีการจัดระเบียบและมีวัตถุประสงค์

— Lysistrata
แหล่งที่มา

1) "ไม่คัดค้าน": ในทางตรงกันข้ามลิงค์ที่ดีของคุณยินดีต้อนรับ! 2) แปลงไหนดี? วิธีการและปัญหาต่าง ๆ เป็นทั้งการทำให้เป็นเศษส่วนดังนั้นทุกคนจึงพบว่าปัญหาของพวกเขายากขึ้นเรื่อย ๆ โดยเฉพาะอย่างยิ่งคุณจะรู้วิธีการพยากรณ์อนุกรมเวลาหรือไม่

— เดนิส

ฟังก์ชั่นวัตถุประสงค์สำหรับการแข่งขัน CEC 2015 เกี่ยวกับการปรับให้เหมาะสมหลายวัตถุประสงค์แบบไดนามิกสามารถดูได้ที่: sites.google.com/site/cec2015dmoocomp/competition-process/… สำหรับการแข่งขันอื่น ๆ ไปที่cec2015.orgและคลิกที่การแข่งขันจากนั้นคลิก ในการแข่งขันที่ยอมรับ แต่ละคนมีหน้าที่ของตัวเอง เอกสารในบางเล่มมีแผนการที่น่ารัก (สำหรับกรณี 2D) การแข่งขันการประชุม GECCO สามารถดูได้ที่: sigevo.org/gecco-2015/competitions.html#bbc ผลการแข่งขันจะมีให้หลังจากวันที่ 15 กรกฎาคม

— Lysistrata

0

คุณสามารถมีสิ่งที่ดีที่สุดของทั้งสองโลก NIST มีชุดของปัญหาสำหรับตัวย่อขนาดเล็กเช่นการใส่พหุนามระดับ 10นี้เข้ากับผลลัพธ์และความไม่แน่นอนที่คาดหวัง แน่นอนการพิสูจน์ว่าค่าเหล่านี้เป็นทางออกที่ดีที่สุดจริงหรือการดำรงอยู่และคุณสมบัติของ minima ท้องถิ่นอื่น ๆ ยากกว่าการแสดงออกทางคณิตศาสตร์ที่ควบคุม

— Davidmh
แหล่งที่มา

ปัญหา NIST นั้นเล็กมาก (2 3 1 1 11 7 6 6 6 6 6 params) มีชุดทดสอบที่เป็นทั้ง "ของจริง" และ จำลองได้สำหรับมุมใด ๆ ของ "ของจริง" หรือไม่? cf เลย ขอปัญหาการเพิ่มประสิทธิภาพการจำลอง-based

— เดนิส