การหยุดเกณฑ์สำหรับ Nelder Mead

11

ฉันกำลังพยายามใช้อัลกอริทึม Nelder-Mead สำหรับการปรับฟังก์ชั่นให้เหมาะสม หน้าวิกิพีเดียเกี่ยวกับ Nelder-มธุรสเป็นที่น่าแปลกใจที่ชัดเจนเกี่ยวกับขั้นตอนวิธีการทั้งหมดยกเว้นสำหรับเกณฑ์การหยุดของมัน ที่นั่นมันเศร้าพูดว่า:

ตรวจสอบการบรรจบกัน[ต้องการชี้แจง]

ฉันลองและทดสอบเกณฑ์สองสามข้อด้วยตัวเอง:

หยุดถ้าโดยที่มีขนาดเล็กและที่คือจุดยอด th ของ simplex เรียงลำดับจากต่ำ ( ) ถึงสูง ( ) ค่าฟังก์ชัน กล่าวอีกนัยหนึ่งเมื่อค่าสูงสุดของ simplex เกือบเท่ากับค่าต่ำสุด ฉันพบว่ามันทำงานไม่ถูกต้องเนื่องจากมันไม่รับประกันว่าฟังก์ชั่นจะทำงานอย่างไรภายใน simplex ตัวอย่างพิจารณาฟังก์ชั่น:แน่นอนว่ามันเป็นเรื่องเล็กน้อยที่จะปรับให้เหมาะสม แต่สมมุติว่าเราทำสิ่งนี้ด้วย NM และให้จุดสองจุดคือและ $f(x_{N+1}) - f(x_1) < \epsilon$ $\epsilon$ $x_i$ $i$ $f(x_1)$ $f(x_{N+1})$
$ฉ (x) = x^{2}$ $f(x) = x^2$ $x_1 = -1$ $x_2=1$ . อัลกอริทึมจะมาบรรจบกันที่นี่
ตัวเลือกที่สองเกี่ยวข้องกับการประเมิน centroid ของเริม: หยุดถ้า<\นี่ถือว่าถ้าจุดต่ำสุดของซิมเพล็กซ์และเซนทรอยด์มีค่าใกล้เคียงกันซิมเพล็กซ์มีขนาดเล็กพอที่จะเรียกการบรรจบกัน $|f(x_1) - f(x_c)| < \epsilon$

นี่เป็นวิธีที่เหมาะสมในการตรวจสอบการลู่เข้าหรือไม่ หรือมีวิธีการที่กำหนดขึ้นเพื่อตรวจสอบเรื่องนี้? ฉันไม่พบแหล่งที่มาเกี่ยวกับเรื่องนี้เนื่องจากการค้นหายอดนิยมส่วนใหญ่มุ่งเน้นไปที่ความซับซ้อนของอัลกอริทึม

optimization algorithms

— JAD
แหล่งที่มา

1. ไม่ชัดเจนสำหรับฉันว่าทำไมคุณเปรียบเทียบสิ่งที่เกิดขึ้นที่

กับ

; แน่นอนคุณต้องการที่จะเปรียบเทียบกับสิ่งที่เกิดขึ้นที่

N

2. การตรวจสอบคอนเวอร์เจนซ์เป็นพื้นที่ที่มีความยุ่งยากเป็นพิเศษในการเพิ่มประสิทธิภาพจำนวนมาก คุณต้องการให้ฟังก์ชั่นนั้นไม่เปลี่ยนแปลงมากนัก แต่ถ้าข้อโต้แย้งกำลังเปลี่ยนแปลงอย่างรวดเร็ว (แม้ว่าฟังก์ชั่นนั้นจะเปลี่ยนไปไม่ได้) คุณอาจไม่ได้รวมกันดังนั้นผู้คนมักจะใช้เกณฑ์ที่ดูทั้งสองอย่าง นอกจากนี้ยังมีปัญหาว่าคุณใช้ญาติหรือเกณฑ์แบบสัมบูรณ์ (ไม่เพียงพอ - เช่นการทดสอบแบบสัมพัทธ์เมื่อคุณใกล้ถึง 0 จะไม่ถูกเรียกใช้)

x_{N + 1}

$x_{N+1}$

x_{1}

$x_1$

x_{N}

$x_N$

— Glen_b

3

เกณฑ์การหยุดที่ดีที่สุดสำหรับ Nelder Mead คือก่อนที่คุณจะเริ่ม

— Mark L. Stone

เพียงเพื่อหลีกเลี่ยงความสับสนในการแสดงความคิดเห็นของ @ Glen_b ... ฉันเชื่อว่าตัวห้อยที่นี่อ้างถึงจุดยอดของเริม, ไม่ใช่การวนซ้ำของอัลกอริทึม เพื่อให้เกณฑ์การบรรจบแรกที่เสนอในคำถามนี้เปรียบเทียบค่าฟังก์ชันต่ำสุดและสูงสุดของจุดยอดในพื้นที่พารามิเตอร์

-dimensional ... มันไม่ได้ระบุไว้อย่างชัดเจนในคำถาม แต่คำอธิบายของอัลกอริทึมบนหน้าวิกิพีเดียที่เชื่อมโยง ( และในกระดาษต้นฉบับ) สั่งให้จุดยอด

จากค่าฟังก์ชันต่ำสุดถึงสูงสุด

N

$N$

N + 1

$N+1$

— Nate Pope

@NatePope นั่นคือความตั้งใจของฉันใช่ฉันจะเพิ่มความกระจ่างให้กับคำถาม \

— JAD

6

บัญชีของ "อัลกอริทึมตกต่ำ Simplex" ในสูตรดั้งเดิมของสูตรดั้งเดิมนั้นมีความชัดเจนและเป็นประโยชน์ ฉันจะอ้างอิงส่วนที่เกี่ยวข้องของมัน นี่คือพื้นหลัง:

ในการย่อขนาดหนึ่งมิติเป็นไปได้ที่จะกำหนดขั้นต่ำ ... อนิจจา ไม่มีขั้นตอนแบบอะนาล็อกในพื้นที่หลายมิติ ... สิ่งที่ดีที่สุดที่เราสามารถทำได้คือให้อัลกอริทึมของเราเริ่มต้นเดา นั่นคือ -vector ของตัวแปรอิสระเป็นจุดแรกที่ลอง อัลกอริทึมที่ควรแล้วที่จะทำให้ทางของตัวเองลงเขาผ่านไปไม่ได้ซับซ้อนของภูมิประเทศมิติจนกว่าจะพบข้อ (อย่างน้อยท้องถิ่น) ขั้นต่ำ $N$ $N$

วิธีดาวน์ฮิลล์ซิมเพลกซ์ต้องเริ่มต้นไม่เพียงแค่มีจุดเดียว แต่ด้วยคะแนนซึ่งจะกำหนดเริมต้นเบื้องต้น [คุณสามารถใช้จุดเหล่านี้เป็นจุดเริ่มต้นเริ่มต้นพร้อมกับ] โดยที่คือเวกเตอร์หน่วยและโดยที่เป็นค่าคงที่ซึ่งคุณเดาลักษณะของปัญหา ขนาดความยาว ... $N+1$ $P_0$
$\begin{matrix} (10.4.1) & P_{ผม} = P_{0} + λ {อี}_{ผม} \end{matrix}$ $P_i = P_0 + \lambda e_i\tag{10.4.1}$ $e_i$ $N$ $\lambda$
ขั้นตอนส่วนใหญ่เพียง [เลื่อน] จุดของซิมเพล็กซ์ที่ฟังก์ชั่นใหญ่ที่สุด ("จุดสูงสุด") ผ่านใบหน้าตรงข้ามของเริมไปยังจุดที่ต่ำกว่า ...

ตอนนี้สำหรับปัญหาที่เกิดขึ้นให้ยกเลิกอัลกอริทึม หมายเหตุทั่วไปของบัญชี: ผู้เขียนให้คำแนะนำการใช้งานง่ายและมีประโยชน์สำหรับการยกเลิกใด ๆเพิ่มประสิทธิภาพหลายมิติแล้วแสดงเฉพาะวิธีการที่จะนำไปใช้กับขั้นตอนวิธีการนี้โดยเฉพาะ ย่อหน้าแรกตอบคำถามต่อเรา:

เกณฑ์การสิ้นสุดอาจมีความละเอียดอ่อน ... โดยทั่วไปเราสามารถระบุ "รอบ" หรือ "ขั้นตอน" ของอัลกอริทึมหลายมิติของเรา จากนั้นเป็นไปได้ที่จะยุติเมื่อระยะทางของเวกเตอร์เคลื่อนที่ในขั้นตอนนั้นมีขนาดเล็กกว่าความอดทนTOLเล็กน้อย อีกวิธีหนึ่งเราอาจต้องการให้การลดลงของค่าฟังก์ชันในขั้นตอนการยุติมีขนาดเล็กกว่าความอดทนFTOLเล็กน้อย ...

$N$ $N+1$ $(10.4.1)$ $P_0$

การเริ่มต้นใหม่ไม่ควรแพงมาก อัลกอริทึมของคุณทำมารวมกันเพื่อจุดเริ่มต้นอีกครั้งและตอนนี้คุณเริ่มอัลกอริทึมที่มีอยู่แล้ว

[หน้า 290-292]

$x$ $y$ $T\gt 0$

\begin{matrix} (1) & \frac{| x | - | Y |}{ฉ (x, Y)} = 2 \frac{| x | - | Y |}{| x | + | Y |} < T \end{matrix}

$\frac{|x| - |y|}{f(x,y)} = 2\frac{|x|-|y|}{|x| + |y|} \lt T\tag{1}$

$f(x,y) = (|x|+|y|)/2$

$(1)$

การอ้างอิง

William H. Press และคณะ , สูตรตัวเลข: ศิลปะของวิทยาศาสตร์คอมพิวเตอร์ สำนักพิมพ์มหาวิทยาลัยเคมบริดจ์ (2529) เยี่ยมชมhttp://numerical.recipes/สำหรับฉบับล่าสุด

— whuber
แหล่งที่มา

1

ขอบคุณสำหรับข้อมูลเชิงลึกเกี่ยวกับการเริ่มต้นใหม่ ฉันคิดว่านี่เป็นเพียงการเรียกใช้อัลกอริทึมจากจุดเริ่มต้นที่แตกต่างกัน แต่จริงๆแล้วดูเหมือนจะมีมากกว่านั้น

— JAD

ฉันไม่เคยคิดมาก่อนเกี่ยวกับความหมายที่เป็นไปได้ของ "การเริ่มต้นใหม่" ในบริบทปัจจุบันฉันอาจใช้คำเช่น "การขัด" สำหรับ "การเริ่มใหม่" แต่อาจไม่ถูกต้องเช่นกัน ชนิดของ "เริ่มใหม่" ที่สนับสนุนวิธีการ simplex อาจค่อนข้างพิเศษสำหรับมัน

— whuber

9

ไม่ใช่คำตอบที่สมบูรณ์ แต่ยาวเกินไปสำหรับความคิดเห็นและอาจทำให้คุณถูกทาง

หัวข้อนี้จะได้รับการปฏิบัติอย่างย่อในหน้า 171 ของ "วิธีการคำนวณแบบกะทัดรัดสำหรับคอมพิวเตอร์" 2nd Ed. โดย John C. Nash และเกิดขึ้นกับการอ้างอิงที่อ้างถึงสำหรับรูทีน Nelder-Mead ที่ใช้ในoptim()ฟังก์ชันของ R การอ้างถึงส่วนที่เกี่ยวข้อง:

$เสื้อ อี s เสื้อ = {[(Σ_{ผม = 1}^{n + 1} [S (ข_{ผม}) - \bar{S}]^{2}) / n]}^{1 / 2}$ $\mathrm{test} = \left[ \left( \sum_{i=1}^{n+1}[S(b_i) - \bar{S}]^2 \right) / n \right]^{1/2}$ $\bar{S} = Σ_{ผม = 1}^{n + 1} S (ข_{ผม}) / (n + 1) .$ $\bar{S} = \sum_{i=1}^{n+1} S(b_i)/(n+1).$

$S(.)$ $b$ $n+1$ $n$ $b_H$ $b_L$

$S(b_L)$ $S(b_H)$

ดูที่แหล่งที่มาอย่างรวดเร็วของการoptim()บ่งชี้ว่ามันใช้ความแตกต่างระหว่างค่าฟังก์ชันสูงสุดและต่ำสุด (ของคะแนนที่กำหนด simplex) เพื่อตรวจสอบการบรรจบกัน: if (VH <= VL + convtol || VL <= abstol) break;ที่ไหนVHคือค่าสูงและVLค่าต่ำ สิ่งนี้มาพร้อมกับข้อแม้ที่ฉันได้ดูแหล่งที่มาอย่างรวดเร็วมากและอาจมีบางอย่างขาดหายไป

ตอนนี้ตัวเลือกของคุณ (1) ดูเหมือนจะเป็นแนวทางที่สองที่แนชสนับสนุน เขายังกล่าวถึงปัญหาที่คุณพบ:

$(n+1)$ $(n-1)$ $n$

การอ้างอิงดั้งเดิมที่ Nash อ้างถึงที่นี่คือ:

Nelder JA, Mead R. 1965. วิธี simplex สำหรับการย่อขนาดฟังก์ชัน วารสารคอมพิวเตอร์ 7: 308-313

O'Neill R. 1971 อัลกอริทึม AS 47: การย่อขนาดฟังก์ชันโดยใช้ขั้นตอนง่าย ๆ สถิติประยุกต์ 20: 338-345

— เนทสมเด็จพระสันตะปาปา
แหล่งที่มา

3

ฉ_{นาที} (เสื้อ) \equiv {นาที}_{ทุกมุม} ฉ (X_{ผม}, เสื้อ)

$f_{\text{min}}(t) \equiv \text{min}_{\text{all corners}} \ f(X_i, t)$

# stop when you run out of patience, no improvement for say 10 iterations in a row:
if t > tbest + patience:
    message = "iter %d: f %g >= fbest %g" ...
    return message, fbest, xbest

$n+1$

ปัญหา: ภูมิประเทศขรุขระอาจมีข้อ จำกัด ที่ไม่ดีหรือไร้สาระ
อัลกอริธึมปรับสมดุลการสำรวจและเคลื่อนย้าย (และความซับซ้อนของซอฟต์แวร์)
กฎการหยุดที่เหมาะสม

ยังคงที่จะเห็น - กรณีทดสอบจริงยินดีต้อนรับ

( Stopiterชั้นเรียนจริงมีเงื่อนไขหยุดหลายอย่างนอกจากนี้เวลาที่patienceง่ายที่สุดคือเวลานาฬิกาแขวน)

ดูเพิ่มเติมที่:
NLopt : อัลกอริทึมมากมายรวมถึง Nelder-Mead ง่ายต่อการเปรียบเทียบ ดูบันทึกย่อโดยเฉพาะอย่างยิ่งในการ เปรียบเทียบอัลกอริธึม
ดาวน์ฮิลล์ : ความอดทนหยุดด้วยmin_improvement

— เดนิส
แหล่งที่มา