ความสับสนเกี่ยวกับกฎของ Armijo

ฉันมีความสับสนเกี่ยวกับกฎ Armijo ที่ใช้ในการค้นหาบรรทัด ฉันอ่านการติดตามการค้นหาย้อนหลัง แต่ไม่เข้าใจว่ากฎ Armijo นี้เกี่ยวกับอะไร ทุกคนสามารถอธิบายได้ว่ากฎของ Armijo คืออะไร? วิกิพีเดียดูเหมือนจะอธิบายไม่ดี ขอบคุณ

optimization

— user34790
แหล่งที่มา

เกิดอะไรขึ้นถ้าในสมการตัวแปร x ไม่ใช่เวกเตอร์ แต่เป็นเมทริกซ์? กฎ Armijo ควรได้รับการอัพเดตอย่างไร?

— Frank Puk

ไม่มีอะไรเปลี่ยนแปลง คุณก็ควรจะปรับรูปร่างของคุณ -matrix เป็น (คอลัมน์) เวกเตอร์x_k

X_{k}

$X_k$

x_{k}

$x_k$

— GoHokies

นั่นคือสิ่งที่ฉันติดอยู่ เมื่อ

กลายเป็นเมทริกซ์ค่าทางด้านซ้ายมือ (

) ยังคงเป็นสเกลาร์ แต่คุ้มค่าในด้านขวามือคือไม่ได้ - แทนมันเป็นเมทริกซ์ (

เป็นสเกลาร์และ

เป็นเมทริกซ์.)

x_{k}

$x_k$

f (x_{k} + α p_{k})

$f(x_k+\alpha p_k)$

f (x_{k})

$f(x_k)$

β α \nabla f (x_{k})^{T} p_{k}

$\beta\alpha∇f(x_k)^Tp_k$

— แฟรงก์ปึก

คุณจะต้องทำงานกับเวกเตอร์ไม่ใช่เมทริกซ์ เพื่อให้คุณปรับรูปร่างของคุณ

เมทริกซ์ของตัวแปรในการควบคุม (ผมเคยเขียนแทนได้โดย

) เป็นเวกเตอร์

กับ

องค์ประกอบ ทิศทางการค้นหาและการไล่ระดับสีจะเป็นเวกเตอร์ที่มีองค์ประกอบ

วิธีนี้ทั้ง RHS และ LHS ของเงื่อนไข Armijo เป็น scalars และสามารถเปรียบเทียบได้

N \times N

$N \times N$

X_{k}

$X_k$

x_{k}

$x_k$

N^{2}

$N^2$

N^{2}

$N^2$

— GoHokies

คำตอบ:

เมื่อคุณได้รับทิศทางโคตรสำหรับฟังก์ชันวัตถุประสงค์คุณคุณจะต้องเลือกความยาวของขั้นตอน "ดี" คุณไม่ต้องการทำขั้นตอนที่ใหญ่เกินไปจนฟังก์ชันที่จุดใหม่ของคุณใหญ่กว่าจุดปัจจุบันของคุณ ในเวลาเดียวกันคุณไม่ต้องการทำให้ขั้นตอนเล็กเกินไปจนต้องใช้เวลานานในการรวมเข้าด้วยกัน $p$ $f(x)$

โดยทั่วไปสภาพของ Armijo แสดงให้เห็นว่าความยาวก้าวที่ "ดี" เป็นเช่นนั้นซึ่งคุณมี "การลดลงที่เพียงพอ" ในที่จุดใหม่ เงื่อนไขที่ระบุไว้ในทางคณิตศาสตร์เป็นที่เป็นทิศทางเชื้อสายที่และ . $f$

f (x_{k} + α p_{k}) \leq f (x_{k}) + β α \nabla f (x_{k})^{T} p_{k}

$f(x_k+\alpha p_k)\leq f(x_k)+\beta\alpha\nabla f(x_k)^Tp_k$

p_{k}

$p_k$

x_{k}

$x_k$

β \in (0, 1)

$\beta\in(0,1)$

สัญชาตญาณที่อยู่เบื้องหลังนี้คือค่าฟังก์ชั่นที่จุดใหม่ควรอยู่ภายใต้ลดลง "เส้นสัมผัส" ที่ในทิศทางของ kดูหนังสือของ Nocedal & Wright "การเพิ่มประสิทธิภาพเชิงตัวเลข" ในบทที่ 3 มีคำอธิบายแบบกราฟิกที่ยอดเยี่ยมเกี่ยวกับเงื่อนไขการลดที่เพียงพอของ armijo $f(x_k+\alpha p_k)$ $x_k$ $p_k$

— พอล
แหล่งที่มา

β

$\beta$

α

$\alpha$

เหตุผลที่สำคัญคือทำไมขั้นตอน "ดี" จึงมีความจำเป็นคือแผนการเพิ่มประสิทธิภาพจำนวนมากจะมาบรรจบกันช้ากว่าที่เปาโลกล่าวหรืออาจไม่เข้าหากันเลย ดังนั้นการค้นหาสาย - ซึ่งมีหลายสายพันธุ์ Armijo จึงเป็นที่นิยมที่สุด - สามารถใช้เพื่อให้อัลกอริธึมมีคุณสมบัติการลู่เข้าที่แข็งแกร่งยิ่งขึ้น

— cjordan1

Paul: คำอธิบายของคุณไม่สมบูรณ์ ความไม่เท่าเทียมนี้เพียงอย่างเดียวไม่รับประกันการลดลง 'เพียงพอ' ในความเป็นจริงคุณสามารถมีอัลฟา = 0 และยังคงตอบสนองความไม่เท่าเทียมกันที่คุณเขียน คุณลักษณะที่สำคัญคือกฎ Armijo คือการ จำกัด ขนาดขั้นตอนให้ห่างจากศูนย์ซึ่งดำเนินการโดยความไม่เท่าเทียมอื่น: f (gamma * x_new) -f (x_old)> beta * (gamma * x_new-x_old) ^ T * grad (f (x_old))

f (x) = x^{2}

$f(x) = x^2$

x_{k} = - 1

$x_k = -1$

p_{k} = - 2

$p_k = -2$

α

$\alpha$

f (x_{k} + α p_{k})

$f(x_k + \alpha p_k)$

α = 1 / 2

$\alpha = 1/2$

β > 1 / 2

$\beta > 1/2$

f (x_{k} + 1 / 2 p_{k}) = 0 > 1 - 2 β = f (x_{k}) + β α f^{'} (x_{k}) p_{k}

$f(x_k + 1/2 p_k) = 0 > 1 - 2 \beta = f(x_k) + \beta \alpha f'(x_k) p_k$

β

$\beta$

β > 1 / 2

$\beta > 1/2$

β = 10^{- 4}

$\beta = 10^{-4}$

β

$\beta$

ห้าปีต่อมาคำถามนี้ยังใช้ได้อยู่

ที่นี่ (หน้า 16 และ 17) คุณสามารถค้นหาคำอธิบายที่ดีรวมถึงอัลกอริทึม

— Bojan Hrnkas
แหล่งที่มา