โคตรลาดและโคตรลาดคอนจูเกต

สำหรับโครงการฉันต้องใช้สองวิธีนี้และเปรียบเทียบวิธีที่พวกเขาทำงานกับฟังก์ชั่นที่แตกต่างกัน

ดูเหมือนว่าวิธีการไล่ระดับสีแบบคอนจูเกตนั้นหมายถึงการแก้ระบบสมการเชิงเส้นของ

$$A\mathbf{x} = \mathbf{b}$$

โดยที่$A$คือเมทริกซ์แบบ n - by - n ที่สมมาตร, บวกแน่นอนและเป็นจริง

ในทางกลับกันเมื่อฉันอ่านเกี่ยวกับการไล่ระดับสีฉันเห็นตัวอย่างของฟังก์ชัน Rosenbrockซึ่งก็คือ

$$f(x_1,x_2) = (1-x_1)^2+100(x_2-x_1^2)^2$$

อย่างที่ฉันเห็นฉันไม่สามารถแก้ปัญหานี้ด้วยวิธีการไล่ระดับสีแบบคอนจูเกต หรือฉันจะพลาดบางสิ่งบางอย่าง?

เชื้อสาย Gradiant และวิธีการไล่ระดับสีแบบคอนจูเกตเป็นทั้งอัลกอริทึมสำหรับการลดฟังก์ชั่นที่ไม่เป็นเชิงเส้นนั่นคือฟังก์ชันเช่นฟังก์ชัน Rosenbrock

$f(x_1,x_2) = (1-x_1)^2 + 100(x_2 - x_1^2)^2$

หรือฟังก์ชันกำลังสองหลายตัวแปร (ในกรณีนี้ที่มีคำกำลังสองสมมาตร)

$f(x) = \frac{1}{2} x^T A^T A x - b^T A x.$

อัลกอริธึมทั้งสองยังซ้ำและค้นหาตามทิศทาง สำหรับส่วนที่เหลือของโพสต์นี้และdจะเป็นเวกเตอร์ของความยาวn ; f ( x )และαเป็นสเกลาร์และตัวยกแสดงถึงดัชนีการวนซ้ำ เชื้อสายการไล่ระดับสีและวิธีการไล่ระดับสีแบบคอนจูเกตสามารถใช้เพื่อค้นหาค่าx ∗ที่แก้$x$$d$$n$$f(x)$$\alpha$$x^*$

$\min f(x)$

ทั้งสองวิธีเริ่มต้นจากการเดาเริ่มต้นแล้วคำนวณการวนซ้ำถัดไปโดยใช้ฟังก์ชั่นของแบบฟอร์ม$x^0$

$x^{i+1} = x^i + \alpha^i d^i.$

ในคำที่คุ้มค่าต่อไปของถูกพบโดยเริ่มต้นที่ตำแหน่งปัจจุบันและไปในทิศทางค้นหาสำหรับบางระยะฉัน ในทั้งสองวิธีระยะทางที่จะย้ายอาจพบได้โดยการค้นหาบรรทัด (ย่อมากกว่า ) อาจใช้เกณฑ์อื่น ๆ ด้วย ที่ทั้งสองวิธีการที่แตกต่างกันอยู่ในทางเลือกของฉัน สำหรับวิธีการไล่ระดับสีi) สำหรับวิธีการไล่ระดับสีแบบคอนจูเกตกระบวนการ Grahm-Schmidt ใช้ในการจัดมุมเวกเตอร์เกรน โดยเฉพาะแต่แล้วจะเท่ากันx i d ฉันα i f ( x i + α i d i ) α i d i d i = - ∇ f ( x i ) d 0 = - ∇ f ( x 0 ) d 1 - ∇ f ( x 1 ) d 0 ( d 1 ) T d 0 = $x$$x^i$$d^i$$\alpha^i$$f(x^i + \alpha^i d^i)$$\alpha_i$$d^i$$d^i = -\nabla f(x^i)$$d^0 = -\nabla f(x^0)$$d^1$$-\nabla f(x^1)$ลบฉายของเวกเตอร์ที่เข้าสู่เช่นว่า0 เวกเตอร์การไล่ระดับสีที่ตามมาแต่ละครั้งจะถูกจัดฉากกับมุมก่อนหน้าทั้งหมดซึ่งนำไปสู่คุณสมบัติที่ดีมากสำหรับฟังก์ชันกำลังสองข้างต้น$d^0$$(d^1)^Td^0 = 0$

ดังกล่าวข้างต้นฟังก์ชันกำลังสอง (และสูตรที่เกี่ยวข้อง) ยังเป็นที่ที่การอภิปรายของการแก้โดยใช้วิธีการไล่ระดับสีผันมาจากตั้งแต่ขั้นต่ำว่าจะประสบความสำเร็จที่จุดที่bf ( x ) x A x = $Ax = b$$f(x)$$x$$Ax = b$

ในบริบทนี้ทั้งสองวิธีสามารถถูกมองว่าเป็นปัญหาการย่อขนาดของฟังก์ชัน: เมื่อสมมาตรแล้วจะลดลงเมื่อ{ข}AϕAx=

$$\phi(\boldsymbol{x}) = \frac{1}{2}\boldsymbol{x}^T\boldsymbol{A}\boldsymbol{x} - \boldsymbol{x}^T\boldsymbol{b}$$ $\boldsymbol{A}$$\phi$$\boldsymbol{A}\boldsymbol{x} = \boldsymbol{b}$

การไล่ระดับสีแบบไล่ระดับเป็นวิธีการที่ใช้ในการค้นหา minimizer แบบวนซ้ำโดยดูในทิศทางการไล่ระดับสี Conjugate gradient นั้นคล้ายกัน แต่ทิศทางการค้นหานั้นจำเป็นต้องตั้งฉากซึ่งกันและกันในแง่ที่ .$\boldsymbol{p}_i^T\boldsymbol{A}\boldsymbol{p_j} = 0 \; \; \forall i,j$