ทำความเข้าใจกับต้นทุนของวิธีการ adjoint สำหรับการเพิ่มประสิทธิภาพ pde-constrained

ฉันพยายามที่จะเข้าใจว่าวิธีการปรับให้เหมาะสมแบบ adjoint นั้นทำงานอย่างไรสำหรับการปรับให้เหมาะสมแบบ จำกัด PDE โดยเฉพาะฉันพยายามเข้าใจว่าทำไมวิธีการ adjoint มีประสิทธิภาพมากขึ้นสำหรับปัญหาที่จำนวนตัวแปรการออกแบบมีขนาดใหญ่ แต่ "จำนวนสมการมีขนาดเล็ก"

สิ่งที่ฉันเข้าใจ:

พิจารณาปัญหาการปรับให้เหมาะสมแบบ จำกัด PDE ต่อไปนี้:

min_{β} I (β, u (β)) s . t . R (u (β)) = 0

$\min_\beta \text{ } I(\beta,u(\beta))\\ s.t. R(u(\beta))=0$

ที่เป็น (ต่อเนื่องเพียงพอ) ฟังก์ชันวัตถุประสงค์ของเวกเตอร์ตัวแปรการออกแบบและเวกเตอร์ของราชวงศ์ตัวแปรสนามซึ่งขึ้นอยู่กับตัวแปรการออกแบบและเป็นรูปแบบการตกค้างของ PDE $I$ $\beta$ $u(\beta)$ $R(u)$

เห็นได้ชัดว่าเราสามารถผันแปรแรกของ I และ R

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u$

δ R = \frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u = 0

$\delta R = \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u = 0$

ขอแนะนำเวกเตอร์ของตัวคูณลากรองจ์การแปรผันของฟังก์ชันวัตถุประสงค์สามารถเขียนได้ $\lambda$

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u + λ^{T} [\frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u]

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u + \lambda^T\left[ \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u\right]$

จัดเรียงเงื่อนไขใหม่เราสามารถเขียน:

δ I = [\frac{\partial I}{\partial β} + λ^{T} \frac{\partial R}{\partial β}] δ β + [\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u}] δ u

$\delta I = \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta\beta + \left[\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}\right]\delta u$

ดังนั้นหากเราสามารถที่จะแก้ปัญหาสำหรับดังกล่าวว่า $\lambda$

\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u} = 0 (adjoint equation)

$\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}=0 \text{ (adjoint equation)}$

จากนั้นการไล่ระดับสีคือการประเมินเพียง แต่ในแง่ของการออกแบบตัวแปรβ $\delta I= \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta \beta$ $\beta$

ดังนั้นอัลกอริธึมการปรับให้เหมาะสมแบบ adjoint จะวนซ้ำตามขั้นตอนต่อไปนี้:

รับตัวแปรการออกแบบปัจจุบัน $\beta$
หาค่าตัวแปรฟิลด์ (จาก PDE) $u$
หาค่าตัวคูณแบบลากรองจ์ (จากสมการ adjoint) $\lambda$
คำนวณการไล่ระดับสี $\frac{\partial I}{\partial \beta}$
ปรับปรุงตัวแปรการออกแบบ $\beta$

คำถามของฉัน

adjoint 'หลอกลวง' นี้ปรับปรุงต้นทุนของการปรับให้เหมาะสมต่อการทำซ้ำในกรณีที่จำนวนของตัวแปรการออกแบบมีขนาดใหญ่ได้อย่างไร ฉันได้ยินมาว่าค่าใช้จ่ายในการประเมินผลการไล่ระดับสีสำหรับวิธี adjoint นั้น 'อิสระ' ของจำนวนตัวแปรการออกแบบ แต่สิ่งนี้เป็นความจริงแค่ไหน?

ฉันแน่ใจว่ามีสิ่งที่ชัดเจนมากที่ฉันมองอย่างใด

optimization pde

— พอล
แหล่งที่มา

min_{u, β} max_{λ} I (u, β) + λ^{T} R (u, β)

$\min_{u,\beta}\max_\lambda I(u,\beta) + \lambda^T R(u,\beta)$

u

$u$

u

$u$

R (u, β) = 0

$R(u,\beta)=0$

β

$\beta$ ให้ผลการไล่ระดับสี หากคุณเริ่มต้นด้วยการกำหนดสูตรที่ไม่รัดกุมของ PDE สิ่งต่างๆจะดูเรียบง่ายยิ่งขึ้นเพียงใส่ตัวคูณ Lagrange แทนฟังก์ชั่นการทดสอบ ไม่จำเป็นต้องมีรูปแบบที่แข็งแกร่งหรือการรวมบางส่วนได้ทุกที่

— Christian Clason

ส่วนที่แพงที่สุดของการจำลองคือช่วงการแก้ปัญหา โดยใช้ adjoint คุณจะได้รับการไล่ระดับสีในสองตัวแก้ถูกกว่ามากเมื่อเทียบกับความแตกต่างแน่นอนที่คุณต้องการอย่างน้อย n + 1 ตัวแก้และ n เป็นจำนวนของพารามิเตอร์ฟรีในแบบจำลองของคุณ

— stali

คำตอบ:

adjoint 'หลอกลวง' นี้ปรับปรุงต้นทุนของการปรับให้เหมาะสมต่อการทำซ้ำในกรณีที่จำนวนของตัวแปรการออกแบบมีขนาดใหญ่ได้อย่างไร

ฉันคิดถึงต้นทุนจากมุมมองพีชคณิตเชิงเส้น (ดูหมายเหตุเหล่านี้โดย Stephen G. Johnsonซึ่งฉันพบว่าใช้งานง่ายกว่าวิธีการคูณแบบลากรองจ์) วิธีการไปข้างหน้ามีจำนวนการแก้สำหรับความไวโดยตรง:

\begin{aligned} \frac{\partial u}{\partial β} = - {(\frac{\partial R}{\partial u})}^{- 1} \frac{\partial R}{\partial β} \end{aligned}

$\begin{align} \frac{\partial{u}}{\partial{\beta}} = -\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}} \end{align}$

$\beta$

\begin{aligned} \frac{d I}{d β} = \frac{\partial I}{\partial β} + \frac{\partial I}{\partial u} \frac{\partial u}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} + \frac{\partial{I}}{\partial{u}}\frac{\partial{u}}{\partial{\beta}}, \end{align}$

$\mathrm{d}$ $\partial$

วิธีการ adjoint บันทึกว่า

\begin{aligned} \frac{d I}{d β} = \frac{\partial I}{\partial β} - \frac{\partial I}{\partial u} {(\frac{\partial R}{\partial u})}^{- 1} \frac{\partial R}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} - \frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}}, \end{align}$

$\lambda$

\begin{aligned} - \frac{\partial I}{\partial u} {(\frac{\partial R}{\partial u})}^{- 1} = λ^{T}, \end{aligned}

$\begin{align} -\frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1} = \lambda^{T}, \end{align}$

ซึ่งสอดคล้องกับสมการ adjoint

\begin{aligned} \frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u} = 0. \end{aligned}

$\begin{align} \frac{\partial{I}}{\partial{u}} + \lambda^{T}\frac{\partial{R}}{\partial{u}} = 0. \end{align}$

การจัดกลุ่มคำใหม่ต้องใช้การแก้ปัญหาเชิงเส้นเดียวแทนที่จะเป็นการแก้ปัญหาเชิงเส้นสำหรับแต่ละพารามิเตอร์ซึ่งทำให้การประเมิน adjoint ถูกสำหรับกรณีพารามิเตอร์จำนวนมาก

ฉันได้ยินมาว่าค่าใช้จ่ายในการประเมินผลการไล่ระดับสีสำหรับวิธี adjoint นั้น 'อิสระ' ของจำนวนตัวแปรการออกแบบ แต่สิ่งนี้เป็นความจริงแค่ไหน?

$(\partial{I}/\partial{\beta})$ $(\partial{R}/\partial{\beta})$ $u$

— Geoff Oxberry
แหล่งที่มา

$I(\beta,u(\beta))$ $u(\beta)$ $\beta$ $I(\beta,u(\beta))$

min_{y, u} J (y, u) subject to e (y, u) = 0

$\min_{y,u} J(y,u) \quad\text{subject to}\quad e(y,u)=0$

u

$u$

y

$y$

J

$J$

e (y, u)

$e(y,u)$

e (y, u) = 0

$e(y,u)=0$

y (u)

$y(u)$

u

$u$

y^{'} (u)

$y'(u)$

\begin{matrix} (1) & e_{y} (y (u), u) y^{'} (u) + e_{u} (y (u), u) = 0 \end{matrix}

$e_y(y(u),u)y'(u) + e_u(y(u),u) = 0\tag{1}$

e_{y}

$e_y$

e_{u}

$e_u$

$j(u):=J(y(u),u)$ $J(y,u)$ $\nabla j(u)$ $h$

\begin{matrix} (2) & j^{'} (u; h) = ⟨ J_{y} (y (u), u), y^{'} (u) h ⟩ + ⟨ J_{u} (y (u), u), h ⟩ . \end{matrix}

$j'(u;h) = \langle J_y(y(u),u),y'(u)h \rangle + \langle J_u(y(u),u),h\rangle.\tag{2}$

J

$J$

y^{'} (u) h

$y'(u)h$

h

$h$

(1)

$(1)$

h

$h$

y^{'} (u) h

$y'(u)h$

\begin{matrix} (3) & [y^{'} (u) h] = e_{y} (y (u), u)^{- 1} [e_{u} (y (u), u) h] \end{matrix}

$[y'(u)h] = e_y(y(u),u)^{-1} [e_u(y(u),u)h]\tag{3}$

(2)

$(2)$

h

$h$

$\nabla j$

j^{'} (u; h) = ⟨ \nabla j, h ⟩ for all h,

$j'(u;h) = \langle \nabla j,h\rangle\qquad \text{for all }h,$

(1)

$(1)$

⟨ J_{y} (y (u), u), y^{'} (u) h ⟩ = ⟨ y^{'} (u)^{*} J_{y} (y (u), u), h ⟩

$\langle J_y(y(u),u),y'(u)h \rangle = \langle y'(u)^*J_y(y(u),u),h \rangle$

y^{'} (u)^{*}

$y'(u)^*$

y^{'} (u)^{*} j_{y} (y (u), u)

$y'(u)^*j_y(y(u),u)$

(A B)^{*} = B^{*} A^{*}

$(AB)^* = B^* A^*$

(3)

$(3)$

λ := e_{y} (y (u), u)^{- *} J_{y} (y (u), u)

$\lambda:= e_y(y(u),u)^{-*}J_y(y(u),u)$

\nabla j (u) = e_{u} (y (u), u)^{*} λ + J_{u} (y (u), u) .

$\nabla j(u) = e_u(y(u),u)^*\lambda +J_u(y(u),u).$

J_{y} (y (u), u)

$J_y(y(u),u)$

λ

$\lambda$

u

$u$

— คริสเตียนโคลสัน
แหล่งที่มา