การแก้สมการแฮมิลตัน - จาโคบี - เบลล์แมน; จำเป็นและเพียงพอสำหรับการมองโลกในแง่ดี?

พิจารณาสมการเชิงอนุพันธ์ดังต่อไปนี้ โดยที่ คือสถานะและเป็นตัวแปรควบคุม โซลูชันได้รับจาก โดยที่เป็นสถานะ inital ที่กำหนด

\begin{aligned} \dot{x} (t) = f (x (t), u (t)) \end{aligned}

$\begin{align} \dot x(t)=f(x(t),u(t)) \end{align}$

x

$x$

u

$u$

\begin{aligned} x (t) = x_{0} + \int_{0}^{t} f (x (s), u (s)) d s . \end{aligned}

$\begin{align} x(t)=x_0 + \int^t_0f(x(s),u(s))ds. \end{align}$

x_{0} := x (0)

$x_0:=x(0)$

ตอนนี้ให้พิจารณาโปรแกรมต่อไปนี้

\begin{aligned} V (x_{0}) := max_{u} \int_{0}^{\infty} e^{- ρ t} F (x (t), u (t)) d t \\ s . t . & \dot{x} (t) = f (x (t), u (t)) \\ x (0) = x_{0} \end{aligned}

$\begin{align} &V(x_0) := \max_u \int^\infty_0 e^{-\rho t}F(x(t),u(t))dt\\ s.t.~&\dot x(t)=f(x(t),u(t))\\ &x(0) = x_0 \end{align}$ โดยที่

ρ > 0

$\rho > 0$ หมายถึงการตั้งค่าเวลา

V (\cdot)

$V(\cdot)$ คือค่าและ

F (\cdot)

$F(\cdot)$ ฟังก์ชั่นวัตถุประสงค์ แอปพลิเคชันทางเศรษฐกิจแบบคลาสสิกคือโมเดล Ramsey-Cass-Koopmans ของการเติบโตที่เหมาะสม สมการแฮมิลตัน - จาโคบี - เบลล์แมนกำหนดโดย

\begin{aligned} ρ V (x) = max_{u} [F (x, u) + V^{'} (x) f (x, u)], \forall t \in [0, \infty) . \end{aligned}

$\begin{align} \rho V(x)=\max_u [F(x,u) + V'(x)f(x,u)],\quad \forall t\in[0,\infty). \end{align}$

ว่าฉันได้แก้ไข HJB สำหรับ $V$ แล้ว จากนั้นให้การควบคุมที่ดีที่สุดโดย

\begin{aligned} u^{*} = \arg max_{u} [F (x, u) + V^{'} (x) f (x, u)] . \end{aligned}

$\begin{align} u^*=\arg\max_u [F(x,u) + V'(x)f(x,u)]. \end{align}$ ฉันจะได้รับลูกทีมที่ดีที่สุดสำหรับรัฐและควบคุม

{(x^{*} (t), u^{*} (t)) : t \in [0, \infty)}

$\{(x^*(t),u^*(t)):t\in[0,\infty)\}$ \}

วิกิพีเดียบทความกล่าวว่า

... แต่เมื่อแก้ไขไปทั่วทั้งพื้นที่ของรัฐสมการ HJB เป็นเงื่อนไขที่จำเป็นและเพียงพอสำหรับการที่เหมาะสม

ใน Bertsekas (2005) การเขียนโปรแกรมแบบไดนามิกและการควบคุมที่เหมาะสมที่สุด Vol 1, 3rd ed. ในข้อเสนอ 3.2.1 เขาระบุว่าการแก้ปัญหา $V$ เป็นฟังก์ชันต้นทุนที่เหมาะสมที่สุดและเกี่ยวข้อง $u^*$ นั้นเหมาะสมที่สุด อย่างไรก็ตามเขาประกาศอย่างชัดเจนว่าเป็นทฤษฎีบทความพอเพียง

ที่จริงแล้วฉันแค่ต้องการให้แน่ใจว่าถ้าฉันได้แก้ไข HJB และกู้คืนสถานะที่เกี่ยวข้องและเส้นทางการควบคุมที่ฉันไม่ต้องกังวลกับเงื่อนไขการเพิ่มประสิทธิภาพใด ๆ เพิ่มเติม

วิธีการแก้

ฉันพยายาม

ฉันคิดว่าฉันสามารถได้รับเงื่อนไขที่จำเป็นจากหลักการสูงสุดโดยสมการ HJB เอง

กำหนด hamiltonian start

\begin{aligned} H (x, u, V^{'} (x)) := F (x, u) + V^{'} (x) f (x, u) \end{aligned}

$\begin{align} H(x,u,V'(x)) := F(x,u) + V'(x)f(x,u) \end{align}$

จากนั้นเรามี

\begin{aligned} ρ V (x) = max_{u} H (x, u, V^{'} (x)) \end{aligned}

$\begin{align} \rho V(x)=\max_u H(x,u,V'(x)) \end{align}$

ซึ่งคือ

\begin{aligned} ρ V (x) = H (x, u^{*}, V^{'} (x)) . \end{aligned}

$\begin{align} \rho V(x)= H(x,u^*,V'(x)). \end{align}$

กำหนดโดยพลฟังก์ชั่นกับ 0 ตอนนี้แก้ไข $q:[0,\infty)\to\mathbb{R}$ $q(0)=\lim_{t\to\infty} q(t)=0$

\begin{aligned} x = x^{*} + ε q \end{aligned}

$\begin{align} x = x^*+\varepsilon q \end{align}$

โดยที่เป็นพารามิเตอร์ เสียบคำศัพท์ลงใน hamiltonian ที่ขยายใหญ่สุดซึ่งให้ $\varepsilon\in\mathbb{R}$

\begin{aligned} ρ V (x^{*} + ε q) = H (x^{*} + ε q, u^{*}, V^{'} (x^{*} + ε q)) . \end{aligned}

$\begin{align} \rho V(x^*+\varepsilon q)= H(x^*+\varepsilon q,u^*,V'(x^*+\varepsilon q)). \end{align}$

ที่เรามีทางออกที่ดีที่สุด ดังนั้นจึงแตกต่างจากเพื่อรับเงื่อนไขการสั่งซื้อครั้งแรก $\varepsilon = 0$ $\varepsilon$

\begin{aligned} ρ V^{'} q = H_{x} q + H_{V^{'}} V^{″} q . \end{aligned}

$\begin{align} \rho V'q = H_x q + H_{V'}V''q. \end{align}$

ตอนนี้กำหนดตัวแปร adjoint ด้วย

\begin{aligned} λ = V^{'} (x) . \end{aligned}

$\begin{align} \lambda = V'(x). \end{align}$

แยกความแตกต่างเมื่อเวลาผ่านไป

\begin{aligned} \dot{λ} = V^{″} \dot{x} . \end{aligned}

$\begin{align} \dot \lambda = V''\dot x. \end{align}$

และโปรดทราบว่า

\begin{aligned} H_{V^{'}} = f (x, u) = \dot{x} . \end{aligned}

$\begin{align} H_{V'} = f(x,u) = \dot x. \end{align}$

เสียบทุกอย่างเข้ากับ foc ซึ่งจะให้

\begin{aligned} ρ λ = H_{x} + \dot{λ} . \end{aligned}

$\begin{align} \rho \lambda = H_x + \dot \lambda. \end{align}$

นั่นมันสวยมาก ดังนั้นการแก้ไข HJB จึงเป็นสิ่งจำเป็นและเพียงพอ บางคนควรเพิ่มไว้ในวิกิ อาจช่วยประหยัดเวลาสำหรับผู้ที่คิดเกี่ยวกับปัญหาดังกล่าว (ฉันจะนับไม่ได้มาก)

อย่างไรก็ตามเงื่อนไขตามขวาง หายไป

\begin{aligned} lim_{t \to \infty} e^{- ρ t} λ (t) = 0 \end{aligned}

$\begin{align} \lim_{t\to\infty} e^{-\rho t}\lambda(t) = 0 \end{align}$

II ความพยายาม

กำหนดฟังก์ชั่นการจ่ายผลตอบแทน

\begin{aligned} J (u) := \int_{0}^{\infty} e^{- ρ t} F (x, u) d t \end{aligned}

$\begin{align} J(u):=\int^\infty_0 e^{-\rho t}F(x,u)dt \end{align}$

โปรดทราบว่า โดยคำนิยามของU) เพิ่มคำที่เป็นกลางให้กับส่วนผลตอบแทน start

\begin{aligned} \int_{0}^{\infty} e^{- ρ t} λ [f (x, u) - \dot{x}] d t = 0 \end{aligned}

$\begin{align} \int^\infty_0{e^{-\rho t}\lambda[f(x,u) - \dot x]dt} = 0 \end{align}$

\dot{x} = f (x, u)

$\dot x = f(x,u)$

\begin{aligned} J (u) & = \int_{0}^{\infty} e^{- ρ t} [F (x, u) + λ f (x, u)] d t - \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t \\ = \int_{0}^{\infty} e^{- ρ t} H (x, u, λ) - \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t \end{aligned}

$\begin{align} J(u)&=\int^\infty_0 e^{-\rho t}[F(x,u)+\lambda f(x,u)]dt - \int^\infty_0{e^{-\rho t}\lambda\dot xdt}\\ &=\int^\infty_0 e^{-\rho t}H(x,u,\lambda) - \int^\infty_0{e^{-\rho t}\lambda\dot xdt} \end{align}$

การบูรณาการโดยส่วนต่างๆของคำที่ถูกต้องบนผลตอบแทนที่ได้

\begin{aligned} \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t = [e^{- ρ t} λ (t) x (t)]_{0}^{\infty} - \int_{0}^{\infty} e^{- ρ t} x (\dot{λ} - ρ λ) d t \end{aligned}

$\begin{align} \int^\infty_0{e^{-\rho t}\lambda\dot xdt} = [e^{-\rho t}\lambda(t)x(t)]^\infty_0 - \int^\infty_0{e^{-\rho t}x(\dot \lambda-\rho\lambda)dt} \end{align}$

ใช้คำว่า start

\begin{aligned} J (u) = \int_{0}^{\infty} e^{- ρ t} [H (x, u, λ) + x (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) x (t) + λ (0) x (0) \end{aligned}

$\begin{align} J(u)=\int^\infty_0 e^{-\rho t}[H(x,u,\lambda) + x(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)x(t) + \lambda(0)x(0) \end{align}$

กำหนด

\begin{aligned} x & = x^{*} + ε q \\ u & = u^{*} + ε p \end{aligned}

$\begin{align} x &= x^*+\varepsilon q\\ u &= u^*+\varepsilon p \end{align}$

ซึ่งให้

\begin{aligned} J (ε) = \int_{0}^{\infty} e^{- ρ t} [H (x^{*} + ε q, u^{*} + ε p, λ) + (x^{*} + ε q) (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) [x^{*} (t) + ε q (t)] + λ (0) x (0) \end{aligned}

$\begin{align} J(\varepsilon)=\int^\infty_0 e^{-\rho t}[H(x^*+\varepsilon q,u^*+\varepsilon p,\lambda) + (x^*+\varepsilon q)(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)[x^*(t)+\varepsilon q(t)] + \lambda(0)x(0) \end{align}$

FOC สำหรับสูงสุด $J_\varepsilon = 0$

\begin{aligned} J_{ε} = \int_{0}^{\infty} e^{- ρ t} [H_{x} q + H_{u} p + q (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) q (t) = 0 \end{aligned}

$\begin{align} J_\varepsilon=\int^\infty_0 e^{-\rho t}[H_x q + H_u p + q(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)q(t) = 0 \end{align}$

เนื่องจากและไม่มีข้อ จำกัด เราจะต้องมี $q$ $p$

\begin{aligned} H_{u} & = 0 \\ H_{x} & = ρ λ - \dot{λ} \\ lim_{t \to \infty} e^{- ρ t} λ (t) & = 0 \end{aligned}

$\begin{align} H_u &= 0\\ H_x &= \rho\lambda - \dot \lambda\\ \lim_{t\to\infty}e^{-\rho t}\lambda(t) &= 0 \end{align}$

mathematical-economics reference-request dynamic-programming

— ไม่รู้เรื่องรู้ราว
แหล่งที่มา

คุณระบุเงื่อนไขที่จำเป็นและเพียงพอแล้วหรือยัง

— Jamzy

สิ่งนี้เกิดขึ้นในบริบททางเศรษฐกิจ

— Stan Shunpike

แบบจำลอง Ramsey เช่นcer.ethz.ch/resec/people/tsteger/Ramsey_Model.pdf

— clueless

ฉันคิดว่ากระทู้นี้เหมาะสำหรับmath.stackexchange.comเพราะไม่ได้เชื่อมโยงกับ econ จริงๆ ตัวดัดแปลงอาจถ่ายโอนได้

— clueless

ฉันไม่แน่ใจว่ามีการถามอะไรที่นี่: หากการแก้ปัญหาของ Bertsekas HJB นั้นเพียงพอแล้วคุณไม่จำเป็นต้อง "กังวลเกี่ยวกับเงื่อนไขการเพิ่มประสิทธิภาพเพิ่มเติม" "เพียงพอเท่านั้น" กับ "จำเป็นและเพียงพอ" จะเกิดขึ้นในกรณีที่ HJB ไม่ได้รับการแก้ไข - ในกรณีที่ใครจะพูดว่า "นี่ไม่ได้หมายความว่าไม่มีวิธีแก้ปัญหา" อย่างไรก็ตามความพยายามของฉันและ II ของคุณเป็นเนื้อหาที่มีค่าที่นี่ - ครั้งแรกที่แสดงลิงค์ซึ่งมี HJB และการควบคุมที่เหมาะสมที่สุดเป็นครั้งแรก

— Alecos Papadopoulos

(นี่อาจเป็นความเห็นที่ควรพิจารณา)

หากคุณได้แก้สมการ HJB แล้วก็เพียงพอที่จะได้รับทางออกที่ดีที่สุด ดังนั้นคุณไม่ต้อง "ต้องกังวลกับเงื่อนไขการเพิ่มประสิทธิภาพอื่น ๆ " ซึ่งฉันเชื่อว่าดูเหมือนจะตอบคำถามของคุณ

ดูเหมือนว่าคุณมีความกังวลเกี่ยวกับองค์ประกอบ "จำเป็น" ของทฤษฎีบท ด้านความจำเป็นของคำสั่งมีดังนี้: หากมีทางออกที่ดีที่สุดจะต้องมีวิธีการแก้สมการ HJB

ฉันไม่ได้ทำงานกับปัญหานี้โดยเฉพาะ แต่คำตอบโดยทั่วไปคือเราไม่คาดหวังว่าจะมีฟังก์ชั่น differentiable V ดังนั้นเราจึงไม่มีวิธีแก้สมการตามที่ระบุไว้ เราต้องดูอนุพันธ์ทั่วไปแล้วแปลงสมการ HJB เป็นความไม่เท่าเทียมกัน ในกรณีนี้คุณอาจได้รับ "ความหนืด" หากเราขยายการใช้อนุพันธ์ทั่วไปอาจเป็นไปได้ที่จะพิสูจน์ว่ามีวิธีแก้ปัญหาดังกล่าวอยู่เสมอ การพิสูจน์หลักฐานของคุณจะไม่ช่วยในเงื่อนไขที่จำเป็นตามที่คุณคาดเดาได้

— Brian Romanchuk
แหล่งที่มา