ทำไมมีนโยบายอย่างน้อยหนึ่งนโยบายที่ดีกว่าหรือเท่ากับนโยบายอื่น ๆ ทั้งหมดเสมอ

การแก้ปัญหาการเรียนรู้การเสริมแรงนั้นหมายถึงการค้นหานโยบายที่ได้รับรางวัลมากมายในระยะยาว สำหรับ MDP ที่ จำกัด เราสามารถกำหนดนโยบายที่เหมาะสมได้อย่างแม่นยำด้วยวิธีต่อไปนี้ ฟังก์ชั่นค่ากำหนดการสั่งซื้อบางส่วนผ่านนโยบาย นโยบายถูกกำหนดให้ดีกว่าหรือเท่ากับนโยบายหากผลตอบแทนที่คาดหวังมากกว่าหรือเท่ากับของสำหรับทุกรัฐ กล่าวอีกนัยหนึ่งถ้าหาก , สำหรับทั้งหมด มีนโยบายอย่างน้อยหนึ่งนโยบายที่ดีกว่าหรือเท่ากับนโยบายอื่น ๆ ทั้งหมด นี่เป็นนโยบายที่ดีที่สุด $\pi$ $\pi'$ $\pi'$ $\pi \geq \pi'$ $v_\pi(s) \geq v_{\pi'}(s)$ $s \in \mathcal{S}$

markov-process reinforcement-learning

— sh1ng
แหล่งที่มา

หลักฐานที่มีรายละเอียดมาก (ที่ใช้ทฤษฎีจุดคงที่ของ Banach) ปรากฏในบทที่ 6.2 ของ "กระบวนการตัดสินใจของมาร์คอฟ" โดย Puterman

— Toghs

คำตอบ:

เพิ่งผ่านส่วนที่ยกมาย่อหน้าเดียวกันบอกให้คุณทราบว่านโยบายนี้คืออะไร: เป็นส่วนที่ดำเนินการอย่างดีที่สุดในทุกรัฐ ใน MDP การกระทำที่เราดำเนินการในรัฐหนึ่งจะไม่ส่งผลกระทบต่อรางวัลสำหรับการดำเนินการกับผู้อื่นดังนั้นเราจึงสามารถเพิ่มนโยบายให้รัฐได้สูงสุด

— ดอนเรบา
แหล่งที่มา

คำตอบนี้ไม่ผิดอย่างสมบูรณ์หรือไม่ คุณจะบอกได้อย่างไรว่าการปรับสถานะของนโยบายให้เหมาะสมโดยรัฐจะนำไปสู่นโยบายที่เหมาะสมที่สุด ถ้าฉันปรับสถานะผ่านสถานะและใช้ฉันแล้วปรับที่นำไปสู่ฟังก์ชันค่าที่เหมาะสมแต่มีนโยบายอื่นที่นำไปสู่ suboptimallyและฟังก์ชั่นคุ้มค่าที่ดีที่สุดของสูงกว่า1} คุณจะแยกแยะสิ่งนี้ออกจากการวิเคราะห์คร่าวๆได้อย่างไร

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

V_{t + 1}

$V_{t+1}$

S_{t}

$S_t$

S_{l}

$S_l$

S_{l}

$S_l$

V_{t + 1}

$V_{t+1}$

— MiloMinderbinder

@MiloMinderbinder หากนโยบายที่ดีที่สุดที่คือการเลือกแล้วค่าของสูงกว่าค่าของS_l

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

S_{l}

$S_l$

— Don Reba

ความผิดฉันเอง. แก้ไขคำสะกดผิด: 'คำตอบนี้ไม่ผิดทั้งหมดหรือ คุณจะบอกได้อย่างไรว่าการปรับสถานะของนโยบายให้เหมาะสมโดยรัฐจะนำไปสู่นโยบายที่เหมาะสมที่สุด? ถ้าฉันปรับสถานะรัฐให้ดีที่สุดและพาฉันไปที่แล้วปรับที่จะนำไปสู่ฟังก์ชันค่าที่เหมาะสมของแต่มีอีกอันหนึ่ง นโยบายที่นำไปสู่ suboptimally ถึงและฟังก์ชันค่าของนั้นสูงกว่าแต่ฟังก์ชันค่าของนั้นสูงกว่าภายใต้สิ่งนี้ นโยบายมากกว่าภายใต้นโยบายที่พบโดยการปรับสภาวะให้เหมาะสมโดยรัฐ สิ่งนี้เป็นสิ่งที่คุณควบคุมได้อย่างไร '

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

V_{t + 2}

$V_{t+2}$

S_{t + 2}

$S_{t+2}$

S_{t}

$S_t$

S_{l + 1}

$S_{l+1}$

S_{t + 1}

$S_{t+1}$

V_{l + 1}

$V_{l+1}$

S_{t + 2}

$S_{t+2}$

— MiloMinderbinder

ฉันคิดว่าคำจำกัดความของจะป้องกันไม่ให้สิ่งนี้เกิดขึ้นตั้งแต่แรกเพราะมันควรคำนึงถึงผลตอบแทนในอนาคตเช่นกัน

V

$V$

— Flying_Banana

คำถามจะเป็น: ทำไมมีอยู่? คุณไม่สามารถอ่านทฤษฎีบทจุด

q_{*}

$q_*$

— Fabian Werner

การมีอยู่ของนโยบายที่เหมาะสมไม่ชัดเจน เมื่อต้องการดูสาเหตุโปรดทราบว่าฟังก์ชันค่าให้การเรียงลำดับเพียงบางส่วนผ่านพื้นที่ของนโยบาย หมายความว่า:

π^{'} \geq π ⟺ v_{π^{'}} (s) \geq v_{π} (s), \forall s \in S

$\pi' \geq \pi \iff v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S$

เนื่องจากนี่เป็นการสั่งซื้อเพียงบางส่วนจึงอาจมีกรณีที่นโยบายสองข้อคือและจึงไม่สามารถเปรียบเทียบกันได้ กล่าวอีกนัยหนึ่งมีส่วนย่อยของพื้นที่รัฐและเช่นนั้น: $\pi_1$ $\pi_2$ $S_1$ $S_2$

v_{π^{'}} (s) \geq v_{π} (s), \forall s \in S_{1}

$v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S_1$

v_{π} (s) \geq v_{π^{'}} (s), \forall s \in S_{2}

$v_{\pi}(s) \geq v_{\pi'}(s),\forall s \in S_2$

ในกรณีนี้เราไม่สามารถพูดได้ว่านโยบายหนึ่งดีกว่าอีกนโยบายหนึ่ง แต่ถ้าเรากำลังจัดการกับ MDP ที่ จำกัด ด้วยฟังก์ชันที่มีค่าขอบเขตดังนั้นสถานการณ์จะไม่เกิดขึ้น มีฟังก์ชั่นค่าที่ดีที่สุดอย่างหนึ่งอย่างแน่นอน แต่อาจมีนโยบายที่ดีที่สุดหลายนโยบาย

เพื่อพิสูจน์สิ่งนี้คุณต้องเข้าใจทฤษฎีบท Banach Fixed Point สำหรับการวิเคราะห์รายละเอียดโปรดดู

— Karthik Thiagarajan
แหล่งที่มา

$\newcommand{\mc}{\mathcal} \newcommand{\mb}{\mathbb}$

การตั้งค่า

เรากำลังพิจารณาในการตั้งค่าของ:

การกระทำที่ไม่ต่อเนื่อง
รัฐไม่ต่อเนื่อง
รางวัลที่ถูกผูกไว้
นโยบายคงที่
ขอบฟ้าที่ไม่มีที่สิ้นสุด

นโยบายที่เหมาะสมหมายถึง: และฟังก์ชั่นค่าที่ดีที่สุดคือ อาจมีชุดของนโยบายที่ให้ได้สูงสุด แต่มีเพียงฟังก์ชั่นค่าที่ดีที่สุดเพียงหนึ่ง:

\begin{matrix} (1) & π^{*} \in \arg max_{π} V^{π} (s), \forall s \in S \end{matrix}

$\pi^\ast \in \arg \max_\pi V^\pi(s), \forall s \in \mc{S} \tag{1}$

\begin{matrix} (2) & V^{*} = max_{π} V^{π} (s), \forall s \in S \end{matrix}

$V^\ast = \max_\pi V^\pi (s), \forall s \in \mc S \tag{2}$

\begin{matrix} (3) & V^{*} = V^{π^{*}} \end{matrix}

$V^\ast = V^{\pi^\ast} \tag{3}$

คำถาม

จะพิสูจน์ได้อย่างไรว่ามีอยู่อย่างน้อยหนึ่งซึ่งสอดคล้องกับ (1) พร้อมกันสำหรับทุก ? $\pi^\ast$ $s \in \mc{S}$

โครงร่างของการพิสูจน์

สร้างสมการที่ดีที่สุดที่จะใช้เป็นคำจำกัดความตัวแทนเสมือนของฟังก์ชั่นค่าที่ดีที่สุดซึ่งเราจะพิสูจน์ในขั้นตอนที่ 2 ว่ามันเทียบเท่ากับคำจำกัดความผ่าน Eq (2)
$\begin{matrix} (4) & V^{*} (s) = max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V^{*} (s^{'})] \end{matrix}$ $V^\ast(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V^\ast(s^\prime)] \tag{4}$
หาค่าความเท่ากันของการกำหนดฟังก์ชั่นค่าที่เหมาะสมผ่าน Eq. (4) และผ่าน Eq. (2)

(หมายเหตุในความเป็นจริงเราต้องการเพียงทิศทางความจำเป็นในการพิสูจน์เพราะความชัดเจนเพียงพอตั้งแต่เราสร้างสมการ (4) จากสมการ (2))
พิสูจน์ว่ามีวิธีแก้ปัญหาเฉพาะสำหรับ Eq (4)
ในขั้นตอนที่ 2 เรารู้ว่าโซลูชันที่ได้รับในขั้นตอนที่ 3 เป็นวิธีแก้ปัญหาสำหรับ Eq (2) ดังนั้นจึงเป็นฟังก์ชั่นค่าที่ดีที่สุด
จากฟังก์ชั่นค่าที่ดีที่สุดเราสามารถกู้คืนนโยบายที่เหมาะสมโดยเลือกการกระทำ maximizer ใน Eq (4) สำหรับแต่ละรัฐ

รายละเอียดของขั้นตอน

ตั้งแต่เรามีA) และถ้ามีเช่นนั้นเราสามารถ เลือกนโยบายที่ดีขึ้นโดยการเพิ่มมากกว่า $V^\ast(s) = V^{\pi^\ast}(s) = \mb E_a [Q^{\pi^\ast}(s, a)]$ $V^{\pi^\ast}(s) \le \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$ $\tilde{s}$ $V^{\pi^\ast} \neq \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$ $Q^{\ast} (s, a) = Q^{\pi^\ast} (s, a)$ $a$

(=>)

ตามขั้นตอนที่ 1

(<=)

คือถ้าพอใจจากนั้นS $\tilde V$ $\tilde V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) \tilde V(s^\prime)]$ $\tilde V(s) = V^\ast(s) = \max_\pi V^\pi(s), \forall s \in \mc S$

กำหนดโอเปอเรเตอร์ Bellman ที่ดีที่สุดเป็น ดังนั้นเป้าหมายของเราคือการพิสูจน์ว่าถ้าแล้ว . เราแสดงสิ่งนี้โดยรวมผลลัพธ์สองรายการดังต่อไปนี้Puterman [1]:

\begin{matrix} (5) & T V (s) = max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V (s^{'})] \end{matrix}

$\mc T V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V(s^\prime)] \tag{5}$

\tilde{V} = T \tilde{V}

$\tilde V = \mc T \tilde V$

\tilde{V} = V^{*}

$\tilde V = V^\ast$

ก) หากแล้วV $\tilde V \ge \mc T \tilde V$ $\tilde V \ge V^\ast$

ข) หากแล้วV $\tilde V \le \mc T \tilde V$ $\tilde V \le V^\ast$

พิสูจน์:

ก)

สำหรับ , นี่คือกฎการตัดสินใจ (โปรไฟล์การกระทำในเวลาที่กำหนด),คือเวกเตอร์ที่แสดงถึงรางวัลทันที เหนี่ยวนำจากและคือการเปลี่ยนแปลงเมทริกซ์เหนี่ยวนำจากd $\pi = (d_1, d_2, ...)$

\begin{aligned} \tilde{V} & \geq T \tilde{V} = max_{d} [R_{d} + γ P_{d} \tilde{V}] \\ \geq R_{d_{1}} + γ P_{d_{1}} \tilde{V} \end{aligned}

$\begin{align} \tilde V &\ge \mc T \tilde V = \max_{d} [ R_d + \gamma \, P_d \tilde V] \\ &\ge R_{d_1} + \gamma \, P_{d_1} \tilde V \\ \end{align}$

d

$d$

R_{d}

$R_d$

d

$d$

P_{d}

$P_d$

d

$d$

โดยอุปนัยสำหรับ , ที่หมายถึง -step เปลี่ยนแปลงเมทริกซ์ภายใต้\ $n$

\tilde{V} \geq R_{d_{1}} + \sum_{i = 1}^{n - 1} γ^{i} P_{π}^{i} R_{d_{i + 1}} + γ^{n} P_{π}^{n} \tilde{V}

$\tilde V \ge R_{d_1} + \sum_{i=1}^{n-1} \gamma^i P_\pi^i R_{d_{i+1}} + \gamma^n P_\pi^n \tilde V$

P_{π}^{j}

$P_\pi^j$

j

$j$

π

$\pi$

ตั้งแต่ เรามี ดังนั้นเราจึงมีV และเนื่องจากสิ่งนี้มีไว้สำหรับเราจึงสรุปได้ว่า b)

V^{π} = R_{d_{1}} + \sum_{i = 1}^{\infty} γ^{i} P_{π}^{i} R_{d_{i + 1}}

$V^\pi = R_{d_1} + \sum_{i=1}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}$

\tilde{V} - V^{π} \geq \underset{\to 0 as n \to \infty}{\underset{⏟}{γ^{n} P_{π}^{n} \tilde{V} - \sum_{i = n}^{\infty} γ^{i} P_{π}^{i} R_{d_{i + 1}}}}

$\tilde V - V^\pi \ge \underbrace{\gamma^n P_\pi^n \tilde V -\sum_{i=n}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}}_{\rightarrow 0 \ \text{as}\ n\rightarrow \infty}$

\tilde{V} \geq V^{π}

$\tilde V \ge V^\pi$

π

$\pi$

\tilde{V} \geq max_{π} V^{π} = V^{*}

$\tilde V \ge \max_\pi V^\pi = V^\ast$

ทำตามขั้นตอนที่ 1

ตัวดำเนินการของ Bellman ที่ดีที่สุดคือการหดตัวใน norm, cf. [2] $L_\infty$

พิสูจน์: สำหรับ , โดยที่ (*) เราใช้ความจริงที่ว่า $s$

\begin{aligned} | T V_{1} (s) - T V_{2} (s) | & = | max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V_{1} (s^{'})] - max_{a^{'} \in A} [R (s, a^{'}) + γ \sum_{s^{'} \in S} T (s, a^{'}, s^{'}) V (s^{'})] | \\ \overset{(*)}{\leq} | max_{a \in A} [γ \sum_{s^{'} \in S} T (s, a, s^{'}) (V_{1} (s^{'}) - V_{2} (s^{'}))] | \\ \leq γ ‖ V_{1} - V_{2} ‖_{\infty} \end{aligned}

$\begin{align} \left\vert \mc T V_1(s) - \mc TV_2(s) \right\vert &= \left\vert \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V_1(s^\prime)] -\max_{a^\prime \in \mc A} [ R(s, a^\prime) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a^\prime, s^\prime) V(s^\prime)]\right\vert \\ &\overset{(*)}{\le} \left\vert \max_{a \in \mc A} [\gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) (V_1(s^\prime) - V_2(s^\prime))] \right\vert \\ &\le \gamma \Vert V_1 - V_2 \Vert_\infty \end{align}$

max_{a} f (a) - max_{a^{'}} g (a^{'}) \leq max_{a} [f (a) - g (a)]

$\max_a f(a) - \max_{a^\prime} g(a^\prime) \le \max_a [f(a) - g(a)]$

ดังนั้นโดย Banach fixed point theorum มันจึงตามมาว่ามีจุดคงที่ที่ไม่เหมือนใคร $\mc T$

อ้างอิง

[1] Puterman, Martin L .. “ กระบวนการตัดสินใจของมาร์คอฟ: การเขียนโปรแกรมแบบไดนามิก Stochastic แบบแยก” (2016)

[2] A. Lazaric http://researchers.lille.inria.fr/~lazaric/Webpage/MVA-RL_Course14_files/slides-lecture-02-handout.pdf

— LoveIris
แหล่งที่มา