ฟังก์ชั่นถามคืออะไรและฟังก์ชั่น V ในการเรียนรู้การเสริมแรงคืออะไร?

30

สำหรับฉันแล้วดูเหมือนว่าฟังก์ชั่นสามารถแสดงออกได้อย่างง่ายดายด้วยฟังก์ชั่นและทำให้ฟังก์ชั่นดูเหมือนจะไม่จำเป็นสำหรับฉัน อย่างไรก็ตามฉันใหม่เพื่อเสริมการเรียนรู้ดังนั้นฉันคิดว่าฉันมีบางอย่างผิดปกติ $V$ $Q$ $V$

คำนิยาม

Q- และ V-การเรียนรู้อยู่ในบริบทของมาร์คอฟกระบวนการตัดสินใจ MDPเป็น 5 tupleด้วย $(S, A, P, R, \gamma)$

$S$ คือชุดของสถานะ (โดยทั่วไปจะ จำกัด )
$A$ คือชุดของการกระทำ (โดยทั่วไป จำกัด )
$P(s, s', a) = P(s_{t+1} = s' | s_t = s, a_t = a)$ ความน่าจะเป็นที่จะได้รับจากรัฐไปยังรัฐด้วยการกระทำ $s$ $s'$ $a$
$R(s, s', a) \in \mathbb{R}$ เป็นรางวัลที่ได้ทันทีหลังจากที่ไปจากรัฐไปยังรัฐด้วยการกระทำ (สำหรับฉันดูเหมือนว่าโดยทั่วไปมักเรื่องของ) $s$ $s'$ $a$ $s'$
$\gamma \in [0, 1]$ เรียกว่าอัตราส่วนลดและพิจารณาว่าใครมุ่งเน้นที่ผลตอบแทนทันที ( ), รางวัลรวม ( ) หรือการแลกเปลี่ยนบางอย่าง $\gamma = 0$ $\gamma = 1$

นโยบาย $\pi$ ตามที่เสริมสร้างการเรียนรู้: บทนำโดยซัตตันและ Barto เป็นฟังก์ชั่น (นี้อาจจะมีความน่าจะเป็น) $\pi: S \rightarrow A$

ตามที่สไลด์มาริโอมาร์ตินที่ฟังก์ชั่นเป็น และฟังก์ชัน Qคือ $V$

V^{π} (s) = E_{π} {R_{t} | s_{t} = s} = E_{π} {\sum_{k = 0}^{\infty} γ^{k} r_{t + k + 1} | s_{t} = s}

$V^\pi(s) = E_\pi \{R_t | s_t = s\} = E_\pi \{\sum_{k=0}^\infty \gamma^k r_{t+k+1} | s_t = s\}$

Q^{π} (s, a) = E_{π} {R_{t} | s_{t} = s, a_{t} = a} = E_{π} {\sum_{k = 0}^{\infty} γ^{k} r_{t + k + 1} | s_{t} = s, a_{t} = a}

$Q^\pi(s, a) = E_\pi \{R_t | s_t = s, a_t = a\} = E_\pi \{\sum_{k=0}^\infty \gamma^k r_{t+k+1} | s_t = s, a_t=a\}$

ความคิดของฉัน

รัฐฟังก์ชั่นสิ่งที่มูลค่าโดยรวมคาดว่า (ได้รางวัล!) ของรัฐภายใต้นโยบายคือ $V$ $s$ $\pi$

ฟังก์ชั่นรัฐสิ่งที่มีค่าของรัฐและการกระทำที่ ภายใต้นโยบายคือ $Q$ $s$ $a$ $\pi$

ซึ่งหมายความว่า

Q^{π} (s, π (s)) = V^{π} (s)

$Q^\pi(s, \pi(s)) = V^\pi(s)$

ขวา? แล้วทำไมเราถึงมีฟังก์ชันค่าเลย? (ฉันคิดว่าฉันผสมบางอย่าง)

machine-learning reinforcement-learning

— มาร์ตินโทมา
แหล่งที่มา

15

ค่า Q เป็นวิธีที่ยอดเยี่ยมในการดำเนินการอย่างชัดเจนเพื่อให้คุณสามารถจัดการกับปัญหาที่ไม่สามารถใช้ฟังก์ชั่นการเปลี่ยนภาพได้ (ไม่มีรุ่น) อย่างไรก็ตามเมื่อพื้นที่การกระทำของคุณมีขนาดใหญ่สิ่งต่าง ๆ ไม่ดีนักและค่า Q ไม่สะดวกนัก ลองนึกถึงการกระทำจำนวนมากหรือแม้แต่การกระทำต่อเนื่องช่องว่าง

จากมุมมองของการสุ่มตัวอย่าง, มิติของสูงกว่าจึงอาจได้รับยากที่จะได้รับเพียงพอตัวอย่างในการเปรียบเทียบกับ(s)หากคุณสามารถเข้าถึงฟังก์ชั่นการเปลี่ยนแปลงบางครั้งได้ดี $Q(s, a)$ $V(s)$ $(s, a)$ $(s)$ $V$

นอกจากนี้ยังมีการใช้งานอื่น ๆ ที่ทั้งสองรวมกัน ยกตัวอย่างเช่นฟังก์ชั่นได้เปรียบที่(s) หากคุณสนใจคุณสามารถหาตัวอย่างล่าสุดโดยใช้ฟังก์ชั่นความได้เปรียบที่นี่: $A(s, a) = Q(s, a) - V(s)$

สถาปัตยกรรมเครือข่ายการต่อสู้เพื่อการเรียนรู้การเสริมแรงลึก

โดย Ziyu Wang, Tom Schaul, Matteo Hessel, Hado van Hasselt, Marc Lanctot และ Nando de Freitas

— Juan Leni
แหล่งที่มา

19

$V^\pi(s)$ เป็นฟังก์ชั่นมูลค่ารัฐของ MDP (กระบวนการตัดสินใจมาร์คอฟ) มันเป็นผลตอบแทนที่คาดว่าจะเริ่มต้นจากรัฐตามนโยบาย\ $s$ $\pi$

ในการแสดงออก

V^{π} (s) = E_{π} {G_{t} | s_{t} = s}

$V^\pi(s) = E_\pi \{G_t | s_t = s\}$

$G_t$ คือรางวัลทั้งหมดที่ได้รับส่วนลดตั้งแต่ขั้นตอนเมื่อเทียบกับซึ่งเป็นผลตอบแทนทันที ที่นี่คุณจะได้รับความคาดหวังของการดำเนินการทั้งหมดเป็นไปตามนโยบาย\ $t$ $R_t$ $\pi$

$Q^\pi(s, a)$ เป็นฟังก์ชันค่าการกระทำ มันเป็นผลตอบแทนที่คาดว่าจะเริ่มต้นจากรัฐตามนโยบาย , การดำเนินการ มันมุ่งเน้นไปที่การกระทำเฉพาะในรัฐนั้น ๆ $s$ $\pi$ $a$

Q^{π} (s, a) = E_{π} {G_{t} | s_{t} = s, a_{t} = a}

$Q^\pi(s, a) = E_\pi \{G_t | s_t = s, a_t = a\}$

ความสัมพันธ์ระหว่างและ (ค่าของการอยู่ในสถานะนั้น) คือ $Q^\pi$ $V^\pi$

V^{π} (s) = \sum_{a \in A} π (a | s) * Q^{π} (a, s)

$V^\pi(s) = \sum_{a ∈ A} \pi (a|s) * Q^\pi(a,s)$

คุณรวมทุกค่าการกระทำคูณด้วยความน่าจะเป็นที่จะดำเนินการนั้น (นโยบาย ) $\pi(a|s)$

หากคุณคิดว่าตัวอย่างโลกกริดคุณจะคูณความน่าจะเป็น (ขึ้น / ลง / ขวา / ซ้าย) ด้วยค่าสถานะล่วงหน้าหนึ่งขั้นของ (ขึ้น / ลง / ขวา / ซ้าย)

— แอรอน
แหล่งที่มา

5

นี่เป็นคำตอบที่กระชับที่สุด

— เบร็ท

ฉันมีแหล่งที่มาที่ระบุว่าA) คุณเกี่ยวข้องกับสมการนี้กับคำตอบของคุณอย่างไร ? ในสมการของคุณคุณนิยามในรูปของผลรวมถ่วงน้ำหนักของค่าซึ่งแตกต่างจากความหมายฉันมีซึ่งกำหนดเป็นสูงสุดQ

V^{π} (s) = max_{a \in A} Q^{π} (s, a)

$V^\pi(s) = \max_{a \in A} Q^\pi(s, a)$

V^{π} (s) = \sum_{a \in A} π (a ∣ s) * Q^{π} (a, s)

$V^\pi(s) = \sum_{a \in A} \pi (a \mid s) * Q^\pi(a, s)$

V

$V$

Q

$Q$

V

$V$

Q

$Q$

— nbro

@nbro ฉันเชื่อว่ามันขึ้นอยู่กับประเภทของนโยบายที่คุณกำลังติดตาม ในนโยบายโลภที่บริสุทธิ์ที่คุณถูกต้อง แต่ถ้ามันเป็นนโยบายสำรวจเพิ่มเติมที่ถูกสร้างขึ้นเพื่อสุ่มตัดสินใจการกระทำจากนั้นจะถูกต้อง

— deltaskelta

7

คุณพูดถูกแล้วฟังก์ชั่นให้คุณค่าแก่รัฐและให้คุณค่าของการกระทำในสถานะ (ตามนโยบายที่กำหนด ) ฉันพบคำอธิบายที่ชัดเจนที่สุดของ Q-learning และวิธีการทำงานในหนังสือ "Machine Learning" (1997), ch. ของ Tom Tomell 13 ซึ่งสามารถดาวน์โหลดได้ หมายถึงผลรวมของอนุกรมอนันต์ แต่ไม่สำคัญที่นี่ สิ่งที่สำคัญคือฟังก์ชันหมายถึง $V$ $Q$ $\pi$ $V$ $Q$

Q (s, a) = r (s, a) + γ V^{*} (δ (s, a))

$Q(s,a ) = r(s,a ) + \gamma V^{*}(\delta(s,a))$ โดยที่ V * เป็นค่าที่ดีที่สุดของรัฐถ้าคุณสามารถทำตามนโยบายที่เหมาะสมซึ่งคุณ ไม่ทราบ อย่างไรก็ตามมันมีลักษณะที่ดีในแง่ของ คำนวณทำได้โดยแทนที่ในสมการแรกเพื่อให้

Q

$Q$

V^{*} (s) = max_{a^{'}} Q (s, a^{'})

$V^{*}(s)= \max_{a'} Q(s,a')$

Q

$Q$

V^{*}

$V^*$

Q (s, a) = r (s, a) + γ max_{a^{'}} Q (δ (s, a), a^{'})

$Q(s, a) = r(s, a) + \gamma \max_{a'} Q(\delta(s, a), a')$

สิ่งนี้อาจดูเป็นการเรียกซ้ำที่แปลก ๆ ในตอนแรกเนื่องจากมันแสดงค่า Q ของการกระทำในสถานะปัจจุบันในแง่ของค่า Q ที่ดีที่สุดของสถานะตัวตายตัวแทนแต่มันก็สมเหตุสมผลเมื่อคุณดูที่กระบวนการสำรองข้อมูลใช้: การสำรวจ กระบวนการหยุดเมื่อถึงสถานะเป้าหมายและรวบรวมรางวัลซึ่งกลายเป็นค่า Q ของการเปลี่ยนแปลงครั้งสุดท้าย ขณะนี้ในตอนการฝึกอบรมที่ตามมาเมื่อกระบวนการสำรวจมาถึงสถานะก่อนหน้านั้นกระบวนการสำรองข้อมูลใช้ความเท่าเทียมกันด้านบนเพื่ออัปเดตค่า Q ปัจจุบันของสถานะผู้บุกเบิก ครั้งต่อไปของมันผู้มาเยี่ยมชมก่อนหน้านั้นจะได้รับการอัปเดตค่า Q ของรัฐและตามลำดับ (หนังสือของ Mitchell อธิบายวิธีที่มีประสิทธิภาพมากขึ้นในการทำสิ่งนี้โดยการจัดเก็บการคำนวณทั้งหมดและเล่นซ้ำในภายหลัง) ให้ทุกรัฐมีการเข้าชมอนันต์บ่อยครั้งกระบวนการนี้ในที่สุดก็คำนวณ Q ที่ดีที่สุด

บางครั้งคุณจะเห็นอัตราการเรียนรู้ถูกนำไปใช้เพื่อควบคุมจำนวนการอัพเดท Q จริง: ให้สังเกตุในตอนนี้ว่าการอัพเดทค่า Q นั้นขึ้นอยู่กับค่า Q ปัจจุบัน หนังสือของมิทเชลยังอธิบายถึงสาเหตุและเหตุผลที่คุณต้องการ : สำหรับ MDP ที่สุ่ม หากไม่มีทุกครั้งที่มีรัฐพยายามจับคู่แอ็คชั่นจะมีรางวัลที่แตกต่างกันดังนั้นฟังก์ชั่น Q ^ จะเด้งไปทั่วสถานที่และไม่มาบรรจบกัน อยู่ที่นั่นเพื่อให้เป็นความรู้ใหม่ได้รับการยอมรับเพียงบางส่วน $\alpha$

Q (s, a) = (1 - α) Q (s, a) + α (r (s, a) + γ max_{a^{'}} Q (s^{'}, a^{'}))

$Q(s, a) = (1-\alpha)Q(s, a) + \alpha(r(s, a) + \gamma \max_{a'} Q(s',a'))$

= Q (s, a) + α (r (s, a) + γ max_{a^{'}} Q (s^{'}, a^{'}) - Q (s, a))

$= Q(s, a) + \alpha(r(s, a) + \gamma \max_{a'} Q(s',a') - Q(s,a))$

α

$\alpha$

α

$\alpha$

α

$\alpha$

α

$\alpha$ ถูกตั้งค่าสูงเพื่อให้กระแส (ส่วนใหญ่สุ่มค่า) ของ Q มีอิทธิพลน้อยกว่า ลดลงเมื่อการฝึกอบรมดำเนินไปเรื่อย ๆ ดังนั้นการอัพเดทใหม่จะมีอิทธิพลน้อยลงเรื่อย ๆ และตอนนี้การเรียนรู้ Q จะมาบรรจบกัน

α

$\alpha$

— SN
แหล่งที่มา

0

นี่คือคำอธิบายโดยละเอียดเพิ่มเติมเกี่ยวกับความสัมพันธ์ระหว่างค่าสถานะและค่าการกระทำในคำตอบของแอรอน ก่อนอื่นเรามาดูคำจำกัดความของฟังก์ชั่นค่าและฟังก์ชั่นค่าแอ็คชั่นภายใต้นโยบาย : โดยที่คือการกลับไปในเวลาทีความสัมพันธ์ระหว่างฟังก์ชั่นค่าทั้งสองนี้สามารถได้รับเป็น $\pi$

\begin{aligned} v_{π} (s) = E [G_{t} | S_{t} = s] \\ q_{π} (s, a) = E [G_{t} | S_{t} = s, A_{t} = a] \end{aligned}

$\begin{align} &v_{\pi}(s)=E{\left[G_t|S_t=s\right]} \\ &q_{\pi}(s,a)=E{\left[G_t|S_t=s, A_t=a\right]} \end{align}$

G_{t} = \sum_{k = 0}^{\infty} γ^{k} R_{t + k + 1}

$G_t=\sum_{k=0}^{\infty}\gamma^kR_{t+k+1}$

t

$t$

\begin{aligned} v_{π} (s) & = E [G_{t} | S_{t} = s] \\ = \sum_{g_{t}} p (g_{t} | S_{t} = s) g_{t} \\ = \sum_{g_{t}} \sum_{a} p (g_{t}, a | S_{t} = s) g_{t} \\ = \sum_{a} p (a | S_{t} = s) \sum_{g_{t}} p (g_{t} | S_{t} = s, A_{t} = a) g_{t} \\ = \sum_{a} p (a | S_{t} = s) E [G_{t} | S_{t} = s, A_{t} = a] \\ = \sum_{a} p (a | S_{t} = s) q_{π} (s, a) \end{aligned}

$\begin{align} v_{\pi}(s)&=E{\left[G_t|S_t=s\right]} \nonumber \\ &=\sum_{g_t} p(g_t|S_t=s)g_t \nonumber \\ &= \sum_{g_t}\sum_{a}p(g_t, a|S_t=s)g_t \nonumber \\ &= \sum_{a}p(a|S_t=s)\sum_{g_t}p(g_t|S_t=s, A_t=a)g_t \nonumber \\ &= \sum_{a}p(a|S_t=s)E{\left[G_t|S_t=s, A_t=a\right]} \nonumber \\ &= \sum_{a}p(a|S_t=s)q_{\pi}(s,a) \end{align}$ สมการข้างบนมีความสำคัญ มันอธิบายความสัมพันธ์ระหว่างฟังก์ชันค่าพื้นฐานสองฟังก์ชันในการเรียนรู้การเสริมแรง มันถูกต้องสำหรับนโยบายใด ๆ นอกจากนี้หากเรามีการกำหนดนโยบายแล้ว(s)) หวังว่านี่จะเป็นประโยชน์สำหรับคุณ (หากต้องการดูเพิ่มเติมเกี่ยวกับสมการการเพิ่มประสิทธิภาพของ Bellman https: //stats.stackexchange

v_{π} (s) = q_{π} (s, π (s))

$v_{\pi}(s)=q_{\pi}(s,\pi(s))$ )

— Jie Shi
แหล่งที่มา

0

ฟังก์ชั่นค่าเป็นสูตรนามธรรมของยูทิลิตี้ และใช้ฟังก์ชัน Q สำหรับอัลกอริทึม Q-learning

— มานูเอล
แหล่งที่มา

สำหรับบริบทของคำถามนี้และนั้นแตกต่างกัน

V

$V$

Q

$Q$

— Siong Thye Goh