ความหมายของปัจจัยส่วนลดต่อการเรียนรู้เสริมแรง

หลังจากอ่านความสำเร็จของgoogle deepmind ในเกมของอาตาริฉันพยายามเข้าใจ q-learning และ q-Networks แต่ฉันสับสนเล็กน้อย ความสับสนเกิดขึ้นในแนวคิดของปัจจัยส่วนลด สรุปโดยย่อของสิ่งที่ฉันเข้าใจ โครงข่ายประสาทเทียมแบบฝังลึกจะใช้ในการประเมินมูลค่าของค่าที่คาดหวังที่เหมาะสมที่สุดของการกระทำ เครือข่ายต้องลดฟังก์ชั่นการสูญเสียให้น้อยที่สุด โดยที่ E s ′ [ y | s , a ]คือ E [ r + γ m a x a ′ Q ( s ′ , a ′ ; θ - i ) | s,a] โดยที่Qคือค่าคะแนนสะสมและrคือค่าคะแนนสำหรับการกระทำที่เลือก s,aและ

$$L_i=\mathbb{E}_{s,a,r}\left[(\mathbb{E}_{s'}\left[y|s,a\right]-Q(s,a;\theta_i))^2\right]$$ $\mathbb{E}_{s'}\left[y|s,a\right]$ $$\mathbb{E}\left[r+\gamma max_{a'} Q(s',a';\theta^-_i)\right|s,a]$$ $Q$$r$$s,a$เป็นลำดับของรัฐและการดำเนินการเลือกในเวลาที่เสื้อและของรัฐและการดำเนินการในขณะที่ที ' θ - ฉันมีน้ำหนักของเครือข่ายที่ซ้ำก่อนหน้านี้ γเป็นปัจจัยส่วนลดที่คำนึงถึงความแตกต่างชั่วคราวของค่าคะแนน ตัวห้อย iเป็นขั้นตอนชั่วคราว นี่คือปัญหาที่จะเข้าใจว่าทำไม γไม่ได้ขึ้นอยู่กับθ$s',a'$$t$$t'$$\theta^-_i$$\gamma$$i$$\gamma$$\theta$

จากจุดทางคณิตศาสตร์ของมุมมองเป็นปัจจัยส่วนลดและแสดงให้เห็นถึงความเป็นไปได้ที่จะไปถึงรัฐs 'จากรัฐs$\gamma$$s'$$s$

$Q$$\gamma$$\gamma=1$

$s′$$s$$p(s'|s,a)$$γ$$y$$s$เป็นรางวัลที่ทันทีสำหรับรัฐนี้บวกกับสิ่งที่คุณคาดหวังที่จะได้รับในอนาคตเริ่มต้นจากsแต่ระยะเวลาในอนาคตนั้นจะต้องลดราคาเนื่องจากรางวัลในอนาคตอาจไม่ (ถ้า ) มีมูลค่าเท่ากันกับการได้รับรางวัลทันที (เช่นเดียวกับที่เราต้องการรับ$ 100 ตอนนี้แทนที่จะเป็น$ 100 ในวันพรุ่งนี้) ขึ้นอยู่กับคุณที่จะเลือกจำนวนเงินที่คุณต้องการคิดค่าเสื่อมราคาในอนาคตของคุณ (ขึ้นอยู่กับปัญหา) อัตราส่วนลดที่ 0 หมายความว่าคุณใส่ใจเฉพาะรางวัลในทันที ยิ่งอัตราส่วนลดของคุณสูงเท่าไหร่รางวัลของคุณก็จะยิ่งกระจายไปตามกาลเวลา$s$$γ < 1$

ฉันขอแนะนำให้คุณอ่านหนังสือSutton & Bartoก่อนที่จะลอง Deep-Q เพื่อเรียนรู้การเสริมแรงอย่างแท้จริงนอกบริบทของเครือข่ายประสาทซึ่งอาจทำให้คุณสับสน