Q-learning ด้วย Neural Network เป็นฟังก์ชันการประมาณ

ฉันกำลังพยายามที่จะใช้เครือข่ายประสาทเพื่อให้ใกล้เคียงกับ Q-ค่าใน Q-การเรียนรู้ในขณะที่มีคำถามเกี่ยวกับ Q-การเรียนรู้โดยใช้โครงข่ายประสาทเทียม ตามที่แนะนำในคำตอบแรกฉันใช้ฟังก์ชั่นการเปิดใช้งานเชิงเส้นสำหรับเลเยอร์เอาท์พุทในขณะที่ฉันยังคงใช้ฟังก์ชั่นการเปิดใช้งาน sigmoid ในเลเยอร์ที่ซ่อนอยู่ (2 แม้ว่าฉันจะสามารถเปลี่ยนได้ในภายหลัง) ฉันยังใช้ NN เดี่ยวที่คืนค่าเอาต์พุตสำหรับแต่ละการดำเนินการ$Q(a)$ตามที่แนะนำ

อย่างไรก็ตามอัลกอริทึมยังคงแยกออกสำหรับปัญหาการทรงตัวของรถเข็นเสาอย่างง่าย ดังนั้นฉันกลัวว่าการอัปเดต Q ของฉันจะผิด หลังจากการเริ่มต้นสิ่งที่ฉันทำในแต่ละขั้นตอนมีดังต่อไปนี้:

• คำนวณ$Q_t(s_t)$โดยใช้การขยายพันธุ์ไปข้างหน้าของ NN สำหรับการดำเนินการทั้งหมด
• เลือกการกระทำใหม่T , ที่ดินในรัฐใหม่s T$a_t$$s_t$
• คำนวณ$Q_t(s_{t+1})$โดยใช้การขยายพันธุ์ไปข้างหน้าของ NN สำหรับการดำเนินการทั้งหมด
• a t Q t + 1 ( $Q_{t+1}(s_t,a_t)=Q_t(s_t,a_t)+\alpha_t \left[r_{t+1}+\gamma \max_a Q(s_{t+1},a) - Q_t(s_t,a_t) \right]$$a_t$$Q_{t+1}(s,a_t)=Q_{t}(s,a_t)$
• ตั้งค่าเวกเตอร์ข้อผิดพลาดเป็น$\mathbf{e}=Q_\mathrm{target}-Q_t=Q_{t+1}-Q_t$
• เผยแพร่ข้อผิดพลาดผ่าน NN เพื่ออัปเดตการฝึกอบรมเรื่องน้ำหนัก

ใครช่วยชี้ให้ฉันที่ฉันผิดไปได้ไหม

นอกจากนี้คุณคิดว่าฉันควรรวมคำว่าอคติไว้ในชั้นข้อมูลเข้าและเลเยอร์ที่ซ่อนอยู่เป็นครั้งแรก (เช่นสำหรับฟังก์ชัน sigmoid) หรือไม่ มันจะสร้างความแตกต่างหรือไม่?

ขอบคุณล่วงหน้ามากสำหรับความช่วยเหลือของคุณ ฉันสามารถช่วยชี้แจงคำถามหรือแบ่งปันรหัสหากจำเป็น

เป้าหมายของคุณควรเป็นเพียงแค่

$r_{t+1}+\gamma \max_a Q(s_{t+1},a)$ก)

โปรดทราบว่าข้อผิดพลาดของคุณ (ซึ่งถูกต้อง) นั้นสามารถเขียนใหม่เป็น $r_{t+1}+\gamma \max_a Q(s_{t+1},a) - Q_t$

ซึ่งเป็นคำที่อยู่ในวงเล็บในสูตรการอัพเดท สิ่งนี้จะได้รับการคูณด้วยอัตราการเรียนรู้ NN ของคุณและข้อกำหนดการ backpropagation อื่น ๆ ในระหว่างการเรียนรู้จากนั้นเพิ่มลงในน้ำหนักก่อนหน้าเช่นเดียวกับสูตรการอัพเดต$Q$