วิธีปรับน้ำหนักให้เป็นค่า Q ด้วยการประมาณฟังก์ชั่นเชิงเส้น

ในการเรียนรู้การเสริมแรงการประมาณฟังก์ชั่นเชิงเส้นมักใช้เมื่อมีพื้นที่ของรัฐขนาดใหญ่ (เมื่อค้นหาตารางจะไม่สามารถทำได้)

รูปแบบของคุ้มค่ากับฟังก์ชั่นการประมาณเชิงเส้นจะถูกกำหนดโดย$Q-$

ที่มีน้ำหนักและฉฉันเป็นคุณสมบัติ$w_i$$f_i$

คุณสมบัติที่กำหนดไว้ล่วงหน้าโดยผู้ใช้ คำถามของฉันคือน้ำหนักถูกกำหนดอย่างไร

ฉันได้อ่าน / ดาวน์โหลดสไลด์การบรรยายบางอย่างเกี่ยวกับการเรียนรู้ด้วยฟังก์ชั่นการประมาณ ส่วนใหญ่มีสไลด์บนการถดถอยเชิงเส้นที่ตามมา เนื่องจากเป็นเพียงสไลด์จึงมีแนวโน้มที่จะไม่สมบูรณ์ ฉันสงสัยว่าการเชื่อมต่อ / ความสัมพันธ์ระหว่างสองหัวข้อคืออะไร$Q-$

การประมาณฟังก์ชั่นนั้นเป็นปัญหาการถดถอย (ในความหมายทั่วไปคือตรงข้ามกับการจำแนกที่คลาสไม่ต่อเนื่อง) คือหนึ่งพยายามเรียนรู้การแมปฟังก์ชันจากอินพุต (ในกรณีของคุณ$f(s,a)$ ) กับมูลค่าจริง เอาท์พุท$Q(s,a)$ ) เนื่องจากเราไม่มีตารางเต็มของค่าอินพุต / เอาต์พุตทั้งหมด แต่แทนที่จะเรียนรู้และประมาณค่า$Q(s,a)$ในเวลาเดียวกันพารามิเตอร์ (ที่นี่: น้ำหนัก$w$ ) จึงไม่สามารถคำนวณได้โดยตรงจากข้อมูล วิธีการทั่วไปที่นี่คือการใช้โคตรลาด

นี่คืออัลกอริทึมทั่วไปสำหรับการเรียนรู้$Q(s,a)$ด้วยการประมาณฟังก์ชั่นค่า

• init พารามิเตอร์เวกเตอร์$w=(w_1,w_2,....,w_n)$สุ่ม (เช่นใน [0,1])

• สำหรับแต่ละตอน:

  1. $s\leftarrow$สถานะเริ่มต้นของตอน
  2. $a\leftarrow$กระทำ ←ที่กำหนดโดยนโยบาย$\pi$ (แนะนำ:$\epsilon$ -greedy)
  3. ดำเนินการสังเกตรางวัลRและรัฐต่อไปs '$a$$r$$s'$
  4. $w\leftarrow w+ \alpha(r+\gamma * max_{a'}Q(s',a') - Q(s,a)) \vec\nabla_wQ(s,a)$
  5. $s\leftarrow s'$

  ทำซ้ำ 2-5 จนกระทั่ง$s$เป็นเทอร์มินัล

ที่ ...

• $\alpha\in[0,1]$เป็นอัตราการเรียนรู้
• $\gamma\in[0,1]$เป็นอัตราคิดลด
• $max_{a'}Q(s',a')$เป็นการกระทำ$a'$ในสถานะ$s'$เพิ่ม$Q(s',a)$
• $\vec\nabla_wQ(s,a)$คือการไล่ระดับสีของ$Q(s,a)$ในW$w$ในกรณีที่การเชิงเส้นของการไล่ระดับสีเป็นเพียงเวกเตอร์$(f_1(s,a),...,f_n(s,a))$

พารามิเตอร์ / weights-update (ขั้นตอนที่ 4) สามารถอ่านได้ในลักษณะนี้:

• $(r+\gamma * max_a'Q(s',a')) - (Q(s,a))$เป็นข้อผิดพลาดระหว่างการทำนาย$Q(s,a)$และ "ค่าจริง" สำหรับ$Q(s,a)$ซึ่งเป็นรางวัล$r$ได้รับตอนนี้บวกกับรางวัลที่คาดหวังพร้อมส่วนลดตามนโยบายโลภหลังจากนั้น $\gamma * max_a'Q(s',a')$
• ดังนั้นพารามิเตอร์ / น้ำหนักเวกเตอร์จะเลื่อนลงไปในทิศทางชัน (ที่ได้รับจากการไล่ระดับสี$\vec\nabla_wQ(s,a)$ ) โดยจำนวนของข้อผิดพลาดที่วัดได้ปรับด้วยα$\alpha$

ข้อมูลหลัก:

บทที่ 8 ค่าประมาณของการเรียนรู้การเสริมแรงหนังสือ (โดยรวม) : บทนำโดย Sutton และ Barto (ฉบับพิมพ์ครั้งแรก) ขั้นตอนวิธีการทั่วไปได้รับการแก้ไขในขณะที่มันจะทำกันทั่วไปในการคำนวณ$Q(s,a)$แทน$V(s)$ ) ฉันได้ทิ้งร่องรอยการมีสิทธิ์ของ$e$เพื่อมุ่งเน้นที่การไล่ระดับสีด้วยลาดชันดังนั้นจึงใช้การสำรองข้อมูลแบบขั้นตอนเดียวเท่านั้น

อ้างอิงเพิ่มเติม

• การเล่นอาตาริด้วยการเสริมการเรียนรู้อย่างล้ำลึกโดย Mnih แสดงให้เห็นถึงตัวอย่างการปฏิบัติที่ดีในการเรียนรู้$Q(s,a)$กับโครงข่ายประสาทเทียมที่ได้รับการตีพิมพ์ย้อนกลับ
• การสำรวจโดยย่อเกี่ยวกับการประมาณฟังก์ชั่นค่าพารามิเตอร์โดย Geist และ Pietquin ดูมีแนวโน้ม แต่ฉันยังไม่ได้อ่านเลย