เชื้อสายการไล่ระดับสีของ minibatch จะปรับปรุงน้ำหนักสำหรับตัวอย่างในชุดได้อย่างไร

หากเราประมวลผลตัวอย่าง 10 ตัวอย่างในแบตช์ฉันเข้าใจว่าเราสามารถสรุปการสูญเสียสำหรับแต่ละตัวอย่าง แต่การ backpropagation ทำงานอย่างไรในการอัปเดตน้ำหนักสำหรับแต่ละตัวอย่าง

ตัวอย่างเช่น:

• ตัวอย่างที่ 1 -> การสูญเสีย = 2
• ตัวอย่างที่ 2 -> การสูญเสีย = -2

ซึ่งส่งผลให้สูญเสียเฉลี่ย 0 (E = 0) ดังนั้นสิ่งนี้จะปรับปรุงน้ำหนักและบรรจบกันได้อย่างไร มันเป็นเพียงการสุ่มของชุดที่เรา "หวังว่า" มาบรรจบกันไม่ช้าก็เร็ว? สิ่งนี้ไม่เพียงคำนวณการไล่ระดับสีสำหรับตุ้มน้ำหนักชุดแรกสำหรับตัวอย่างสุดท้ายที่ประมวลผลด้วยหรือไม่

การไล่ระดับสีไม่ทำงานตามที่คุณแนะนำ แต่อาจเกิดปัญหาคล้ายกัน

เราไม่คำนวณการสูญเสียเฉลี่ยจากแบทช์เราคำนวณการไล่ระดับสีเฉลี่ยของฟังก์ชันการสูญเสีย การไล่ระดับสีเป็นอนุพันธ์ของการสูญเสียที่เกี่ยวกับน้ำหนักและในเครือข่ายประสาทเทียมการไล่ระดับสีสำหรับน้ำหนักหนึ่งขึ้นอยู่กับอินพุตของตัวอย่างเฉพาะนั้นและมันยังขึ้นอยู่กับน้ำหนักอื่น ๆ อีกมากมายในแบบจำลอง

หากแบบจำลองของคุณมีน้ำหนัก 5 น้ำหนักและคุณมีขนาดเล็กเป็นกลุ่ม 2 คุณอาจได้รับสิ่งนี้:

$\text{gradients}=(1.5,-2.0,1.1,0.4,-0.9)$

$\text{gradients}=(1.2,2.3,-1.1,-0.8,-0.7)$

$(1.35,0.15,0,-0.2,-0.8)$

$0$

แก้ไขเพื่อตอบสนองต่อความคิดเห็น:

$k$$L_i$$w_j$

วิธีที่ฉันเขียนมันในตัวอย่างของฉันฉันเฉลี่ยแต่ละการไล่ระดับสีเช่น:$\frac{\partial L}{\partial w_j} = \frac{1}{k} \sum_{i=1}^{k} \frac{\partial L_i}{\partial w_j}$

รหัสบทช่วยสอนที่คุณเชื่อมโยงในความคิดเห็นใช้ Tensorflow เพื่อลดการสูญเสียโดยเฉลี่ย

Tensorflow ตั้งเป้าที่จะลด$\frac{1}{k} \sum_{i=1}^{k} L_i$

เพื่อลดสิ่งนี้มันคำนวณการไล่ระดับสีของการสูญเสียเฉลี่ยที่เกี่ยวกับน้ำหนักแต่ละตัวและใช้การไล่ระดับสีเพื่อปรับปรุงน้ำหนัก:

$\frac{\partial L}{\partial w_j} = \frac{\partial }{\partial w_j} \frac{1}{k} \sum_{i=1}^{k} L_i$

ความแตกต่างสามารถนำมารวมกันได้ดังนั้นมันจึงเหมือนกับการแสดงออกจากแนวทางในตัวอย่างของฉัน

$\frac{\partial }{\partial w_j} \frac{1}{k} \sum_{i=1}^{k} L_i = \frac{1}{k} \sum_{i=1}^{k} \frac{\partial L_i}{\partial w_j}$

เหตุผลที่ใช้ mini-batches คือมีตัวอย่างของการฝึกอบรมที่ดีเช่นเสียงที่เป็นไปได้ของมันจะลดลงโดยเฉลี่ยของเอฟเฟ็กต์ของพวกเขา แต่ยังไม่ใช่แบทช์เต็มรูปแบบ ข้อเท็จจริงสำคัญอย่างหนึ่งคือข้อผิดพลาดที่คุณประเมินนั้นเป็นระยะทางเสมอระหว่างผลลัพธ์ที่คาดการณ์ของคุณกับผลลัพธ์จริง: นั่นหมายความว่าไม่สามารถเป็นค่าลบได้ดังนั้นคุณจึงไม่สามารถมีข้อผิดพลาดที่ 2 และ -2 ที่ยกเลิกได้ แต่มันจะกลายเป็นข้อผิดพลาด 4 จากนั้นคุณประเมินการไล่ระดับสีของข้อผิดพลาดเกี่ยวกับน้ำหนักทั้งหมดเพื่อให้คุณสามารถคำนวณว่าการเปลี่ยนแปลงใดในน้ำหนักจะลดลงได้มากที่สุด เมื่อคุณทำเช่นนั้นคุณจะทำ "ขั้นตอน" ในทิศทางนั้นขึ้นอยู่กับขนาดของอัตราการเรียนรู้ของคุณอัลฟ่า (นี่คือแนวคิดพื้นฐานฉันจะไม่ลงรายละเอียดเกี่ยวกับ backpropagation สำหรับ NN ลึก ๆ ) หลังจากใช้การฝึกอบรมนี้บนชุดข้อมูลของคุณสำหรับยุคจำนวนหนึ่งคุณสามารถคาดหวังว่าเครือข่ายของคุณจะมาบรรจบกันหากขั้นตอนการเรียนรู้ของคุณไม่ใหญ่เกินไป ทำให้มันแตกต่าง คุณยังสามารถสิ้นสุดขั้นต่ำท้องถิ่นได้สิ่งนี้สามารถหลีกเลี่ยงได้โดยการเริ่มต้นน้ำหนักของคุณแตกต่างกันใช้เครื่องมือเพิ่มประสิทธิภาพ differenr และพยายามทำให้เป็นปกติ