การเรียนรู้แบบออนไลน์และแบบกลุ่มแตกต่างกันอย่างไร

ฉันกำลังอ่านกระดาษอย่างมีประสิทธิภาพออนไลน์และการเรียนรู้แบบแบตช์โดยใช้การแยกไปข้างหน้า - ถอยหลังโดย John Duchi และ Yoram Singer ฉันสับสนมากเกี่ยวกับการใช้คำว่า 'ออนไลน์' และ 'แบทช์'

ฉันคิดว่า 'ออนไลน์' หมายถึงเราอัปเดตพารามิเตอร์น้ำหนักหลังจากประมวลผลข้อมูลการฝึกอบรมหนึ่งหน่วย จากนั้นเราใช้พารามิเตอร์น้ำหนักใหม่เพื่อประมวลผลหน่วยถัดไปของข้อมูลการฝึกอบรม

อย่างไรก็ตามในกระดาษข้างต้นการใช้งานไม่ชัดเจน

สำหรับฉันดูเหมือนว่าพวกเขากำลังใช้ชุดและเรียนรู้ออนไลน์ได้อย่างถูกต้อง ในส่วนที่ 3 พวกเขากำลังทำงานกับชุดข้อมูลทั้งหมดเพื่อทำการเรียนรู้เช่นชุดการเรียนรู้ในขณะที่ในส่วนที่ 4 พวกเขาเปลี่ยนไปใช้การไล่ระดับสีสุ่มตามซึ่งสามารถใช้เป็นอัลกอริทึมการเรียนรู้ออนไลน์

ฉันไม่เคยใช้การไล่ระดับสีแบบสุ่มต่อไปนี้เป็นอัลกอริทึมการเรียนรู้ออนไลน์ อย่างไรก็ตามเป็นไปได้ที่จะหยุดกระบวนการปรับให้เหมาะสมในระหว่างการเรียนรู้และยังคงเป็นแบบจำลองที่มีประโยชน์ สำหรับชุดข้อมูลขนาดใหญ่มากสิ่งนี้มีประโยชน์เนื่องจากคุณสามารถวัดค่าการลู่เข้าและออกจากการเรียนรู้ได้เร็ว คุณสามารถใช้การไล่ระดับสีแบบสุ่มต่อไปนี้เป็นวิธีการเรียนรู้ออนไลน์เนื่องจากคุณอัปเดตโมเดลสำหรับดาต้าพอยท์ใหม่ทุกครั้งตามที่ฉันคิดว่าคุณพูด แม้ว่าฉันจะระมัดระวังเกี่ยวกับการเรียกมันว่า "ต่อข้อมูลการฝึกอบรม" ข้อมูลการฝึกอบรมเป็นชุดข้อมูลไม่ใช่ชุดข้อมูล แต่ฉันคิดว่าฉันเข้าใจคุณตั้งแต่คุณพูดว่า " ต่อข้อมูลการฝึกอบรม"

ในระยะสั้น

ออนไลน์: การเรียนรู้ขึ้นอยู่กับแต่ละรูปแบบตามที่สังเกต

รุ่นที่: เรียนรู้มากกว่ากลุ่มของ patters อัลกอริทึมส่วนใหญ่เป็นชุด

ที่มา: http://machinelearningmastery.com/basic-concepts-in-machine-learning/

รุ่นที่เทียบกับการเรียนรู้แบบออนไลน์

โหมดออนไลน์และแบทช์แตกต่างกันเล็กน้อยแม้ว่าทั้งสองจะทำงานได้ดีสำหรับพื้นผิวประสิทธิภาพแบบพาราโบลา ความแตกต่างที่สำคัญอย่างหนึ่งคืออัลกอริธึมแบบแบตช์ทำให้น้ำหนักของระบบคงที่ในขณะที่คำนวณข้อผิดพลาดที่เกี่ยวข้องกับแต่ละตัวอย่างในอินพุต เนื่องจากเวอร์ชันออนไลน์อัปเดตน้ำหนักอย่างต่อเนื่องการคำนวณข้อผิดพลาด (และการประมาณค่าไล่ระดับสี) ใช้น้ำหนักที่แตกต่างกันสำหรับแต่ละตัวอย่างอินพุต ซึ่งหมายความว่าอัลกอริธึมทั้งสองจะไปเยี่ยมชมจุดต่าง ๆ ในระหว่างการปรับตัว อย่างไรก็ตามพวกเขาทั้งสองมาบรรจบกันเป็นขั้นต่ำเดียวกัน

โปรดทราบว่าจำนวนการอัปเดตน้ำหนักของทั้งสองวิธีสำหรับการนำเสนอข้อมูลจำนวนเท่ากันแตกต่างกันมาก วิธีการออนไลน์ (LMS) ทำการอัพเดทแต่ละตัวอย่างในขณะที่แบทช์ทำการอัพเดทแต่ละยุคนั่นคือ

LMS updates = (อัพเดตชุด) x (# ของตัวอย่างในชุดฝึกอบรม)

อัลกอริทึมแบทช์ยังมีประสิทธิภาพมากขึ้นเล็กน้อยในแง่ของจำนวนการคำนวณ