การทำให้เป็นมาตรฐานและการปรับขนาดในการเรียนรู้ออนไลน์?

สมมติว่าฉันมีลักษณนามการถดถอยโลจิสติก ในการเรียนรู้แบบกลุ่มตามปกติฉันมีคำศัพท์ปกติเพื่อป้องกันไม่ให้เกิดการ overfitting และทำให้น้ำหนักของฉันเล็ก ฉันจะทำให้ปกติและปรับขนาดคุณสมบัติของฉัน

ในการเรียนรู้ออนไลน์ฉันได้รับกระแสข้อมูลอย่างต่อเนื่อง ฉันทำการอัพเดทโคตรลาดตามแต่ละตัวอย่างแล้วละทิ้งมัน ฉันควรจะใช้การปรับขนาดและคำศัพท์ในการเรียนรู้ออนไลน์หรือไม่ ถ้าใช่ฉันจะทำอย่างไร ตัวอย่างเช่นฉันไม่มีชุดข้อมูลการฝึกอบรมที่จะเทียบเคียง ฉันยังไม่มีชุดการตรวจสอบเพื่อปรับพารามิเตอร์การทำให้เป็นมาตรฐานของฉัน ถ้าไม่ทำไมล่ะ

ในการเรียนรู้ออนไลน์ของฉันฉันได้รับตัวอย่างมากมายอย่างต่อเนื่อง สำหรับตัวอย่างใหม่แต่ละครั้งฉันทำนายผล จากนั้นในขั้นตอนต่อไปฉันจะได้รับเป้าหมายที่แท้จริงและทำการอัพเดทลาดลง

โครงการโอเพนซอร์ซ vowpal wabbitรวมถึงการดำเนินการออนไลน์ SGD ซึ่งได้รับการปรับปรุงโดยการคำนวณแบบทันที (ออนไลน์) ของ 3 ปัจจัยเพิ่มเติมที่มีผลต่อการปรับปรุงน้ำหนัก ปัจจัยเหล่านี้สามารถเปิดใช้งาน / ปิดการใช้งานโดยตัวเลือกบรรทัดคำสั่งที่เกี่ยวข้อง (โดยค่าเริ่มต้นทั้งสามถูกเปิดใช้งาน--sgdตัวเลือกจะปิดทั้งหมดเช่น: ตกลงบน "ดั้งเดิม" SGD)

ตัวเลือกการเสริม 3 SGD คือ:

• --normalized การอัปเดตที่ปรับสำหรับขนาดของแต่ละคุณสมบัติ
• --adaptive ใช้การไล่ระดับสีแบบปรับตัว (AdaGrad) (Duchi, Hazan, นักร้อง)
• --invariant การปรับปรุงการตระหนักถึงความสำคัญ (Karampatziakis, Langford)

พวกเขามั่นใจว่ากระบวนการเรียนรู้ออนไลน์จะทำการชดเชย / ปรับอัตโนมัติ 3 ทางสำหรับ:

• การปรับตามคุณลักษณะ (ขนาดใหญ่เทียบกับค่าเล็ก)
• อัตราการเรียนรู้ต่อคุณลักษณะลดลงตามความสำคัญของคุณลักษณะ
• ต่อการปรับอัตราการเรียนรู้แบบปรับเปลี่ยนคุณสมบัติสำหรับตัวอย่างที่พบบ่อย

ผลที่สุดคือไม่จำเป็นต้องปรับสภาพหรือปรับฟีเจอร์ต่าง ๆ ล่วงหน้าเพื่อให้ผู้เรียนมีอคติน้อยลงและมีประสิทธิภาพมากขึ้น

นอกจากนี้vowpal wabbitยังใช้การทำให้เป็นบรรทัดฐานออนไลน์ผ่านการไล่ระดับสีที่ถูกตัดทอนด้วยตัวเลือกการทำให้เป็นระเบียบ:

• --l1 (L1-บรรทัดฐาน)
• --l2 (L2 บรรทัดฐาน)

ประสบการณ์ของฉันกับการปรับปรุงเหล่านี้ในชุดข้อมูลหลายชุดคือว่าพวกเขาปรับปรุงความแม่นยำของโมเดลและการบรรจบกันอย่างราบรื่นเมื่อนำแต่ละชุดมาใช้ในรหัส

นี่คือเอกสารทางวิชาการสำหรับรายละเอียดเพิ่มเติมเกี่ยวกับการปรับปรุงเหล่านี้:

• การปรับปรุงความเข้าใจเรื่องน้ำหนักความสำคัญออนไลน์โดย Nikos Karampatziakis และ John Langford + สไลด์ของการพูดคุยเกี่ยวกับบทความนี้
• การเรียนรู้ออนไลน์แบบเบาบางผ่านการไล่ระดับสีแบบย่อโดย John Langford, Lihong Li และ Tong Zhang
• วิธี Subgradient ที่ปรับเปลี่ยนได้สำหรับการเรียนรู้ออนไลน์และการเพิ่มประสิทธิภาพ Stochasticโดย John Duchi, Elad Hazan, Yoram Singer

บทความนี้อธิบายถึงเทคนิคสำหรับการทำให้เป็นระเบียบทางออนไลน์ซึ่งใช้กับอัลกอริทึมต่าง ๆ รวมถึงการถดถอยโลจิสติก: http://ai.stanford.edu/~chuongdo/papers/proximal.pdf

ใช่คุณต้องการการทำให้เป็นมาตรฐานอย่างแน่นอน ... นอกจากนี้ยังช่วยลดระดับการไล่ระดับสี (และอัตราการเริ่มต้นการเรียนรู้ที่ 1 / C)

ดูตัวอย่างกระดาษ SGD-QN http://leon.bottou.org/papersเอกสารของ bottou

คุณยังไม่ได้อธิบายสิ่งที่คุณหมายถึงโดยการเรียนรู้ออนไลน์: เช่นสำหรับแต่ละจุดคุณจะได้รับมูลค่าเป้าหมายหรือไม่ ฉันไม่ทราบว่าคุณจะรวม ... ค้นหา C ... ฉันเดาว่าคุณจะมีตัวแยกประเภทหลายตัวที่มีข้อกำหนดการทำให้เป็นมาตรฐานที่แตกต่างกันและติดตามข้อผิดพลาดในการทำนาย (ก่อนที่คุณจะอัปเดตตุ้มน้ำหนัก)