มีการใช้วิธีการค้นหาสายในการเรียนรู้อย่างลึกซึ้งหรือไม่? ทำไมจะไม่ล่ะ?

บทเรียนออนไลน์มากมายพูดคุยเกี่ยวกับการไล่ระดับสีและเกือบทั้งหมดใช้ขนาดขั้นตอนคงที่ (อัตราการเรียนรู้ ) เหตุใดจึงไม่มีการใช้การค้นหาบรรทัด (เช่นการค้นหาบรรทัดย้อนรอยหรือการค้นหาเส้นตรง)$\alpha$

เชื้อสายการไล่ระดับสีวานิลลาสามารถทำให้การค้นหาบรรทัดเชื่อถือได้มากขึ้น ฉันเขียนอัลกอริธึมที่ทำสิ่งนี้และทำเพื่ออัลกอริธึมที่เสถียรมาก (แม้ว่าไม่จำเป็นต้องเร็ว)

อย่างไรก็ตามมันไม่มีความหมายเลยที่จะทำการค้นหาบรรทัดสำหรับวิธีการไล่ระดับสีแบบสุ่ม เหตุผลที่ฉันพูดแบบนี้ก็คือถ้าเราทำการค้นหาข้อมูลตามการลดฟังก์ชั่นการสูญเสียทั้งหมดเราได้สูญเสียหนึ่งในแรงจูงใจหลักในการทำวิธีการสุ่ม ตอนนี้เราจำเป็นต้องคำนวณฟังก์ชั่นการสูญเสียเต็มรูปแบบสำหรับการอัพเดทแต่ละครั้งซึ่งโดยทั่วไปจะมีค่าใช้จ่ายในการคำนวณเทียบเท่ากับการคำนวณอนุพันธ์อันดับแรก เนื่องจากเราต้องการหลีกเลี่ยงการคำนวณการไล่ระดับสีแบบเต็มเนื่องจากค่าใช้จ่ายในการคำนวณดูเหมือนว่าไม่น่าเป็นไปได้มากที่เราต้องการที่จะใช้ฟังก์ชันการสูญเสียแบบเต็ม

หรือคุณอาจคิดว่าจะทำอะไรบางอย่างเช่นการค้นหาบรรทัดตามจุดข้อมูลที่สุ่มตัวอย่างของคุณ อย่างไรก็ตามนี่ไม่ใช่ความคิดที่ดีเช่นกัน สิ่งนี้จะไม่บอกคุณว่าคุณก้าวไปไกลเกินไป (ซึ่งเป็นประโยชน์หลักของการค้นหาบรรทัด) ตัวอย่างเช่นสมมติว่าคุณกำลังทำการถดถอยโลจิสติก จากนั้นผลลัพธ์แต่ละรายการจะมีค่าเพียง 0 หรือ 1 และสำหรับตัวอย่างใด ๆ เราจะได้รับการแยกที่สมบูรณ์แบบดังนั้นวิธีการแก้ปัญหาที่ดีที่สุดสำหรับพารามิเตอร์การถดถอยของเราจากตัวอย่าง 1 นั้นมีน้อยมากหรือ∞โดยเอฟเฟกต์ Hauck Donner นั่นไม่ดีเลย$-\infty$$\infty$

แก้ไข

@DeltaIV ชี้ให้เห็นว่าสิ่งนี้ยังนำไปใช้กับมินิแบทช์ไม่ได้เป็นเพียงตัวอย่างแต่ละตัวอย่าง

แบบฝึกหัดพูดคุยเกี่ยวกับการไล่ระดับสีอย่างน่าจะเป็นเพราะมันเป็นหนึ่งในอัลกอริธึมที่ง่ายที่สุดที่ใช้สำหรับการปรับให้เหมาะสมดังนั้นจึงเป็นเรื่องง่ายที่จะอธิบาย เนื่องจากแบบฝึกหัดส่วนใหญ่ค่อนข้างสั้นพวกเขาจึงเน้นเรื่องง่าย ๆ อย่างน้อยมีอัลกอริธึมการเพิ่มประสิทธิภาพยอดนิยมอย่างน้อยที่สุดนอกเหนือจากการไล่ระดับสีแบบง่าย ๆ ที่ใช้สำหรับการเรียนรู้ลึก จริงๆแล้วคนเรามักจะใช้อัลกอริธึมที่แตกต่างกันจากนั้นก็ไล่ตามการไล่ระดับสี บางคนมีอัตราการเรียนรู้ที่ไม่คงที่ (เช่นลดลงเมื่อเวลาผ่านไป) สำหรับการตรวจสอบอัลกอริธึมดังกล่าวคุณสามารถตรวจสอบภาพรวมของอัลกอริธึมการเพิ่มประสิทธิภาพการไล่ระดับสีที่ลาดชันโดย Sebastian Ruder (หรือกระดาษ arXived )