การเลือกขนาดของมินิบัสที่เหมาะสมสำหรับการไล่ระดับสีแบบสุ่ม (SGD)


13

มีวรรณกรรมใดบ้างที่ตรวจสอบการเลือกขนาดของมินิบัสเมื่อทำการโคตรลาดลงแบบสุ่ม? จากประสบการณ์ของฉันดูเหมือนว่าจะเป็นทางเลือกเชิงประจักษ์ซึ่งมักพบผ่านการตรวจสอบข้ามหรือการใช้กฎง่ายๆ

เป็นความคิดที่ดีหรือไม่ที่จะเพิ่มขนาดมินิบัสช้าลงเนื่องจากข้อผิดพลาดในการตรวจสอบความถูกต้องลดลง? สิ่งนี้จะมีผลกระทบอะไรกับข้อผิดพลาดการวางนัยทั่วไป? ฉันดีกว่าถ้าใช้มินิบัสขนาดเล็กมากและอัปเดตโมเดลของฉันนับแสนครั้งหรือไม่ ฉันจะดีกว่าด้วยจำนวนที่สมดุลระหว่างที่เล็กมากและแบตช์หรือไม่?
ฉันควรปรับขนาดของรถมินิบัสตามขนาดของชุดข้อมูลหรือจำนวนคุณลักษณะที่คาดหวังภายในชุดข้อมูลหรือไม่

เห็นได้ชัดว่าฉันมีคำถามมากมายเกี่ยวกับการใช้แผนการเรียนรู้ของมินิบัส น่าเสียดายที่เอกสารส่วนใหญ่ที่ฉันอ่านไม่ได้ระบุวิธีการที่พวกเขาเลือกพารามิเตอร์นี้ ฉันเคยประสบความสำเร็จจากนักเขียนเช่น Yann LeCun โดยเฉพาะจาก Tricks of the Trade คอลเลกชันของเอกสาร อย่างไรก็ตามฉันยังไม่เห็นคำถามเหล่านี้ตอบอย่างเต็มที่ ไม่มีใครมีคำแนะนำสำหรับเอกสารหรือคำแนะนำเกี่ยวกับเกณฑ์ที่ฉันสามารถใช้เพื่อกำหนดขนาดรถมินิบัสที่ดีเมื่อพยายามเรียนรู้คุณสมบัติ


ฉันดูเหมือนจะไม่ได้รับความนิยมมากในหัวข้อนี้ มีไซต์แลกเปลี่ยนกองซ้อนที่ดีกว่าที่จะถามการเรียนรู้ของเครื่องหรือคำถามการเรียนรู้ลึกเช่นนี้หรือไม่
Jason_L_Bens

คำตอบ:


6

ทฤษฏีประสิทธิผลของการใช้เงินเหรียญสิงคโปร์ได้รับการปรับปรุงด้วยตัวอย่างการอัปเดตเดี่ยว (เช่นขนาดของมินิบัส 1) ดังนั้นการใช้มินิบัสขนาดใหญ่นั้นไม่จำเป็นในทางทฤษฎี มันมีข้อดีสองประการในทางปฏิบัติ:

ข้อแรกหากการคำนวณสามารถแปลงเป็นเวกเตอร์ได้คุณอาจคำนวณการไล่ระดับสีสำหรับรถมินิบัสขนาดเล็ก> 1 ได้เร็วพอ ๆ กันซึ่งนำไปสู่การเพิ่มความเร็วในการฝึกอบรม

ในกรณีนี้ขนาดของรถมินิบัสที่ดีที่สุดคือฟังก์ชั่นของฮาร์ดแวร์และการนำไปใช้งานที่คุณทำงานอยู่ดังนั้นคุณอาจจะลองทดสอบหาจุดที่ดีที่สุด

สองการคำนวณการไล่ระดับสีบนขนาดมินิบัส> 1 จะนำไปสู่การไล่ระดับสีที่แม่นยำยิ่งขึ้นและขั้นตอนที่เหมาะสมยิ่งขึ้น แต่ข้อดีนี้จะมาถึงและลดระดับอย่างรวดเร็วเมื่อขนาดของรถมินิบัสเพิ่มขึ้นเกิน 1 คุณจึงสามารถมุ่งเน้นไปที่วัตถุประสงค์แรกเป็นหลัก

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.