การสูญเสียการฝึกอบรมเพิ่มขึ้นตามเวลา [ซ้ำ]


21

ฉันกำลังฝึกอบรมนางแบบ (Recurrent Neural Network) เพื่อจำแนกลำดับของ 4 ประเภท ขณะที่ฉันทำการฝึกฉันเห็นการสูญเสียการฝึกอบรมลดลงจนถึงจุดที่ฉันจัดประเภทตัวอย่างในชุดการฝึกได้มากกว่า 90% อย่างไรก็ตามอีกไม่กี่ยุคต่อมาฉันสังเกตเห็นว่าการสูญเสียการฝึกอบรมเพิ่มขึ้นและความแม่นยำลดลง ดูเหมือนว่าจะแปลกสำหรับฉันเพราะฉันคาดหวังว่าในชุดฝึกอบรมประสิทธิภาพจะดีขึ้นเมื่อเวลาไม่ลดลง ฉันกำลังใช้การสูญเสียเอนโทรปีและอัตราการเรียนรู้ของฉันคือ 0.0002

อัปเดต:ปรากฎว่าอัตราการเรียนรู้สูงเกินไป ด้วยอัตราการเรียนรู้ที่ต่ำพอที่ต่ำฉันไม่สังเกตพฤติกรรมนี้ อย่างไรก็ตามฉันยังพบสิ่งแปลกประหลาดนี้ คำอธิบายที่ดียินดีต้อนรับว่าทำไมสิ่งนี้ถึงเกิดขึ้น

การสูญเสียลดลงและเพิ่มขึ้น

คำตอบ:


6

ฉันมีพฤติกรรมที่คล้ายกันเมื่อฝึกอบรม CNN นั่นเป็นเพราะฉันใช้การไล่ระดับสีด้วยอัตราการเรียนรู้ที่เน่าเปื่อยสำหรับการคำนวณข้อผิดพลาด คุณเพิ่มจำนวนการวนซ้ำอย่างมีนัยสำคัญและตรวจสอบว่าพฤติกรรมนี้มาพร้อมกับอัตราการเรียนรู้ต่ำใหม่หรือไม่


จริง ๆ แล้วใช่ แต่มีจุดที่สำหรับอัตราการเรียนรู้ที่ต่ำพอที่จะไม่ไปขึ้นอีกครั้ง ฉันกำลังมองหาคำอธิบายที่ถูกต้องตามหลักเหตุผลว่าทำไมสิ่งนี้จึงเกิดขึ้น
dins2018

อัลกอริธึมการเพิ่มประสิทธิภาพใดที่คุณใช้
Freundlicher

ฉันใช้เครื่องมือเพิ่มประสิทธิภาพอาดัมกับ lr = 0.00001, betas = (0.5, 0.999)
dins2018

1
ฉันคิดว่าคุณเป็นคนที่ใกล้เคียงกับอัตราการเรียนรู้ขนาดเล็กนี้อย่างช้าๆไปจนถึงระดับต่ำสุดในพื้นที่ที่จุดที่ค่าการสูญเสียเพิ่มขึ้นอีกเล็กน้อย มูลค่าการสูญเสียที่เพิ่มขึ้นนี้เกิดจากอาดัมในขณะที่ค่าต่ำสุดในท้องถิ่นเกินกว่าที่กำหนดและมีการวนซ้ำจำนวนหนึ่งจำนวนน้อยจะถูกหารด้วยจำนวนที่เล็กลงและค่าการสูญเสียจะระเบิด
Freundlicher

2
คุณสามารถตั้งค่า beta1 = 0.9 และ beta2 = 0.999 นั่นคือค่าทั่วไปที่ต้องทำงานกับพฤติกรรมนี้
Freundlicher

1

เนื่องจากอัตราการเรียนรู้สูงเกินไปจึงจะแตกต่างและไม่สามารถหาฟังก์ชันการสูญเสียขั้นต่ำได้ การใช้ตัวกำหนดตารางเวลาเพื่อลดอัตราการเรียนรู้หลังจากยุคที่แน่นอนจะช่วยแก้ปัญหาได้


0

ด้วยอัตราการเรียนรู้ที่สูงขึ้นคุณจะย้ายไปในทิศทางตรงกันข้ามกับการไล่ระดับสีมากเกินไปและอาจย้ายออกจาก minima ท้องถิ่นซึ่งสามารถเพิ่มการสูญเสีย การจัดตารางอัตราการเรียนรู้และการตัดการไล่ระดับสีสามารถช่วยได้


ยินดีต้อนรับสู่ประวัติย่อ หากต้องการรับคำแนะนำที่ดีที่สุดคือให้คำตอบที่สมบูรณ์ยิ่งขึ้นให้ดูที่stats.stackexchange.com/help/how-to-answerสำหรับคำแนะนำ
ReneBt
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.