การป้องกันการโอเวอร์โหลดของ LSTM ในชุดข้อมูลขนาดเล็ก

ฉันกำลังสร้างแบบจำลอง 15000 ทวีตสำหรับการคาดการณ์ความเชื่อมั่นโดยใช้เลเยอร์ LSTM เดียวกับหน่วยที่ซ่อนอยู่ 128 หน่วยโดยใช้การแทนคำที่เหมือนคำ 2vec ด้วย 80 มิติ ฉันได้รับความแม่นยำในการสืบเชื้อสาย (38% กับการสุ่ม = 20%) หลังจาก 1 ยุค การฝึกอบรมเพิ่มเติมทำให้ความถูกต้องในการตรวจสอบความถูกต้องเริ่มลดลงเนื่องจากความแม่นยำในการฝึกอบรมเริ่มขึ้น

ฉันจึงคิดหาวิธีที่จะทำให้เป็นมาตรฐาน ฉันไม่ต้องการลดจำนวนหน่วยที่ซ่อนอยู่ (128 หน่วยดูเหมือนน้อยไปแล้ว) ขณะนี้ฉันใช้การออกกลางคันด้วยความน่าจะเป็น 50% แต่อาจเพิ่มขึ้นได้ เครื่องมือเพิ่มประสิทธิภาพคืออดัมพร้อมพารามิเตอร์เริ่มต้นสำหรับ Keras ( http://keras.io/optimizers/#adam )

วิธีที่มีประสิทธิภาพในการลดการ overfitting สำหรับโมเดลนี้ในชุดข้อมูลของฉันคืออะไร?

คุณสามารถลอง:

• ลดจำนวนยูนิตที่ซ่อนอยู่ฉันรู้ว่าคุณบอกว่ามันดูเหมือนต่ำ แต่เมื่อชั้นเลเยอร์มีเพียง 80 คุณสมบัติจริง ๆ แล้วมันอาจเป็นได้ว่า 128 นั้นมากเกินไป กฎของหัวแม่มือคือการมีจำนวนหน่วยที่ซ่อนอยู่ในระหว่างจำนวนของหน่วยอินพุต (80) และชั้นเรียนเอาท์พุท (5);
• อีกทางหนึ่งคุณสามารถเพิ่มขนาดของพื้นที่การแทนค่าอินพุตให้มากกว่า 80 (ซึ่งอาจเกินความเป็นจริงเช่นกันหากการแสดงนั้นแคบเกินไปสำหรับคำที่ระบุ)

วิธีที่ดีในการติดตั้งเครือข่ายนั้นเริ่มต้นด้วยเครือข่ายที่มากเกินไปแล้วลดความจุ (หน่วยที่ซ่อนอยู่และพื้นที่ฝัง) จนกว่าจะไม่เหมาะสม