การสูญเสียการฝึกอบรมลดลงเรื่อย ๆ เกิดอะไรขึ้น?

การสูญเสียการฝึกอบรมของฉันลดลงจากนั้นขึ้นอีกครั้ง มันแปลกมาก การสูญเสียการตรวจสอบข้ามติดตามการสูญเสียการฝึกอบรม เกิดอะไรขึ้น?

ฉันมี LSTMS สองกองซ้อนกันดังต่อไปนี้ (บน Keras):

model = Sequential()
model.add(LSTM(512, return_sequences=True, input_shape=(len(X[0]), len(nd.char_indices))))
model.add(Dropout(0.2))
model.add(LSTM(512, return_sequences=False))
model.add(Dropout(0.2))
model.add(Dense(len(nd.categories)))
model.add(Activation('sigmoid'))

model.compile(loss='binary_crossentropy', optimizer='adadelta')

ฉันฝึกฝนมาเป็น 100 Epochs:

model.fit(X_train, np.array(y_train), batch_size=1024, nb_epoch=100, validation_split=0.2)

อบรมเกี่ยวกับตัวอย่าง 127803 ตรวจสอบตัวอย่าง 31951

และนั่นคือลักษณะของการสูญเสีย:

อัตราการเรียนรู้ของคุณอาจสูงขึ้นหลังจากยุคที่ 25 ปัญหานี้ง่ายต่อการระบุ คุณเพียงแค่ต้องตั้งค่าให้เล็กลงสำหรับอัตราการเรียนรู้ของคุณ หากปัญหาที่เกี่ยวข้องกับอัตราการเรียนรู้ของคุณมากกว่า NN ควรมีข้อผิดพลาดต่ำกว่านี้แม้จะเกิดขึ้นอีกครั้งหลังจากนั้นไม่นาน ประเด็นหลักคืออัตราความผิดพลาดจะลดลงในบางช่วงเวลา

หากคุณสังเกตพฤติกรรมนี้คุณสามารถใช้วิธีแก้ไขปัญหาง่ายๆสองวิธี อันแรกคืออันที่ง่ายที่สุด ตั้งค่าขั้นตอนที่เล็กมากและฝึกมัน ข้อที่สองคือการลดอัตราการเรียนรู้ของคุณเป็นแบบซ้ำซาก นี่คือสูตรง่ายๆ:

โดยที่คืออัตราการเรียนรู้ของคุณคือจำนวนการวนซ้ำของคุณและคือสัมประสิทธิ์ที่ระบุอัตราการเรียนรู้ที่ลดความเร็ว ก็หมายความว่าขั้นตอนของคุณจะลดโดยปัจจัยที่สองเมื่อเท่ากับเมตรทีเอ็มที$a$$t$$m$$t$$m$