การออกกลางคันของ LSTM ชั้นใด

ควรใช้หลายชั้นLSTMพร้อมกับดรอปเอาท์หรือไม่แนะนำให้วางออกกลางคันบนเลเยอร์ที่ซ่อนอยู่ทั้งหมดรวมถึงเอาท์พุทเลเยอร์หนาแน่น ในกระดาษของฮินตัน (ซึ่งเสนอให้ออกกลางคัน) เขาแค่วางกลางคันลงบนชั้นที่หนาแน่นเท่านั้น แต่นั่นเป็นเพราะชั้นในที่ซ่อนอยู่นั้นเป็นรูปธรรม

เห็นได้ชัดว่าฉันสามารถทดสอบรูปแบบเฉพาะของฉัน แต่ฉันสงสัยว่ามีฉันทามติเกี่ยวกับเรื่องนี้หรือไม่?

ฉันไม่ต้องการเพิ่มการเลื่อนออกในLSTMเซลล์ด้วยเหตุผลที่เฉพาะเจาะจงและชัดเจน LSTMsดีสำหรับระยะยาว แต่สิ่งสำคัญเกี่ยวกับพวกเขาก็คือพวกเขาไม่เก่งในการท่องจำหลายสิ่งพร้อมกัน ตรรกะของการดรอปเอาท์คือการเพิ่มสัญญาณรบกวนให้กับเซลล์ประสาทเพื่อไม่ให้ขึ้นอยู่กับเซลล์ประสาทใด ๆ เมื่อเพิ่มการเลื่อนออกสำหรับLSTMเซลล์มีโอกาสที่จะลืมสิ่งที่ไม่ควรลืม ดังนั้นCNNsฉันชอบที่จะใช้แบบเลื่อนออกในชั้นหนาแน่นหลังจากที่LSTMชั้น

ไม่มีฉันทามติที่สามารถพิสูจน์ได้ในทุกรุ่นของโมเดล

การคิดว่าการออกกลางคันเป็นรูปแบบของการทำให้เป็นมาตรฐานเท่าไรที่จะใช้ (และที่ใด) จะขึ้นอยู่กับชนิดและขนาดของชุดข้อมูลรวมถึงความซับซ้อนของแบบจำลองที่คุณสร้างขึ้น (ขนาดใหญ่)