คำถามติดแท็ก dropout

มีแนวทางทั่วไปหรือไม่ว่าจะวางเลเยอร์ dropout ในเครือข่ายประสาท

65 neural-networks  dropout 

ฉันกำลังสร้างโครงข่ายประสาทเทียม (CNN) ที่ฉันมีเลเยอร์คู่ตามด้วยชั้นรวมกำไรและฉันต้องการใช้การออกกลางคันเพื่อลดการล้น ฉันมีความรู้สึกเช่นนี้ว่าควรจะใช้เลเยอร์การออกกลางคันหลังจากเลเยอร์รวม แต่ฉันไม่มีอะไรที่จะสำรอง สถานที่ที่เหมาะสมในการเพิ่มเลเยอร์กลางคันคืออะไร ก่อนหรือหลังเลเยอร์ร่วมกัน?

35 deep-learning  conv-neural-network  dropout 

ความแตกต่างระหว่างการออกกลางคันและการเชื่อมต่อแบบเลื่อนคืออะไร? AFAIK, dropout สุ่มลดลงโหนดที่ซ่อนอยู่ในระหว่างการฝึกอบรม แต่เก็บไว้ในการทดสอบและวางการเชื่อมต่อการเชื่อมต่อหยด แต่ไม่ทิ้งการเชื่อมต่อเทียบเท่ากับการทิ้งโหนดที่ซ่อนอยู่หรือไม่ โหนด (หรือการเชื่อมต่อ) ไม่ใช่แค่ชุดของน้ำหนักใช่หรือไม่

24 neural-networks  dropout 

เมื่อเร็ว ๆ นี้ฉันกำลังทำงานเกี่ยวกับการเรียนรู้อัลกอริทึมการส่งเสริมเช่น adaboost, การไล่ระดับสีและฉันได้ทราบความจริงที่ว่าผู้เรียนอ่อนแอที่ใช้กันมากที่สุดคือต้นไม้ ฉันอยากรู้ว่ามีตัวอย่างที่ประสบความสำเร็จเมื่อเร็ว ๆ นี้ (ฉันหมายถึงบางบทความหรือบทความ) สำหรับการใช้เครือข่ายประสาทในฐานะผู้เรียนพื้นฐาน

21 neural-networks  deep-learning  boosting  ensemble  dropout 

หากคุณมีครึ่งหน้าเพื่ออธิบายการออกกลางคันคุณจะดำเนินการอย่างไร เหตุผลใดที่อยู่เบื้องหลังเทคนิคนี้

17 neural-networks  deep-learning  regularization  dropout 

นี่คือการอ้างอิงถึงกระดาษการแปลภาษาอย่างมีประสิทธิภาพของวัตถุโดยใช้เครือข่าย Convolutionalและจากสิ่งที่ฉันเข้าใจว่าการใช้งานกลางคันนั้นเป็นแบบ 2D หลังจากอ่านรหัสจาก Keras เกี่ยวกับวิธีการนำ Spatial 2D Dropout ไปใช้โดยทั่วไปจะมีหน้ากากรูปแบบไบนารีแบบสุ่ม [batch_size, 1, 1, num_channels] อย่างไรก็ตาม Dropout 2D เชิงพื้นที่นี้ทำอะไรกับบล็อก Convolution อินพุตของรูปร่างอย่างแน่นอน [batch_size, ส่วนสูง, ความกว้าง, num_channels] การคาดเดาปัจจุบันของฉันคือว่าสำหรับแต่ละพิกเซลถ้าเลเยอร์ / ช่องใด ๆ ของพิกเซลมีค่าเป็นลบช่องทั้งหมดของพิกเซลนั้นจะมีค่าเริ่มต้นเป็นศูนย์ ถูกต้องหรือไม่ อย่างไรก็ตามถ้าการเดาของฉันถูกต้องแล้วการใช้รูปแบบไบนารีของรูปร่าง [batch_size, ความสูง, ความกว้าง, num_channels] ที่อยู่ในมิติของบล็อกอินพุตดั้งเดิมจะให้องค์ประกอบแบบปกติที่ชาญฉลาด (นี่คือตาม การใช้งานแบบเลื่อนลงของ tensorflow ที่กำหนดรูปร่างของไบนารีมาสก์เป็นรูปร่างของอินพุต) เพราะมันจะหมายความว่าหากพิกเซลใด ๆ ในบล็อกการแปลงเป็นลบดังนั้นบล็อกการแปลงทั้งหมดจะเริ่มต้นที่ 0 นี่คือส่วนที่สร้างความสับสนที่ฉันไม่ค่อยเข้าใจ

14 machine-learning  deep-learning  tensorflow  dropout