DropOut ทำงานกับเลเยอร์ convolutional ได้อย่างไร

ดรอปเอาท์( กระดาษคำอธิบาย ) ตั้งค่าเอาต์พุตของเซลล์ประสาทบางตัวให้เป็นศูนย์ ดังนั้นสำหรับ MLP คุณอาจมีสถาปัตยกรรมต่อไปนี้สำหรับชุดข้อมูล Iris flower :

4 : 50 (tanh) : dropout (0.5) : 20 (tanh) : 3 (softmax)

มันจะทำงานเช่นนี้:

$$softmax(W_3 \cdot \tanh(W_2 \cdot \text{mask}(D, \tanh(W_1 \cdot input\_vector)))$$

ด้วย , , , , (ละเว้นอคติเพื่อเห็นแก่ simplictiy) W 1 ∈ R 50 × 4 D ∈ { 0 , 1 } 50 × 1 W 2 ∈ R 20 × 50 W 3 ∈ R 20 × $input\_vector \in \mathbb{R}^{4 \times 1}$$W_1 \in \mathbb{R}^{50 \times 4}$$D \in \{0, 1\}^{50 \times 1}$$W_2 \in \mathbb{R}^{20 \times 50}$$W_3 \in \mathbb{R}^{20 \times 3}$

ด้วยและ$D = (d)_{ij}$

$$d_{ij} \sim B(1, p=0.5)$$

เมื่อการทำงานคูณ point-wise กับ (ดูผลิตภัณฑ์ Hadamard )$\text{mask}(D, M)$$D$$M$

ดังนั้นเราเพียงแค่สุ่มตัวอย่างเมทริกซ์ในแต่ละครั้งและทำให้การออกกลางคันกลายเป็นการคูณของโหนดด้วย 0$D$

แต่สำหรับซีเอ็นเอ็นมันไม่ชัดเจนสำหรับฉันว่าจะถูกปล่อยออกไปอย่างแน่นอน ฉันเห็นความเป็นไปได้สามประการ:

1. การปล่อยแผนที่คุณลักษณะที่สมบูรณ์ (ดังนั้นเคอร์เนล)
2. ปล่อยองค์ประกอบหนึ่งของเคอร์เนล (แทนที่องค์ประกอบของเคอร์เนลด้วย 0)
3. วางองค์ประกอบหนึ่งของแผนที่คุณลักษณะ

โปรดเพิ่มการอ้างอิง / อ้างถึงคำตอบของคุณ

ความคิดของฉัน

ฉันคิดว่าลาซานญ่านั้น (3) (ดูรหัส ) นี่อาจเป็นวิธีที่ง่ายที่สุดในการติดตั้ง อย่างไรก็ตามใกล้ความคิดดั้งเดิมอาจจะ (1)

ดูเหมือนว่าจะคล้ายกับ Caffe (ดูรหัส ) สำหรับ tensorflow ผู้ใช้จะต้องตัดสินใจ ( รหัส - ฉันไม่แน่ใจว่าเกิดอะไรขึ้นเมื่อnoise_shape=Noneผ่าน)

มันควรจะเป็นอย่างไร

(2) และ (3) ไม่สมเหตุสมผลนักเนื่องจากมันจะทำให้เครือข่ายเพิ่มค่าคงที่ในตำแหน่งพิเศษซึ่งอาจไม่เป็นที่ต้องการ ดังนั้น (1) เป็นตัวแปรเดียวที่สมเหตุสมผล แต่ฉันไม่แน่ใจว่าจะเกิดอะไรขึ้นถ้าคุณใช้การเริ่มต้นใช้งาน

$l$$W^{(l+1)}$

สำหรับรายละเอียดเพิ่มเติมผมคิดว่าส่วนที่ 3 ในบทความนี้อาจช่วยให้คุณออก: แม็กซ์ร่วมกันและการออกกลางคัน Convolutional โดยเฉพาะ 3.2

เมื่อคุณทดสอบคุณใช้โหนดทั้งหมดของเครือข่าย แต่ด้วยน้ำหนักของตัวกรองที่ปรับขนาดโดยความน่าจะเป็นรักษาตามที่อธิบายไว้ในกระดาษ

โปรดแก้ไขหรือแก้ไขคำตอบของฉัน

หวังว่านี่จะช่วยได้อย่างน้อย