การสั่งซื้อชุดงานปกติและการออกกลางคัน?

คำถามเดิมนั้นเกี่ยวกับการใช้งาน TensorFlow โดยเฉพาะ อย่างไรก็ตามคำตอบสำหรับการใช้งานโดยทั่วไป คำตอบทั่วไปนี้เป็นคำตอบที่ถูกต้องสำหรับ TensorFlow

เมื่อใช้ batch normalization และ dropout ใน TensorFlow (โดยเฉพาะการใช้ Contrib.layers) ฉันต้องกังวลเกี่ยวกับการสั่งซื้อหรือไม่

ดูเหมือนเป็นไปได้ว่าถ้าฉันใช้การออกกลางคันตามด้วยการทำให้เป็นมาตรฐานแบทช์ทันทีอาจมีปัญหา ตัวอย่างเช่นหากการเปลี่ยนแปลงในการปรับมาตรฐานแบตช์ไปสู่จำนวนสเกลที่ใหญ่ขึ้นของผลลัพธ์การฝึกอบรม แต่การเปลี่ยนแปลงเดียวกันนั้นจะถูกนำไปใช้กับตัวเลขสเกลที่เล็กลง (เนื่องจากการชดเชยสำหรับการมีเอาต์พุตมากกว่า) โดยไม่ต้องออกกลางคันระหว่างการทดสอบ กะอาจจะปิด เลเยอร์การปรับมาตรฐานแบตช์ TensorFlow ชดเชยสิ่งนี้โดยอัตโนมัติหรือไม่ หรือไม่เกิดขึ้นด้วยเหตุผลบางอย่างที่ฉันหายไป?

นอกจากนี้ยังมีข้อผิดพลาดอื่น ๆ ที่ควรระวังเมื่อใช้ทั้งสองอย่างร่วมกัน? ตัวอย่างเช่นสมมติว่าผมใช้พวกเขาในลำดับที่ถูกต้องในการไปถึงข้างต้น (สมมติว่ามีเป็นคำสั่งที่ถูกต้อง) อาจมีปัญหาเกี่ยวกับการใช้ทั้งการฟื้นฟูชุดและการออกกลางคันในแต่ละชั้นหลาย ฉันไม่เห็นปัญหาในทันที แต่ฉันอาจจะขาดอะไรไป

ขอบคุณมาก!

อัพเดท:

การทดสอบการทดลองดูเหมือนจะชี้ให้เห็นว่าการสั่งซื้อไม่ว่า ฉันรันเครือข่ายเดียวกันสองครั้งโดยมีเพียงบรรทัดฐานแบทช์และย้อนกลับกลางคัน เมื่อการออกกลางคันอยู่ก่อนบรรทัดฐานของแบทช์การสูญเสียการตรวจสอบความถูกต้องดูเหมือนจะเพิ่มขึ้นเนื่องจากการสูญเสียการฝึกกำลังจะลดลง พวกเขาทั้งสองจะลดลงในอีกกรณีหนึ่ง แต่ในกรณีของฉันการเคลื่อนไหวช้าดังนั้นสิ่งต่างๆอาจเปลี่ยนไปหลังจากการฝึกฝนมากขึ้นและเป็นการทดสอบเพียงครั้งเดียว คำตอบที่ชัดเจนและมีข้อมูลมากขึ้นจะยังคงได้รับการชื่นชม

ในงานIoffe and Szegedy 2015ผู้เขียนระบุว่า "เราต้องการให้แน่ใจว่าสำหรับค่าพารามิเตอร์ใด ๆ เครือข่ายจะสร้างการเปิดใช้งานด้วยการแจกแจงที่ต้องการเสมอ" ดังนั้น Batch Normalization Layer จึงถูกแทรกทันทีหลังจาก Conv Layer / Fully Connected Layer แต่ก่อนที่จะป้อนเข้าสู่การเปิดใช้งาน ReLu (หรือชนิดอื่น ๆ ) ดูวิดีโอนี้เวลาประมาณ 53 นาทีสำหรับรายละเอียดเพิ่มเติม

ฉันเชื่อว่าการออกกลางคันจะถูกนำไปใช้หลังจากเลเยอร์การเปิดใช้งาน ในรูปกระดาษกลางคัน 3b เมทริกซ์การออกกลางคัน / เมทริกซ์ความน่าจะเป็น r (l) สำหรับเลเยอร์ที่ซ่อนอยู่ l ถูกนำไปใช้กับ y (l) โดยที่ y (l) เป็นผลลัพธ์หลังจากใช้ฟังก์ชันการเปิดใช้งาน f

ดังนั้นโดยสรุปลำดับของการใช้ batch normalization และ dropout คือ:

-> CONV / FC -> BatchNorm -> ReLu (หรือการเปิดใช้งานอื่น ๆ ) -> กลางคัน -> CONV / FC ->

ตามที่ระบุไว้ในความคิดเห็นที่เป็นทรัพยากรที่น่าตื่นตาตื่นใจที่จะอ่านข้อมูลเกี่ยวกับคำสั่งของชั้นคือที่นี่ ฉันได้อ่านความคิดเห็นและเป็นแหล่งข้อมูลที่ดีที่สุดในหัวข้อที่ฉันพบบนอินเทอร์เน็ต

2 เซ็นต์ของฉัน:

การออกกลางคันมีขึ้นเพื่อปิดกั้นข้อมูลจากเซลล์ประสาทบางส่วนอย่างสมบูรณ์เพื่อให้แน่ใจว่าเซลล์ประสาทไม่ได้ปรับตัวร่วมกัน ดังนั้นการทำให้เป็นมาตรฐานของแบตช์จะต้องเกิดขึ้นหลังจากออกกลางคันมิฉะนั้นคุณกำลังส่งข้อมูลผ่านสถิติการทำให้เป็นมาตรฐาน

หากคุณคิดเกี่ยวกับเรื่องนี้ในปัญหา ML ทั่วไปนี่คือเหตุผลที่เราไม่คำนวณค่าเฉลี่ยและส่วนเบี่ยงเบนมาตรฐานของข้อมูลทั้งหมดแล้วแยกเป็นชุดฝึกอบรมการทดสอบและการตรวจสอบความถูกต้อง เราแยกและคำนวณสถิติจากชุดรถไฟและใช้เพื่อทำให้เป็นมาตรฐานและจัดกึ่งกลางการตรวจสอบความถูกต้องและชุดข้อมูลการทดสอบ

ดังนั้นฉันขอแนะนำ Scheme 1 (สิ่งนี้ใช้ความคิดเห็นของ pseudomarvinเกี่ยวกับคำตอบที่ได้รับการยอมรับในการพิจารณา)

-> CONV / FC -> ReLu (หรือการเปิดใช้งานอื่น ๆ ) -> Dropout -> BatchNorm -> CONV / FC

ตรงข้ามกับโครงการ 2

-> CONV / FC -> BatchNorm -> ReLu (หรือการเปิดใช้งานอื่น ๆ ) -> Dropout -> CONV / FC -> ในคำตอบที่ยอมรับ

โปรดทราบว่านั่นหมายความว่าเครือข่ายภายใต้ Scheme 2 ควรแสดงมากเกินไปเมื่อเทียบกับเครือข่ายภายใต้ Scheme 1 แต่ OP ทำการทดสอบบางอย่างตามที่กล่าวไว้ในคำถามและรองรับ Scheme 2

โดยปกติเพียงแค่วางDropout(เมื่อคุณมีBN):

• "BN ไม่จำเป็นต้องใช้Dropoutในบางกรณีสาเหตุที่ BN ให้ผลประโยชน์การทำให้เป็นระเบียบเหมือนกับการออกกลางคันโดยสัญชาตญาณ"
• "สถาปัตยกรรมเช่น ResNet, DenseNet ฯลฯ ไม่ได้ใช้ Dropout

สำหรับรายละเอียดเพิ่มเติมโปรดดูเอกสารนี้ [การทำความเข้าใจความแตกต่างระหว่าง Dropout และ Batch Normalization by Variance Shift ] ตามที่ @Haramoz กล่าวไว้แล้วในความคิดเห็น

ฉันพบกระดาษที่อธิบายถึงความไม่ลงรอยกันระหว่าง Dropout และ Batch Norm (BN) ความคิดที่สำคัญคือสิ่งที่พวกเขาเรียกว่า"กะแปรปรวน" เนื่องจากข้อเท็จจริงที่ว่าการออกกลางคันมีพฤติกรรมที่แตกต่างกันระหว่างขั้นตอนการฝึกอบรมและการทดสอบซึ่งจะเปลี่ยนสถิติการป้อนข้อมูลที่ BN เรียนรู้ แนวคิดหลักสามารถพบได้ในรูปนี้ซึ่งนำมาจากกระดาษนี้

การสาธิตเล็กน้อยสำหรับเอฟเฟกต์นี้สามารถพบได้ในสมุดบันทึกนี้

จากเอกสารการวิจัยเพื่อประสิทธิภาพที่ดีขึ้นเราควรใช้ BN ก่อนใช้ Dropouts

ลำดับที่ถูกต้องคือ Conv> Normalization> Activation> Dropout> Pooling

Conv - การเปิดใช้งาน - DropOut - BatchNorm - กลุ่ม -> Test_loss: 0.04261355847120285

Conv - การเปิดใช้งาน - DropOut - Pool - BatchNorm -> Test_loss: 0.050065308809280396

Conv - การเปิดใช้งาน - BatchNorm - พูล - DropOut -> Test_loss: 0.04911309853196144

Conv - การเปิดใช้งาน - BatchNorm - DropOut - Pool -> Test_loss: 0.06809622049331665

Conv - BatchNorm - การเปิดใช้งาน - DropOut - Pool -> Test_loss: 0.038886815309524536

Conv - BatchNorm - การเปิดใช้งาน - พูล - DropOut -> Test_loss: 0.04126095026731491

Conv - BatchNorm - DropOut - การเปิดใช้งาน - พูล -> Test_loss: 0.05142546817660332

Conv - DropOut - การเปิดใช้งาน - BatchNorm - กลุ่ม -> Test_loss: 0.04827788099646568

Conv - DropOut - การเปิดใช้งาน - กลุ่ม - BatchNorm -> Test_loss: 0.04722036048769951

Conv - DropOut - BatchNorm - การเปิดใช้งาน - พูล -> Test_loss: 0.03238215297460556

ได้รับการฝึกฝนเกี่ยวกับชุดข้อมูล MNIST (20 ยุค) โดยมีโมดูล Convolutional 2 โมดูล (ดูด้านล่าง) ตามแต่ละครั้งด้วย

model.add(Flatten())
model.add(layers.Dense(512, activation="elu"))
model.add(layers.Dense(10, activation="softmax"))

ชั้น Convolutional มีขนาดเมล็ดรองค่าเริ่มต้นการเปิดใช้งานคือ(3,3) eluรวมการเป็น MaxPooling (2,2)ของสระว่ายน้ำ การสูญเสียและเพิ่มประสิทธิภาพคือcategorical_crossentropyadam

ความน่าจะเป็นของการออกกลางคันที่สอดคล้องกันคือ0.2หรือ0.3ตามลำดับ จำนวนแผนที่คุณลักษณะคือ32หรือ64ตามลำดับ

แก้ไข: เมื่อฉันทิ้ง Dropout ตามที่แนะนำในบางคำตอบมันจะมาบรรจบกันเร็วขึ้น แต่มีความสามารถในการสรุปทั่วไปที่แย่กว่าเมื่อฉันใช้ BatchNorm และ Dropout

ConV / FC - BN - Sigmoid / tanh - ออกกลางคัน หากการเปิดใช้งาน func เป็น Relu หรืออย่างอื่นลำดับของการทำให้เป็นมาตรฐานและการออกกลางคันขึ้นอยู่กับงานของคุณ

ฉันอ่านเอกสารที่แนะนำในคำตอบและความคิดเห็นจาก https://stackoverflow.com/a/40295999/8625228

จากมุมมองของ Ioffe และ Szegedy (2015) ใช้ BN ในโครงสร้างเครือข่ายเท่านั้น Li et al. (2018) ให้การวิเคราะห์ทางสถิติและการทดลองว่ามีการเปลี่ยนแปลงความแปรปรวนเมื่อผู้ปฏิบัติงานใช้ Dropout ก่อน BN ดังนั้น Li et al. (2018) แนะนำให้ใช้ Dropout หลังจากเลเยอร์ BN ทั้งหมด

จากมุมมองของ Ioffe และ Szegedy (2015) BN จะอยู่ ภายใน / ก่อนฟังก์ชันการเปิดใช้งาน อย่างไรก็ตาม Chen et al. (2019) ใช้เลเยอร์ IC ซึ่งรวมการออกกลางคันและ BN และ Chen et al (2019) แนะนำให้ใช้ BN หลัง ReLU

ในด้านความปลอดภัยฉันใช้ Dropout หรือ BN เฉพาะในเครือข่าย

Chen, Guangyong, Pengfei Chen, Yujun Shi, Chang-Yu Hsieh, Benben Liao และ Shengyu Zhang 2019. “ ทบทวนการใช้ Batch Normalization และ Dropout ใหม่ในการฝึก Deep Neural Networks” CoRR abs / 1905.05928 http://arxiv.org/abs/1905.05928

Ioffe, Sergey และ Christian Szegedy 2015. “ Batch Normalization: การเร่งการฝึกอบรมเครือข่ายในระดับลึกโดยการลดการเปลี่ยนแปลงของความแปรปรวนภายใน” CoRR abs / 1502.03167 http://arxiv.org/abs/1502.03167

Li, Xiang, Shuo Chen, Xiaolin Hu และ Jian Yang 2018“ การทำความเข้าใจความไม่ลงรอยกันระหว่างการออกกลางคันและการทำให้เป็นมาตรฐานแบทช์โดย Variance Shift” CoRR abs / 1801.05134 http://arxiv.org/abs/1801.05134