มีการศึกษาใดที่ตรวจสอบการออกกลางคันเทียบกับการทำให้เป็นมาตรฐานอื่น ๆ ?

มีเอกสารใดที่ตีพิมพ์ซึ่งแสดงความแตกต่างของวิธีการทำให้เป็นมาตรฐานสำหรับเครือข่ายประสาทโดยเฉพาะอย่างยิ่งในโดเมนที่ต่างกัน (หรืออย่างน้อยชุดข้อมูลที่แตกต่างกัน)

ฉันถามเพราะตอนนี้ฉันมีความรู้สึกว่าคนส่วนใหญ่ดูเหมือนจะใช้การออกกลางคันสำหรับการมองเห็นในคอมพิวเตอร์เป็นประจำ ฉันต้องการตรวจสอบว่ามีเหตุผล (ไม่) ที่จะใช้วิธีการทำให้เป็นมาตรฐานแบบต่างๆ

สองคะแนน:

1. การออกกลางคันมักจะถูกเปรียบเทียบกับโครงข่ายประสาทเทียม ดูเหมือนว่าจะมีประโยชน์ด้านประสิทธิภาพของการฝึกอบรมและเฉลี่ยเครือข่ายประสาทหลายแห่ง
2. การออกกลางคันสามารถปรับเทียบได้ง่ายกว่าการทำให้เป็นปกติ มีพารามิเตอร์ไฮเปอร์พารามิเตอร์เดียวเท่านั้นซึ่งเป็นอัตราการออกกลางคันและผู้คนใช้กันอย่างแพร่หลาย 0.5 ในขณะที่การฝึกอบรม (แล้ว 1.0 สำหรับการประเมินผลแน่นอน :)) ดูตัวอย่างเช่นTensorFlowนี้

ยังไงก็ตามฉันก็ยังสงสัยเกี่ยวกับการศึกษาเชิงประจักษ์ของโครงข่ายประสาทเทียม มีพารามิเตอร์หลายตัวมากเกินไปที่จะทำการจูนอย่างละเอียดจากโทโพโลยีของเครือข่ายไปยังโพรซีเดอร์การหาค่าเหมาะที่สุดสำหรับการไล่ระดับสีไปยังฟังก์ชันการเปิดใช้งานและอะไรก็ตามที่คุณกำลังทำการทดสอบอย่างสม่ำเสมอ จากนั้นสิ่งทั้งหมดคือสุ่มและโดยปกติแล้วการเพิ่มประสิทธิภาพจะมีขนาดเล็กมากจนคุณสามารถทดสอบความแตกต่างทางสถิติได้ยาก ผู้เขียนหลายคนไม่สนใจทำการทดสอบทางสถิติ พวกเขาเพียงแค่ตรวจสอบความถูกต้องโดยเฉลี่ยและประกาศว่าแบบจำลองใดที่มีจุดทศนิยมที่สูงที่สุดจะเป็นผู้ชนะ

คุณอาจพบว่ามีการศึกษาการส่งเสริมการออกกลางคันเท่านั้นที่จะถูกโต้แย้งโดยการเลื่อนขั้นการสนับสนุนอื่น

ฉันคิดว่าทุกอย่างจะแปรเปลี่ยนไปตามความพึงพอใจด้านสุนทรียภาพ การออกกลางคัน IMHO ฟังดูมีเหตุผลทางชีวภาพมากกว่าการทำให้เป็นปกติ นอกจากนี้ยังง่ายต่อการสอบเทียบ ดังนั้นฉันเองชอบมันเมื่อใช้กรอบเช่น TensorFlow หากเราต้องใช้เครือข่ายประสาทของเราเองซึ่งเรามักจะทำเราจะใช้การทำให้เป็นมาตรฐานเพราะง่ายต่อการใช้งาน

อย่างแน่นอน. บทความจากผู้สร้างเองเจฟฟรีย์ฮินตัน https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdfอ่าน แต่ฉันสนับสนุนให้คุณเห็นความแตกต่างด้วยตัวคุณเองที่ใช้มัน