การเลือกวิธีการทำให้เป็นมาตรฐานในเครือข่ายประสาท

เมื่อฝึกอบรมเครือข่ายประสาทเทียมมีอย่างน้อย 4 วิธีในการทำให้เป็นปกติของเครือข่าย:

ไม่มีหลักการที่แข็งแกร่งและมีเอกสารที่ดีใด ๆ ที่จะช่วยคุณตัดสินใจระหว่างประเภทของการทำให้เป็นปกติในเครือข่ายประสาท คุณสามารถรวมเทคนิคการทำให้เป็นมาตรฐานได้โดยที่คุณไม่ต้องเลือกเพียงอย่างเดียว

วิธีการที่ใช้การได้นั้นขึ้นอยู่กับประสบการณ์และการติดตามวรรณกรรมและผลลัพธ์ของผู้อื่นเพื่อดูว่าอะไรที่ให้ผลลัพธ์ที่ดีในโดเมนปัญหาที่แตกต่างกัน โดยคำนึงถึงนี้การออกกลางคันได้รับการพิสูจน์แล้วว่าประสบความสำเร็จอย่างมากสำหรับปัญหาที่หลากหลายและคุณอาจพิจารณาว่าเป็นตัวเลือกแรกที่ดีเกือบจะไม่ว่าคุณกำลังพยายามทำอะไร

นอกจากนี้บางครั้งเพียงแค่เลือกตัวเลือกที่คุณคุ้นเคยสามารถช่วยได้ - การทำงานกับเทคนิคที่คุณเข้าใจและมีประสบการณ์ด้วยอาจทำให้คุณได้ผลลัพธ์ที่ดีกว่าการลองใช้ตัวเลือกทั้งหมดที่คุณไม่แน่ใจว่าลำดับใดบ้างที่จะลองหาพารามิเตอร์ . ปัญหาสำคัญคือเทคนิคต่าง ๆ สามารถทำงานร่วมกับพารามิเตอร์เครือข่ายอื่น ๆ ได้ตัวอย่างเช่นคุณอาจต้องการเพิ่มขนาดของเลเยอร์ด้วยการออกกลางคันขึ้นอยู่กับเปอร์เซ็นต์การออกกลางคัน

สุดท้ายมันอาจจะไม่เป็นเรื่องอย่างมหาศาลซึ่งเทคนิคที่คุณกำลังใช้เพียงแค่ว่าคุณเข้าใจปัญหาและรูปแบบของคุณดีพอที่จะจุดเมื่อมันถูก overfitting และสามารถทำกับกูกูมากขึ้น หรือในทางกลับกันจงสังเกตว่ามันอยู่ในช่วงที่ไม่เหมาะสมและคุณควรลดขนาดของการทำให้เป็นปกติ

วิธีการทำให้เป็นมาตรฐาน

สำหรับเทคนิค 4 ประการต่อไปนี้การทำให้เป็นมาตรฐาน L1 และการทำให้เป็นมาตรฐาน L2 นั้นไม่จำเป็นต้องบอกว่าพวกเขาจะต้องเป็นวิธีการทำให้เป็นมาตรฐาน พวกเขาลดน้ำหนัก L1 จะจดจ่อกับการลดน้ำหนักลงเล็กน้อยหากน้ำหนักมีความสำคัญสูงกว่า

การออกกลางคันป้องกันไม่ให้เกิดการล้นโดยการปล่อยเซลล์ประสาทออกมาชั่วคราว ในที่สุดมันคำนวณน้ำหนักทั้งหมดเป็นค่าเฉลี่ยเพื่อให้น้ำหนักไม่ใหญ่เกินไปสำหรับเซลล์ประสาทหนึ่ง ๆ และด้วยเหตุนี้มันจึงเป็นวิธีการทำให้เป็นมาตรฐาน

การปรับสภาพแบทช์ไม่ควรเป็นวิธีการทำให้เป็นมาตรฐานเนื่องจากวัตถุประสงค์หลักคือเพื่อเพิ่มความเร็วในการฝึกอบรมโดยการเลือกแบทช์และบังคับให้น้ำหนักกระจายใกล้ 0 ไม่ใหญ่เกินไปไม่เล็กเกินไป

เลือกมัน

สำหรับฉันมินิแบทช์เป็นสิ่งที่ต้องทำเพราะมันสามารถเพิ่มความเร็วของกระบวนการและปรับปรุงประสิทธิภาพของเครือข่ายทุกครั้ง

L1 และ L2 มีความคล้ายคลึงกันและฉันต้องการ L1 ในเครือข่ายขนาดเล็ก

โดยปกติแล้วการออกกลางคันควรนำไปใช้หากมีปัญหารูปแบบขนาดใหญ่หรือมีขนาดใหญ่เกินไป

สุดท้าย แต่ไม่ท้ายสุดฉันเห็นด้วยกับ Neil Slater ว่ามันขึ้นอยู่กับสถานการณ์และจะไม่มีทางแก้ปัญหาที่เหมาะสมที่สุด

ฉันแนะนำให้คุณอ่านเพื่อรับข้อมูลเพิ่มเติม นี่เป็นวัสดุที่ดีมาก http://neuralnetworksanddeeplearning.com/chap3.html

ดูตัวเลือกอัลกอริทึมเหล่านั้นเป็นพารามิเตอร์เพิ่มและเพิ่มประสิทธิภาพแบบเดียวกับที่คุณทำกับพารามิเตอร์อื่น ๆ โดยทั่วไปจะต้องใช้ข้อมูลเพิ่มเติมว่า