ทำไมน้ำหนักของ Neural Networks เริ่มต้นด้วยตัวเลขสุ่ม?

ทำไมน้ำหนักเริ่มต้นของโครงข่ายประสาทเทียมเริ่มต้นเป็นตัวเลขแบบสุ่ม? ฉันได้อ่านที่ไหนสักแห่งว่าสิ่งนี้ทำเพื่อ "ทำลายความสมมาตร" และทำให้เครือข่ายประสาทเทียมเรียนรู้เร็วขึ้น การทำลายความสมมาตรทำให้การเรียนรู้เร็วขึ้นอย่างไร

จะไม่เริ่มต้นน้ำหนักเป็น 0 เป็นความคิดที่ดีกว่าไหม ด้วยวิธีนี้น้ำหนักจะสามารถค้นหาค่าของพวกเขา (ไม่ว่าจะเป็นบวกหรือลบ) ได้เร็วขึ้น?

มีปรัชญาพื้นฐานอื่น ๆ ที่อยู่เบื้องหลังการสุ่มน้ำหนักนอกเหนือจากการหวังว่าพวกเขาจะใกล้เคียงกับค่าสูงสุดของพวกเขาเมื่อเริ่มต้นหรือไม่

สัญชาตญาณพื้นฐานที่อยู่เบื้องหลังการกำหนดค่าเริ่มต้นเลเยอร์น้ำหนักให้เป็นค่าขนาดเล็ก (และแตกต่างกัน) เป็นเพียงเพื่อให้อคติของระบบแตกหักและค่าน้ำหนักสามารถเคลื่อนที่ไปมา

คุณอาจต้องการให้น้ำหนักเริ่มต้นของคุณมีความแตกต่างและมี "ช่องว่างเล็ก ๆ " อยู่ระหว่างพวกเขา 'ช่องว่าง' นี้จะขยายออกเมื่อคุณเดินตามและบังคับให้น้ำหนักมีขนาดใหญ่ขึ้นในทุก ๆ รอบและสิ่งนี้ช่วย เครือข่ายที่จะมาบรรจบกันเร็วขึ้นนั่นคือกระบวนการเรียนรู้เร็วขึ้น

หากคุณต้องการให้น้ำหนักทั้งหมดคงที่แทนน้ำหนักแต่ละรายการจะได้รับการอัปเดตในอัตราที่ช้ามาก (~ คงที่) และสิ่งนี้จะไม่ได้ผลมากนักโดยเฉพาะถ้าค่าเริ่มต้นอยู่ไกลจากค่าสุดท้าย

หวังว่าจะช่วยได้เรียนรู้ที่สนุกสนาน :)