มิติข้อมูล VC บอกอะไรเราเกี่ยวกับการเรียนรู้อย่างลึกซึ้ง

ในการเรียนรู้เครื่องจักรขั้นพื้นฐานเราได้รับการสอน "กฎง่ายๆ" ต่อไปนี้:

ก) ขนาดของข้อมูลของคุณควรมีขนาดอย่างน้อย 10 เท่าของขนาด VC ของชุดสมมติฐานของคุณ

b) เครือข่ายประสาทเทียมที่มีการเชื่อมต่อ N มีมิติ VC ประมาณ N

ดังนั้นเมื่อเครือข่ายนิวรัลการเรียนรู้อย่างลึกซึ้งได้พูดไปแล้วหลายล้านหน่วยนี่หมายความว่าเราควรจะพูดจุดข้อมูลนับพันล้านหรือไม่ คุณช่วยส่องแสงนี้ให้หน่อยได้ไหม?

กฎของหัวแม่มือที่คุณพูดถึงไม่สามารถนำไปใช้กับเครือข่ายประสาท

โครงข่ายประสาทเทียมมีพารามิเตอร์พื้นฐานบางอย่างเช่นน้ำหนักและอคติ จำนวนน้ำหนักขึ้นอยู่กับจำนวนการเชื่อมต่อระหว่างเลเยอร์เครือข่ายและจำนวนอคตินั้นขึ้นอยู่กับจำนวนของเซลล์ประสาท

ขนาดของข้อมูลที่ต้องการอย่างมากขึ้นอยู่กับ -

1. ประเภทของการใช้โครงข่ายประสาทเทียม
2. เทคนิคที่ใช้ในการกูสุทธิ
3. อัตราการเรียนรู้ที่ใช้ในการฝึกอบรมอินเทอร์เน็ต

สิ่งนี้ถูกกล่าวว่าเป็นวิธีที่เหมาะสมและแน่ใจว่าจะรู้ว่าแบบจำลองนั้นมีการบรรจุมากเกินไปหรือไม่เพื่อตรวจสอบว่าข้อผิดพลาดในการตรวจสอบนั้นใกล้เคียงกับข้อผิดพลาดในการฝึกอบรมหรือไม่ ถ้าใช่แสดงว่าแบบจำลองทำงานได้ดี หากไม่มีแสดงว่าแบบจำลองมีแนวโน้มที่จะมีน้ำหนักเกินและนั่นหมายความว่าคุณต้องลดขนาดของแบบจำลองของคุณหรือแนะนำเทคนิคการทำให้เป็นมาตรฐาน