คำถามเกี่ยวกับสถาปัตยกรรมของ Deep Residual Networks ( ResNets ) รูปแบบที่ชนะอันดับ 1 ในงาน"Large Scale Visual Recognition Challenge 2015" (ILSVRC2015)ในห้าเส้นทางหลัก:
- การจำแนกประเภทของ ImageNet:“ ล้ำลึก” (อ้างถึงยานน์) ตาข่าย 152 ชั้น
- การตรวจจับ ImageNet: ดีขึ้นกว่า 2% 16%
- การแปล ImageNet: 27% ดีกว่าที่ 2
- การตรวจจับ COCO: ดีขึ้นกว่า 2% 11%
- การแบ่งส่วน COCO: ดีกว่าอันดับ 2 ถึง 12% ที่
มา: การ แข่งขัน MSRA @ ILSVRC และ COCO 2015 (การนำเสนอสไลด์ที่ 2)
งานนี้อธิบายไว้ในบทความต่อไปนี้:
ทีมวิจัยของ Microsoft (ผู้พัฒนา ResNets: Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun) ในบทความของพวกเขา:
ระบุว่าความลึกมีบทบาทสำคัญ:
" เราได้ผลลัพธ์เหล่านี้ผ่านแนวคิดที่เรียบง่าย แต่จำเป็น - ลึกลงไปผลลัพธ์เหล่านี้แสดงให้เห็นถึงศักยภาพของการผลักดันขีด จำกัด ของความลึก "
จะเน้นในการนำเสนอของพวกเขาด้วย (ลึกซึ้ง - ดีกว่า):
- "แบบจำลองที่ลึกกว่านั้นไม่ควรมีข้อผิดพลาดในการฝึกอบรมที่สูงขึ้น"
- "Deeper ResNets มีข้อผิดพลาดในการฝึกอบรมลดลงและมีข้อผิดพลาดในการทดสอบลดลง"
- "ResNets ที่ลึกกว่ามีข้อผิดพลาดต่ำกว่า"
- "ทั้งหมดได้รับประโยชน์มากกว่าจากคุณสมบัติที่ลึกกว่า - กำไรสะสม!"
- "ลึกกว่ายังดีกว่า"
นี่คือโครงสร้างของชั้นที่เหลือ 34 ชั้น (สำหรับการอ้างอิง):
แต่เมื่อเร็ว ๆ นี้ฉันได้พบทฤษฎีหนึ่งที่แนะนำการตีความนวนิยายของเครือข่ายที่เหลือแสดงให้เห็นว่าพวกเขาเป็นวงดนตรีที่อธิบาย:
เครือข่ายที่เหลือเป็นรูปแบบเลขชี้กำลังของเครือข่ายที่ค่อนข้างตื้น (2016)
Deep Resnets ถูกอธิบายว่าเป็นเครือข่ายแบบตื้นจำนวนมากที่มีการรวมเอาท์พุทที่ระดับความลึกต่าง ๆ มีรูปภาพในบทความ ฉันแนบมันพร้อมคำอธิบาย:
เครือข่ายที่เหลือจะแสดงตามอัตภาพเป็น (a) ซึ่งเป็นตัวแทนธรรมชาติของสมการ (1) เมื่อเราขยายสูตรนี้เป็นสมการ (6) เราจะได้รับมุมมองที่ไม่ได้รับการเปิดเผยของเครือข่ายที่เหลือ 3 บล็อก (b) จากมุมมองนี้จะเห็นได้ชัดว่าเครือข่ายที่เหลือมี O (2 ^ n) โดยนัยที่เชื่อมต่อเส้นทางอินพุตและเอาต์พุตและการเพิ่มบล็อกเพิ่มจำนวนเส้นทางเป็นสองเท่า
ในบทสรุปของบทความระบุไว้:
มันไม่ได้เป็นความลึก แต่ชุดที่ทำให้เครือข่ายที่เหลือที่แข็งแกร่ง เครือข่ายที่เหลือผลักดันข้อ จำกัด ของเครือข่ายหลายหลากไม่ใช่ความลึกของเครือข่าย มุมมองที่ไม่มีการเสนอของเราและการศึกษารอยโรคแสดงให้เห็นว่าเครือข่ายที่เหลือเป็นชุดของเครือข่ายจำนวนมากโดยปริยาย หากเส้นทางส่วนใหญ่ที่ให้การไล่ระดับสีนั้นสั้นมากเมื่อเทียบกับความลึกโดยรวมของเครือข่ายความลึกที่เพิ่มขึ้น เพียงอย่างเดียวไม่สามารถเป็นคุณลักษณะหลักของเครือข่ายที่เหลือได้ ตอนนี้เราเชื่อว่าหลายหลาก , expressability ของเครือข่ายในแง่ของจำนวนเส้นทางที่เล่นบทบาทสำคัญ
แต่มันเป็นเพียงทฤษฎีล่าสุดที่สามารถยืนยันหรือหักล้างได้ มันเกิดขึ้นบางครั้งว่ามีบางทฤษฎีที่ข้องแวะและบทความจะถอนออก
เราควรคิดว่า ResNets ลึกเป็นวงหลังจากทั้งหมดหรือไม่ ทั้งมวลหรือความลึกทำให้เครือข่ายที่เหลือยังคงแข็งแกร่ง เป็นไปได้หรือไม่ที่แม้แต่นักพัฒนาเองก็ไม่เข้าใจว่าแบบจำลองของพวกเขาเป็นอย่างไรและแนวคิดหลักในนั้นคืออะไร?