จากความเข้าใจของฉัน CNN ประกอบด้วยสองส่วน ส่วนแรก (Conv / พูลเลเยอร์) ซึ่งทำการแยกคุณสมบัติและส่วนที่สอง (fc layer) ซึ่งทำการจำแนกจากฟีเจอร์
เนื่องจากมุ้งที่เชื่อมต่ออย่างสมบูรณ์ไม่ใช่ตัวแยกประเภทที่ดีที่สุด (เช่นพวกเขาได้รับประสิทธิภาพที่ดีกว่าโดย SVM และ RF ส่วนใหญ่) ทำไม CNNs จึงสรุปด้วยเลเยอร์ FC แทนที่จะเป็น SVM หรือ RF?
คำตอบ:
มันไม่ง่ายเลย ก่อนอื่น SVM คือเครือข่ายประสาทในทางใดทางหนึ่ง (คุณสามารถเรียนรู้วิธีการแก้ปัญหา SVM ผ่านการแพร่กระจายย้อนกลับ) ดูว่า * เป็น * เครือข่ายประสาทเทียมหรือไม่ . ประการที่สองคุณไม่สามารถรู้ล่วงหน้าได้ว่ารุ่นใดจะทำงานได้ดีขึ้น แต่สิ่งนี้อยู่ที่สถาปัตยกรรม neuromorphic ที่สมบูรณ์คุณสามารถเรียนรู้น้ำหนักแบบ end-to-end ในขณะที่แนบ SVM หรือ RF กับการเปิดใช้งานเลเยอร์สุดท้ายของ CNN เพียงขั้นตอนเฉพาะกิจ มันอาจทำงานได้ดีขึ้นและมันอาจไม่ได้เราไม่สามารถรู้ได้หากไม่มีการทดสอบ
ส่วนที่สำคัญคือสถาปัตยกรรมที่เต็มไปด้วยความสามารถในการเป็นตัวแทนของการเรียนรู้ซึ่งมีประโยชน์สำหรับเหตุผลมากมาย ครั้งเดียวอาจลดหรือกำจัดคุณสมบัติทางวิศวกรรมทั้งหมดในปัญหาของคุณ
เกี่ยวกับเลเยอร์ FC พวกมันมีค่าเทียบเท่ากับเลเยอร์ Convolutional 1x1 ดูโพสต์ของ Yann Lecunซึ่งฉันถอดความด้านล่าง:
ใน Convolutional Nets ไม่มีสิ่งเช่น "เลเยอร์ที่เชื่อมต่อเต็มที่" มีเลเยอร์ Convolution เพียงชั้นเดียวที่มีเมล็ดคอนวีชัน 1x1 และตารางการเชื่อมต่อแบบเต็ม
มันเป็นความจริงที่ไม่ค่อยเข้าใจมากนักที่ ConvNets ไม่จำเป็นต้องมีอินพุตที่มีขนาดคงที่ คุณสามารถฝึกอบรมพวกเขาเกี่ยวกับอินพุตที่เกิดขึ้นเพื่อสร้างเวกเตอร์เอาต์พุตเดี่ยว (โดยไม่มีขอบเขตเชิงพื้นที่) จากนั้นนำไปใช้กับภาพขนาดใหญ่ แทนที่จะเป็นเวกเตอร์เอาต์พุตเดี่ยวคุณก็จะได้แผนที่อวกาศของเวกเตอร์เอาต์พุต เวกเตอร์แต่ละตัวจะเห็นหน้าต่างอินพุตที่ตำแหน่งต่าง ๆ ของอินพุต
ในสถานการณ์นั้น "เลเยอร์ที่เชื่อมต่อเต็มที่" จริงๆแล้วทำหน้าที่เป็น convolutions 1x1
หากคุณรู้จักทฤษฎีบทอาหารกลางวันแบบไม่เสียค่าใช้จ่าย (Wolpert & Macready) คุณจะไม่ถูกแขวนอยู่กับตัวจําแนกประเภทหนึ่งและถามว่าทําไมจึงไม่ดีที่สุด ทฤษฎีบท NFL ระบุว่า "ในจักรวาลของฟังก์ชั่นค่าใช้จ่ายทั้งหมดไม่มีตัวจําแนกที่ดีที่สุด" ประการที่สองประสิทธิภาพของตัวจําแนกเสมอ "ขึ้นอยู่กับข้อมูล"
ลูกเป็ดขี้เหร่ทฤษฎีบท (วาตานาเบะ) กล่าวว่าเป็นหลัก "ในจักรวาลของชุดทั้งหมดของคุณสมบัติที่ไม่มีหนึ่งชุดที่ดีที่สุดของคุณลักษณะ."
ทฤษฎีบทของปกกล่าวว่าถ้าเช่นขนาดของข้อมูลมีขนาดใหญ่กว่าขนาดตัวอย่างดังนั้นปัญหาการจำแนกเลขฐานสองนั้นมักแยกกันเป็นเส้นตรงเสมอ
ในแง่ของข้างต้นเช่นเดียวกับRazor ของ Occamไม่มีสิ่งใดที่ดีไปกว่าสิ่งอื่นใดโดยไม่ขึ้นอยู่กับข้อมูลและฟังก์ชั่นค่าใช้จ่าย
ฉันมักจะแย้งว่าซีเอ็นเอ็นด้วยตัวเองไม่ใช่กลุ่มของตัวแยกประเภทที่สามารถประเมินความหลากหลาย (kappa vs error) ได้