คำถามเกี่ยวกับอคติในเครือข่าย Convolutional

11

ฉันกำลังพยายามหาจำนวนและความเอนเอียงที่จำเป็นสำหรับซีเอ็นเอ็น

บอกว่าฉันมี (3, 32, 32) - ภาพและต้องการใช้ (32, 5, 5) - ตัวกรอง สำหรับแต่ละคุณลักษณะแผนที่ฉันมีน้ำหนัก 5x5 ดังนั้นฉันควรมีพารามิเตอร์ 3 x (5x5) x 32 ตอนนี้ฉันต้องเพิ่มอคติ ฉันเชื่อว่าฉันมีพารามิเตอร์ (3 x (5x5) + 1) x 32 เท่านั้นอคติเหมือนกันในทุกสี (RGB) หรือไม่

ถูกต้องหรือไม่ ฉันจะรักษาความลำเอียงที่เหมือนกันของแต่ละภาพในเชิงลึก (ในกรณีนี้ 3) ในขณะที่ฉันใช้น้ำหนักที่แตกต่างกันหรือไม่ ทำไมถึงเป็นอย่างนั้น?

deep-learning convnet backpropagation

— ผู้ใช้งาน
แหล่งที่มา

6

อคติดำเนินการต่อเซลล์ประสาทเสมือนดังนั้นจึงไม่มีค่าในการมีอินพุตไบอัสหลายตัวที่มีเอาต์พุตเดี่ยว - ซึ่งเทียบเท่ากับการเพิ่มน้ำหนักอคติที่แตกต่างกันลงในอคติเดียว

ในแมปคุณสมบัติที่เป็นผลลัพธ์ของเลเยอร์ที่ซ่อนอยู่แรกสีจะไม่ถูกแยกออก * แผนที่คุณลักษณะอย่างมีประสิทธิภาพแต่ละรายการคือ "ช่อง" ในเลเยอร์ถัดไปแม้ว่าพวกเขามักจะมองเห็นแยกต่างหากโดยที่อินพุตถูกสร้างภาพด้วยช่องทางรวมกัน อีกวิธีหนึ่งในการคิดเกี่ยวกับสิ่งนี้คือช่องสัญญาณ RGB แยกต่างหากในภาพต้นฉบับคือ 3 "ฟีเจอร์แมป" ในอินพุต

มันไม่สำคัญว่าจะมีแชนเนลหรือฟีเจอร์อยู่ในเลเยอร์ก่อนหน้ามากเพียงใดเอาต์พุตของแผนที่แต่ละฟีเจอร์ในเลเยอร์ถัดไปจะเป็นค่าเดียวในแผนที่นั้น ค่าเอาต์พุตหนึ่งค่าสอดคล้องกับเซลล์ประสาทเสมือนเดียวซึ่งต้องการน้ำหนักอคติหนึ่งตัว

ใน CNN ตามที่คุณอธิบายในคำถามน้ำหนักที่เท่ากัน (รวมถึงน้ำหนักอคติ) จะถูกแชร์ในแต่ละจุดในแผนผังคุณลักษณะเอาต์พุต ดังนั้นแผนที่คุณลักษณะแต่ละรายการจะมีน้ำหนักอคติของตัวเองรวมถึงprevious_layer_num_features x kernel_width x kernel_heightน้ำหนักการเชื่อมต่อ

ใช่แล้วตัวอย่างของคุณที่ส่งผลให้(3 x (5x5) + 1) x 32น้ำหนักรวมสำหรับชั้นแรกนั้นถูกต้องสำหรับ CNN โดยมีเลเยอร์แรกซ่อนการประมวลผลอินพุต RGB เป็น 32 แผนที่คุณลักษณะที่แยกต่างหาก

^*คุณอาจสับสนโดยการเห็นการแสดงข้อมูลน้ำหนักของ CNN ซึ่งสามารถแยกออกเป็นช่องสีที่ใช้งานได้

— Neil Slater
แหล่งที่มา

ฉันคิดว่ามีอคติต่อตัวกรองหนึ่งตัว ... เรามีคำจำกัดความของเซลล์ประสาทเสมือนที่แตกต่างกันหรือไม่

— Charlie Parker

@CharlieParker ในแง่ของจำนวนพารามิเตอร์หนึ่งอคติต่อตัวกรองเหมือนกับหนึ่งอคติต่อเซลล์ประสาท มีวิธีที่เทียบเท่าในการดูสถาปัตยกรรมของแผนที่คุณลักษณะของ CNN หนึ่งอาจเป็นเลเยอร์ "ที่ขยายอย่างเต็มที่" ด้วยเซลล์ประสาทจำนวนมากที่ใช้พารามิเตอร์เดียวกันร่วมกัน อีกเรื่องหนึ่งคือคิดว่าตัวกรองแต่ละตัวของ Convolutional เป็นการอธิบายการเชื่อมต่อของเซลล์ประสาทในชั้นเดียวและชั้นก็ใช้เซลล์ประสาทเดียวกันนี้ซ้ำ ๆ ดังนั้นฉันคิดว่าเราอาจมีคำจำกัดความเหมือนกันของเซลล์ประสาท แต่คำตอบอธิบายสิ่งต่าง ๆ จากมุมมองเดียว

— Neil Slater

น่าสนใจฉันคิดว่าคุณคิดถึงเซลล์ประสาทแต่ละตัวสำหรับตัวกรองแต่ละตัวฉันคิดว่าด้วยเหตุผลบางอย่างการเปิดใช้งานแต่ละครั้งสำหรับเซลล์ประสาทแต่ละตัว แต่ตัวกรองจะเปิดใช้งานในหลาย ๆ สถานที่ในภาพดังนั้นแน่นอนว่าฉันมีเซลล์ประสาทจำนวนมาก

— Charlie Parker

1

มันเป็นคุณสมบัติของ CNN ที่พวกเขาใช้น้ำหนักและอคติที่ใช้ร่วมกัน (น้ำหนักและอคติเดียวกันสำหรับเซลล์ประสาทที่ซ่อนอยู่ทั้งหมดในเลเยอร์) เพื่อตรวจจับคุณสมบัติเดียวกัน สิ่งนี้นำไปสู่การเรียนรู้ที่ลึกซึ้งยิ่งขึ้นเมื่อเทียบกับเครือข่ายประสาทที่เรียบง่าย คุณสามารถอ่านสิ่งนี้เป็นข้อมูลอ้างอิงได้:

http://deeplearning.net/tutorial/lenet.html
http://neuralnetworksanddeeplearning.com/chap6.html#introducing_convolutional_networks

— enterML
แหล่งที่มา

ฉันกำลังถามคำถามอื่น คำถามของฉันเกี่ยวกับอคติ จากสูตรดูเหมือนว่าสำหรับแต่ละคุณลักษณะแผนที่มีน้ำหนักแตกต่างกัน แต่มีการใช้อคติเดียวกันในทุกคุณสมบัติแผนที่

— ผู้ใช้