เมล็ดถูกนำไปใช้กับแผนที่คุณลักษณะเพื่อสร้างแผนที่คุณลักษณะอื่น ๆ อย่างไร


44

ฉันพยายามที่จะทำความเข้าใจกับส่วนต่าง ๆ ของโครงข่ายประสาทเทียม ดูรูปต่อไปนี้:

ป้อนคำอธิบายรูปภาพที่นี่

ฉันไม่มีปัญหาในการทำความเข้าใจกับชั้นแรกของการบิดที่เรามีเมล็ดที่แตกต่างกัน 4 ขนาด (ขนาด ) ซึ่งเราได้ทำการเชื่อมต่อกับภาพอินพุตเพื่อรับแผนที่คุณลักษณะ 4 แบบk×k

สิ่งที่ฉันไม่เข้าใจคือเลเยอร์ convolution ถัดไปซึ่งเราไปจาก 4 ฟีเจอร์แมปถึง 6 ฟีเจอร์แมป ฉันคิดว่าเรามี 6 เมล็ดในเลเยอร์นี้ (ดังนั้นให้แผนที่คุณลักษณะเอาต์พุต 6 รายการ) แต่เมล็ดเหล่านี้ทำงานบนแผนที่คุณลักษณะ 4 รายการที่แสดงใน C1 ได้อย่างไร เมล็ดเป็นแบบสามมิติหรือเป็นแบบสองมิติและทำซ้ำในแผนที่คุณลักษณะอินพุต 4 ตัวหรือไม่


1
ฉันติดอยู่ในที่เดียวกัน บทความของ Yann Lecun ที่ไม่สบายใจก็ไม่ได้อธิบายเช่นกัน - ฉันผ่านไฟล์ PDF และวิดีโอหลายรายการในช่วงสองสามวันที่ผ่านมาและดูเหมือนว่าทุกคนจะข้ามส่วนนั้นไป กระดาษของ Yann Lecun พูดถึงแผนที่คุณลักษณะ 6 ถึง 16 แห่งพร้อมด้วยตารางการทำแผนที่ในเลเยอร์ 2 แผนที่คุณลักษณะเอาท์พุทแรกได้รับการป้อนข้อมูลจากแผนที่คุณลักษณะอินพุต 0,1,2 แต่แมปฟีเจอร์เอาท์พุทนั้นคือ 10 ถึง 10, ฟีเจอร์อินพุททั้ง 3 แมปนั้นเท่ากับ 14 คูณ 14 ดังนั้นมันจึงใช้ได้อย่างไร คุณเข้าใจไหมว่าเกิดอะไรขึ้น มันเป็นเคอร์เนล 3 มิติหรือไม่? หรือมันเฉลี่ยค่าเอาต์พุตจากเคอร์เนล location * (convolution)?
Run2

คำตอบ:


18

เมล็ดเป็นแบบสามมิติซึ่งสามารถเลือกความกว้างและความสูงได้ในขณะที่ความลึกจะเท่ากับจำนวนของแผนที่ในเลเยอร์อินพุต - โดยทั่วไป

แน่นอนว่ามันไม่ใช่สองมิติและทำซ้ำในแผนที่ฟีเจอร์อินพุตในตำแหน่ง 2D เดียวกัน! นั่นหมายความว่าเคอร์เนลจะไม่สามารถแยกความแตกต่างระหว่างคุณลักษณะอินพุตของมันในตำแหน่งที่กำหนดเนื่องจากจะใช้น้ำหนักหนึ่งและน้ำหนักเท่ากันทั่วทั้งแผนที่ฟีเจอร์อินพุต!


5

ไม่มีความสอดคล้องแบบหนึ่งต่อหนึ่งระหว่างเลเยอร์และเมล็ดจำเป็น ขึ้นอยู่กับสถาปัตยกรรมเฉพาะ รูปที่คุณโพสต์แนะนำว่าในเลเยอร์ S2 คุณมี 6 ฟีเจอร์แมปแต่ละการรวมแมปฟีเจอร์ทั้งหมดของเลเยอร์ก่อนหน้าคือการรวมกันของฟีเจอร์ที่เป็นไปได้

ไม่มีการอ้างอิงเพิ่มเติมฉันไม่สามารถพูดได้มากขึ้น ดูตัวอย่างเอกสารนี้


ฉันกำลังมองหา LeNet-5 เป็นพิเศษและใช้deeplearning.net/tutorial/lenet.htmlนี้เป็นข้อมูลอ้างอิงของฉัน ดูเหมือนว่าจากหน้านั้นเมล็ดเป็นแบบสามมิติ แต่ไม่ชัดเจนสำหรับฉัน 100%
utdiscant

2
คุณต้องอ่านบทความนี้แล้ว ( yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf ) ในหน้า 8 มีการอธิบายถึงวิธีการเชื่อมต่อเลเยอร์ที่แตกต่างกัน ดังที่ฉันได้กล่าวแล้วเลเยอร์แต่ละคุณลักษณะที่เลเยอร์จะรวมคุณสมบัติหลายอย่างจากเลเยอร์ก่อนหน้านี้ในตำแหน่งเดียวกัน
jpmuc

2
ลิงก์ตาย
กรกฎาคม

2

ตารางที่ 1 และ 2a ของ Yann LeCun เรื่อง "การเรียนรู้ด้วยการไล่ระดับสีนำไปประยุกต์ใช้กับการรับรู้เอกสาร" อธิบายได้ดี: http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf ทุกภูมิภาคไม่ใช่ของ 5x5 convolution ใช้ในการสร้างชั้นที่ 2 convolutional


0

บทความนี้มีประโยชน์: ทำความเข้าใจกับ Convolution ใน Deep LearningโดยTim Dettmersตั้งแต่วันที่ 26 มีนาคม

มันไม่ได้ตอบคำถามจริงๆเพราะมันอธิบายเพียงชั้นแรกของการสนทนา แต่มีคำอธิบายที่ดีเกี่ยวกับสัญชาตญาณพื้นฐานเกี่ยวกับการสนทนาในซีเอ็นเอ็น นอกจากนี้ยังอธิบายถึงคำจำกัดความทางคณิตศาสตร์ที่ลึกซึ้งยิ่งขึ้น ฉันคิดว่ามันเกี่ยวข้องกับหัวข้อคำถาม


1
ยินดีต้อนรับสู่เว็บไซต์ เราพยายามสร้างที่เก็บถาวรของข้อมูลสถิติคุณภาพสูงในรูปแบบของคำถาม & คำตอบ ดังนั้นเราจึงต้องระวังคำตอบเฉพาะลิงก์เนื่องจาก linkrot คุณสามารถโพสต์การอ้างอิงแบบเต็ม & สรุปข้อมูลที่ลิงค์ในกรณีที่มันจะตาย?
gung - Reinstate Monica

@ gung ขอบคุณสำหรับการแจ้งเตือนขออภัยในความเข้าใจผิดเกี่ยวกับแนวคิด สถานการณ์คือ: บทความนี้ไม่ได้ตอบคำถามจริงๆ แต่เมื่อฉันกำลังมองหาสัญชาตญาณพื้นฐานเกี่ยวกับ CNN ฉันพบคำถามนี้และฉันหวังว่าจะช่วยบทความนี้กับคนที่ค้นหาสัญชาติญาณพื้นฐานและได้รับคำถามนี้ ตกลงดีกว่าที่จะลบใช่ไหม ขอขอบคุณ.
Anatoly Vasilyev

ฉันคิดว่ามันคงจะดีถ้าจะพูดว่า 'บทความนี้อาจใช้เป็นอาหารสำหรับความคิด แต่ไม่ตอบคำถามอย่างสมบูรณ์' หรืออะไรทำนองนั้น อาจมีค่าที่นี่ เพียงแค่ให้การอ้างอิงที่สมบูรณ์ & สรุปข้อมูลที่มีอยู่ในกรณีที่การเชื่อมโยงจะตาย
gung - Reinstate Monica

ขอบคุณสำหรับข้อมูลพิเศษ คุณสามารถให้การอ้างอิงที่สมบูรณ์สำหรับกระดาษ (ผู้เขียนปีชื่อวารสาร ฯลฯ ) & สรุปเนื้อหาได้หรือไม่
gung - Reinstate Monica

@ gung ใช่แน่นอน แต่ดูเหมือนว่าบทความนี้มีเฉพาะในบล็อกนี้เท่านั้นดังนั้นฉันจึงไม่พบข้อมูลที่เป็นประโยชน์เกี่ยวกับมัน ขอบคุณสำหรับการชี้แจงมุมมองของฉัน
Anatoly Vasilyev
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.