1D Convolution ในโครงข่ายประสาทเทียม


9

ฉันเข้าใจวิธีการทำงานของ Convolution แต่ฉันไม่เข้าใจว่าการใช้ 1D convolutions กับข้อมูล 2D ได้อย่างไร

การโน้มน้าวใจ 2D

ในตัวอย่างนี้คุณสามารถเห็นการโน้มน้าวใจ 2D ในข้อมูล 2D แต่มันจะเป็นอย่างไรถ้าเป็นการสนทนา 1D? เพียงแค่เคอร์เนล 1D เลื่อนไปในทางเดียวกัน และถ้าย่างเท้าเป็น 2?

ขอบคุณ!


1
แค่ดูที่แถวแรกของแต่ละเมทริกซ์
Piotr Migdal

คุณยกตัวอย่างให้ฉันได้ไหม
Gustavo

Convolutions 1d จะไม่เป็นประโยชน์สำหรับภาพ 2 มิติที่เข้มงวด ภาพที่ไม่ใช่โทนสีเทาเป็นเทคนิค 3 มิติเนื่องจากมีช่องสีสามช่อง
Ethan

1
@Gustavo ชอบสิ่งนี้: toto-share.com/wp-content/uploads/2011/11/...เว้นแต่คุณจะหมายถึงการสนทนา 1x1 (ในแง่ของเครือข่ายประสาท) ซึ่งเป็นสิ่งที่แตกต่าง
Piotr Migdal

ปัญหาของฉันเกี่ยวกับ convolutions เช่น: d3kbpzbmcynnmx.cloudfront.net/wp-content/uploads/2015/11/… มีสอง convolutions หนึ่งที่มีขนาดเคอร์เนล 3 และอื่น ๆ ที่มีขนาด 2 ... แต่เคอร์เนลเหล่านั้นเป็น 1D หรือขนาด xk ?
Gustavo

คำตอบ:


2

ให้เป็นลำดับของเวกเตอร์ (เช่น, เวกเตอร์คำ) การใช้เลเยอร์ Convolutional นั้นเทียบเท่ากับการใช้เมทริกซ์น้ำหนักเดียวกันกับ n-grams ทั้งหมดโดยที่คือความสูงของตัวกรองของคุณ เช่นถ้าคุณสามารถเห็นภาพได้ดังนี้:x1,,xnnn=3

ป้อนคำอธิบายรูปภาพที่นี่

สำหรับคำอธิบายทางคณิตศาสตร์เพิ่มเติมเล็กน้อยคุณสามารถตรวจสอบ Ji Young Lee, Franck Dernoncourt " การจัดหมวดหมู่ข้อความสั้นแบบต่อเนื่องกับเครือข่ายประสาทที่เกิดซ้ำและ Convolutional " NAACL 2016 ส่วนที่ 2.1.2:

ป้อนคำอธิบายรูปภาพที่นี่


1

1D convolutions ถูกใช้ในเครือข่าย convolutional สำหรับการสุ่มตัวอย่างลงและการสุ่มตัวอย่างขึ้นในมิติตัวกรอง เครือข่าย Convolutional สร้างแผนที่ตัวกรองเหล่านี้เมื่อคุณผ่านเครือข่ายคุณสามารถคิดได้ว่าพวกเขาเป็นมิติที่สาม กรณีพื้นฐานของมิติแผนที่ตัวกรองปกติมีขนาด 3 เนื่องจากเรามักจะมีภาพ RGB ที่ส่งผ่านเครือข่ายของเรา

การโน้มน้าวใจ 1D เหล่านี้มีประโยชน์สำหรับการสุ่มตัวอย่างแบบลงการดำเนินการบางอย่างจากนั้นจึงทำการสุ่มตัวอย่างกลับสู่มิติเดียวกัน สิ่งนี้มีประโยชน์มากสำหรับเหตุผลด้านประสิทธิภาพ

เพื่อให้เข้าใจได้โดยสัญชาตญาณฉันขอแนะนำให้อ่าน:

เครือข่ายในเครือข่าย - http://arxiv.org/abs/1312.4400

ก้าวไปข้างหน้าด้วยการโน้มน้าวใจ - https://www.google.com/url?sa=t&source=web&rct=j&url=http://www.cs.unc.edu/~wliu/papers/GoogLeNet.pdf&ved=0ahUKEwi89oeuxqnGGGGGGGGGGGGGGGGGGGGGNGGMACHNG rrECNQ72wI3PH1Qw & sig2 = VhjfaMvuskNIDVKhFfNiqQ


4
มันเป็นสิ่งที่คุณพูดถึง 1x1 convolutions (ในแง่ของเครือข่ายประสาท) มากกว่า 1D convolutions
Piotr Migdal

ใช่ฉันคิดว่าเครือข่ายประสาทมีส่วนเกี่ยวข้อง ฉันเจอลิงก์ไปยังคำถามนี้ใน / r / MLQuestions บน reddit ดังนั้นฉันจึงคิดว่ามันเกี่ยวข้องกับ ML แต่สำหรับการโน้มน้าวใจธรรมดาสิ่งนี้ไม่เกี่ยวข้อง: P
Ethan
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.