ทฤษฎีการประมาณค่าแบบสากลสำหรับเครือข่ายแบบ Convolutional

14

ทฤษฎีบทการประมาณแบบสากลเป็นผลลัพธ์ที่มีชื่อเสียงสำหรับเครือข่ายประสาทโดยทั่วไประบุว่าภายใต้สมมติฐานบางฟังก์ชั่นสามารถประมาณได้อย่างสม่ำเสมอโดยเครือข่ายประสาทในความแม่นยำ

มีผลลัพธ์ที่คล้ายคลึงกันที่ใช้กับเครือข่ายประสาทเทียมหรือไม่?

neural-networks conv-neural-network approximation

— Jonas Adler
แหล่งที่มา

7

นี่เป็นคำถามที่น่าสนใจ แต่ก็ไม่ขาดการชี้แจงที่เหมาะสมสิ่งที่ถือว่าเป็นเครือข่ายประสาทสับสน

ข้อกำหนดเพียงอย่างเดียวที่เครือข่ายจำเป็นต้องมีเพื่อรวมการดำเนินการ convolutions หรือไม่? มันจำเป็นต้องรวมการดำเนินงานที่เป็นรูปธรรมเท่านั้นหรือไม่ มีการยอมรับการดำเนินการรวมกำไรหรือไม่ เครือข่าย Convolutional ที่ใช้ในทางปฏิบัติใช้การรวมกันของการดำเนินการซึ่งมักจะรวมถึงเลเยอร์ที่เชื่อมต่ออย่างสมบูรณ์ (ทันทีที่คุณมีเลเยอร์ที่เชื่อมต่ออย่างสมบูรณ์

เพื่อให้คุณได้คำตอบลองพิจารณากรณีต่อไปนี้: เลเยอร์ที่เชื่อมต่ออย่างสมบูรณ์ด้วย $D$ อินพุตและ $K$ เอาต์พุตถูกรับรู้โดยใช้เมทริกซ์น้ำหนัก $W \in \mathbb R ^{K\times D}$ . คุณสามารถจำลองการดำเนินการนี้ได้โดยใช้ 2 Convolution เลเยอร์:

คนแรกมี $K\times D$ ฟิลเตอร์ของรูปร่าง $D$ . ธาตุ $d$ ของตัวกรอง $k,d$ เท่ากับ $W_{k,d}$ ส่วนที่เหลือเป็นศูนย์ เลเยอร์นี้แปลงอินพุตเป็น $KD$ - ช่องว่างกลางมิติที่ทุกมิติแสดงถึงผลิตภัณฑ์ของน้ำหนักและอินพุตที่สอดคล้องกัน
ชั้นที่สองประกอบด้วย $K$ ฟิลเตอร์ของรูปร่าง $KD$ . องค์ประกอบ $kD\ldots(k+1)D$ ของตัวกรอง $k$ คือส่วนที่เหลือเป็นศูนย์ เลเยอร์นี้ทำผลรวมของผลิตภัณฑ์จากเลเยอร์ก่อนหน้า

เครือข่าย convolutional ดังกล่าวจำลองเครือข่ายที่เชื่อมต่ออย่างสมบูรณ์และดังนั้นจึงมีความสามารถในการประมาณค่าสากลที่เหมือนกัน มันขึ้นอยู่กับคุณที่จะพิจารณาว่าตัวอย่างดังกล่าวมีประโยชน์อย่างไรในทางปฏิบัติ แต่ฉันหวังว่ามันจะตอบคำถามของคุณ

— Jan Kukacka
แหล่งที่มา

1

การก่อสร้างดังกล่าวค่อนข้างชัดเจน แต่ถือได้ว่ามีเงื่อนไขขอบเขตของการขยายเช่นศูนย์เท่านั้น ด้วยความต้องการที่เป็นธรรมชาติมากขึ้นเช่นเงื่อนไขขอบเขตเป็นระยะ (ทำให้การแปลเครื่องหมายเท่ากับตัวดำเนินการ) ล้มเหลว

— Jonas Adler

1

ใช่การก่อสร้างที่ชัดเจนนี้ถือว่ามีการใช้งานร่วมกับอินพุตเท่านั้น (ไม่มีการขยาย) ดังที่ฉันพูดเว้นแต่คุณจะระบุสิ่งที่ได้รับอนุญาตและสิ่งที่ไม่ได้อยู่ภายใต้คำจำกัดความของ CNN ของคุณฉันถือว่านี่เป็นวิธีการที่ถูกต้อง นอกจากนี้โปรดทราบว่าความหมายเชิงปฏิบัติของ UAT นั้นแทบจะไม่มีเลยดังนั้นฉันจึงไม่แน่ใจว่ามันทำให้รู้สึกลึกลงไปในนี้ระบุรุ่นต่าง ๆ ของซีเอ็นเอ็นและแสดงให้เห็นถึงสิ่งที่คล้ายกันสำหรับแต่ละคน

— Jan Kukacka

6

ดูเหมือนว่าคำถามนี้ได้รับการตอบรับในยืนยันในบทความที่ผ่านมานี้โดย Dmitry Yarotsky: ประมาณสากลของแผนที่คงที่โดยเครือข่ายประสาท

บทความแสดงให้เห็นว่าฟังก์ชันการแปลใด ๆ ที่มีความเท่าเทียมกันสามารถประมาณโดยพลการได้ดีโดยเครือข่ายประสาทเทียมที่ระบุว่ามันมีความกว้างเพียงพอในการเปรียบเทียบโดยตรงกับทฤษฎีการประมาณสากลแบบคลาสสิก

— Jonas Adler
แหล่งที่มา

3

ดูกระดาษสากลของเครือข่ายประสาท Convolutional ลึกโดยDing-Xuan Zhouที่แสดงให้เห็นว่าเครือข่ายประสาท convolutional เป็นสากลนั่นคือพวกเขาสามารถประมาณฟังก์ชั่นใด ๆ อย่างต่อเนื่องเพื่อความถูกต้องตามอำเภอใจเมื่อความลึกของเครือข่ายประสาทมีขนาดใหญ่พอ

— nbro
แหล่งที่มา

1

สิ่งนี้ดูเหมือนจะถือว่าไม่มีเงื่อนไขขอบเขตดังนั้นผลลัพธ์ควรเหมือนกับ jan-kukacka ที่กล่าวถึง

— Jonas Adler