จะไม่กรองหลายตัวในเลเยอร์ convolutional เรียนรู้พารามิเตอร์เดียวกันในระหว่างการฝึกอบรม?


11

จากสิ่งที่ฉันได้เรียนรู้เราใช้ตัวกรองหลายตัวใน Conv Layer ของ CNN เพื่อเรียนรู้ตัวตรวจจับคุณสมบัติที่แตกต่างกัน แต่เนื่องจากตัวกรองเหล่านี้มีการใช้งานคล้ายกัน (เช่นเลื่อนและคูณกับพื้นที่ของอินพุต) พวกเขาจะไม่ได้เรียนรู้พารามิเตอร์เดียวกันในระหว่างการฝึกอบรมหรือไม่ ดังนั้นการใช้ตัวกรองหลายรายการจะซ้ำซ้อน?

คำตอบ:


6

ฉันมีความสับสนเดียวกันในการทำความเข้าใจความจริงข้อนี้ ความสับสนเกิดขึ้นกับมือใหม่เพราะความชัดเจนของหนังสือไม่ได้กล่าวถึงตัวกรองที่แตกต่างกัน

เนื่องจากตัวกรองเหล่านี้ถูกนำไปใช้เช่นเดียวกัน

ตัวกรองถูกนำไปใช้ในทำนองเดียวกัน แต่ค่าของเซลล์ในเมทริกซ์นั้นแตกต่างจากตัวกรองอื่น ๆ ดังนั้นพวกเขาจึงดึงคุณสมบัติที่แตกต่างจากภาพ

พวกเขาจะไม่ได้เรียนรู้พารามิเตอร์เดียวกันในระหว่างการฝึกอบรมหรือไม่

ไม่พวกเขาไม่ได้เรียนรู้พารามิเตอร์เดียวกันเนื่องจากตัวกรองแตกต่างกันในขณะนี้ ดังนั้นการใช้ตัวกรองหลายตัวจึงไม่ซ้ำซ้อน


ขอบคุณสำหรับการตอบ สิ่งที่ทำให้พวกเขาแตกต่างกันอย่างไร เราจะมั่นใจได้อย่างไรว่าพวกเขาเรียนรู้พารามิเตอร์ที่แตกต่างระหว่างการฝึกอบรม? มันเป็นค่าเริ่มต้นหรือไม่?
cjbayron

1
ค่าที่ต่างกันของแต่ละเซลล์ทำให้แตกต่างกัน เช่นเดียวกับบางคนจะตรวจจับเส้นเอียงบางคนจะตรวจจับเส้นโค้ง 45 องศา ฯลฯ ดังนั้นพวกเขาจึงต่างกัน
ironman

1
ใช่ฉันเข้าใจว่าค่าที่แตกต่างกันทำให้ตัวกรองตรวจจับคุณสมบัติที่แตกต่างกัน แต่ตัวกรองเหล่านี้จะเรียนรู้แตกต่างกันอย่างไรในระหว่างการฝึกอบรม?
cjbayron

3
หากตัวกรองทั้งหมดเริ่มต้นจากเดิมตัวกรองจะอยู่ในลักษณะนั้น การเริ่มต้นแบบสุ่มหมายความว่าพวกเขาเริ่มแตกต่างกันและจากนั้นพวกเขาเรียนรู้สิ่งต่าง ๆ ค้นหาการแบ่งสมมาตรในเครือข่ายประสาทเทียมสำหรับข้อมูลเพิ่มเติม
Aaron

4

ฉันได้พบคำตอบสำหรับคำถามนี้: https://www.quora.com/Why-does-each-filter-learn-different-features-in-a-convolutional-neural-network

มันบอกว่าที่นี่: "... (อัลกอริทึม (การเพิ่มประสิทธิภาพ) พบว่าการสูญเสียไม่ลดลงหากตัวกรองสองตัวมีน้ำหนักและอคติที่คล้ายกันดังนั้นในที่สุดมันก็จะเปลี่ยนหนึ่งในตัวกรอง (น้ำหนักและอคติ) เพื่อลดการสูญเสีย การเรียนรู้คุณสมบัติใหม่ "

ขอบคุณสำหรับคำตอบ ขอบคุณมัน :)

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.