การคำนวณมิติ VC ของเครือข่ายประสาทเทียม

ถ้าฉันมีโทโพโลยีที่ไม่เกิดขึ้นอีกคงที่ (DAG) (ชุดคงที่ของโหนดและขอบ แต่อัลกอริทึมการเรียนรู้สามารถเปลี่ยนแปลงน้ำหนักบนขอบ) ของ sigmoid neurons กับเซลล์ประสาทซึ่งสามารถใช้สตริงใน{ - 1 , 1 } nเป็นอินพุตและนำไปสู่หนึ่งเอาต์พุต (ซึ่งส่งออกมูลค่าจริงที่เราปัดขึ้นเป็น 1 หรือลงไปที่ -1 หากเป็นค่าคงที่ที่กำหนดไว้แน่นอนจาก 0) มีวิธีใดในการคำนวณ (หรือโดยประมาณ) VC-dimension ของเครือข่ายนี้หรือไม่?$n$$\{-1,1\}^n$

หมายเหตุ

ฉันถามการปรับปรุงอัลกอริทึมที่แม่นยำยิ่งขึ้นเล็กน้อยใน CS.SE:

การคำนวณอย่างมีประสิทธิภาพหรือประมาณมิติ VC ของเครือข่ายประสาทเทียม

ฉันสะดุดข้ามโพสต์ของคุณในขณะที่หาสูตรทั่วไปสำหรับการคำนวณขนาด VC บนอวนประสาท แต่เห็นได้ชัดว่าไม่มี เห็นได้ชัดว่าเรามีเพียงผสมของสมการ VC ที่แตกต่างกันซึ่งใช้เฉพาะในกรณีที่แคบ ข้อควรระวัง: ฉันอ้างอิงจากงานวิจัยเก่า ๆ ที่ฉันแทบจะไม่เข้าใจในแนวคิดของ VC Dimensions ซึ่งตอนนี้ฉันเรียนรู้เท่านั้น อย่างไรก็ตามอาจเป็นการดีที่จะอ่านบทความนี้โดย Peter L. Bartlett และ Wolfgang Maass 1ในการคำนวณของมิติ VC สังเกตว่าพวกเขามีความยาวมากเพียงใดในการหาสูตร VC ในทฤษฎีบท 13 เรื่อง แต่มีความจำเป็นและเงื่อนไขที่จำเป็นสำหรับแต่ละคนอย่างไร สิ่งที่จำเป็นต้องมีมีตั้งแต่จำนวนของโอเปอเรเตอร์ในฟังก์ชั่นการเปิดใช้งานจนถึงประเภทของการกระโดดที่อนุญาตจำนวนของเซลล์ประสาทและตำแหน่งของพวกเขาความลึกบิตของอินพุต ฯลฯ มี "gotchas" ที่กระจัดกระจายจำนวนมากซึ่งทำให้สูตรมีประโยชน์สำหรับปัญหาในระดับแคบ ๆ เท่านั้น เพื่อให้เรื่องแย่ลงพวกเขาชี้ให้เห็นในทฤษฎีบทที่ 5 และ 8 ว่าฟังก์ชั่นการเปิดใช้งาน sigmoidal นั้นยากที่จะคำนวณตัวเลข VC สำหรับ บนหน้า 6-7 พวกเขาเขียน:

"ในขณะที่ VC-Dimensions ของเครือข่ายที่มีฟังก์ชั่นการเปิดใช้งานแบบโพลิโนเมียลแบบเข็มเป็นที่เข้าใจกันดีแล้วการใช้งานส่วนใหญ่ของเครือข่ายประสาทใช้ฟังก์ชั่น sigmoid logistic หรือฟังก์ชันพื้นฐานของ Gaussian Radial การดำเนินการทางคณิตศาสตร์ที่ระบุไว้ในทฤษฎีบทที่ 5 อย่างไรก็ตาม Karpinski และ Macintyre [Karpinski and Macintyre, 1997] ขยายทฤษฎีบทที่ 5 เพื่อให้การคำนวณเลขชี้กำลังการพิสูจน์ใช้แนวคิดเดียวกัน แต่ขอบเขตของการแก้ปัญหาของระบบสมการคือ ยิ่งยากยิ่งขึ้น "

ฉันยังวิ่งข้ามบทความนี้ด้วยชื่อที่ให้กำลังใจของ "Bounding VC-Dimension สำหรับโครงข่ายประสาทเทียม: ความก้าวหน้าและอนาคต" 2คณิตศาสตร์จำนวนมากอยู่เหนือหัวฉันและฉันไม่ได้อ่านนานพอที่จะเอาชนะการขาดทักษะการแปลของฉันได้ แต่ฉันคิดว่ามันไม่ได้นำเสนอวิธีแก้ปัญหาที่ทำให้แผ่นดินไหวเนื่องจากมันมีหนังสือบาร์ตเลตรุ่นที่สอง และ Maass ผู้กล่าวอ้างถึงผลงานในภายหลังโดยผู้แต่งคนเดียวกัน บางทีการวิจัยต่อมาในช่วง 20 ปีที่ผ่านมาได้ปรับปรุงความสามารถในการคำนวณขนาด VC สำหรับอวนประสาท แต่การอ้างอิงส่วนใหญ่ที่ฉันพบดูเหมือนจะมาจากกลางทศวรรษที่ 90 เห็นได้ชัดว่ามีความวุ่นวายในการทำงานในเรื่องนี้ตั้งแต่นั้นมาหลังจากที่เสียชีวิตลง หากความสามารถยังไม่ได้รับการขยายออกไปโดยทุนการศึกษาที่ไกลกว่าสิ่งที่พวกเขาอยู่ในยุค 90 ฉันหวังว่าจะมีใครบางคนที่มีวิธีแก้ปัญหาที่ใช้กันอย่างแพร่หลายมากขึ้นในไม่ช้าดังนั้นฉันจึงสามารถเริ่มคำนวณขนาด VC ขอโทษฉันไม่สามารถ '

1บาร์ตเลตต์, ปีเตอร์แอลและมาสส์, โวล์ฟกัง, 2546, "Vapnik-Chervonenkis ขนาดของโครงข่ายประสาท", หน้า 1188-1192 ในคู่มือของทฤษฎีสมองและโครงข่ายประสาทเทียม, Arbib, Michael A. ed. กด MIT: Cambridge, Mass

2 Karpinski, Marek และ Macintyre, Angus, 1995, "ขอบเขต VC-Dimension สำหรับโครงข่ายประสาท: ความคืบหน้าและอนาคต," pp. 337–341 ในการประชุมวิชาการยุโรปครั้งที่ 2 ที่บาร์เซโลนา, สเปน Vitanyi, P. ed. หมายเหตุการบรรยายในด้านปัญญาประดิษฐ์หมายเลข 904 สปริงเกอร์: เบอร์ลิน

นี่คือผลงานล่าสุด: http://jmlr.org/papers/v20/17-612.html

$W$$L$

$c$$C$