การคำนวณอย่างมีประสิทธิภาพหรือใกล้เคียงกับมิติ VC ของเครือข่ายประสาทเทียม

เป้าหมายของฉันคือการแก้ปัญหาต่อไปนี้ซึ่งฉันได้อธิบายไว้โดยอินพุตและเอาต์พุต:

การป้อนข้อมูล:

กราฟรอบทิศทางกับโหนดm , แหล่งที่มาnและ1อ่างล้างจาน ( m > n ≥ 1 )$G$$m$$n$$1$$m > n \geq 1$

เอาท์พุท:

VC-มิติ (หรือประมาณของมัน) สำหรับเครือข่ายประสาทกับโครงสร้างG$G$

เฉพาะเจาะจงมากขึ้น :

• แต่ละโหนดในเป็นเซลล์ประสาท sigmoid โทโพโลยีได้รับการแก้ไขแล้ว แต่น้ำหนักบนขอบสามารถเปลี่ยนแปลงได้โดยอัลกอริทึมการเรียนรู้$G$
• อัลกอริทึมการเรียนรู้ได้รับการแก้ไข (พูดการถ่ายทอดย้อนกลับ)
• โหนดต้นทางเซลล์ป้อนข้อมูลและสามารถใช้สตริงจาก{ - 1 , 1 } nเป็น input$n$$\{-1,1\}^n$
• โหนด sink เป็นหน่วยเอาต์พุต มันออกค่าจริงจากที่เรารอบขึ้นไป1หรือลงเพื่อ- 1ถ้ามันเป็นมากกว่าเกณฑ์บางอย่างคงที่δห่างจาก0$[-1,1]$$1$$-1$$\delta$$0$

วิธีการที่ไร้เดียงสาเป็นเพียงการพยายามแบ่งคะแนนให้มากขึ้นโดยพยายามฝึกอบรมเครือข่าย อย่างไรก็ตามวิธีการจำลองแบบนี้ไม่มีประสิทธิภาพ

คำถาม

มีวิธีที่มีประสิทธิภาพ (เช่นในเมื่อเปลี่ยนเป็นปัญหาการตัดสินใจ: มิติข้อมูล VC น้อยกว่าพารามิเตอร์อินพุตkหรือไม่) เพื่อคำนวณฟังก์ชันนี้หรือไม่ ถ้าไม่ได้ผลความแข็งมีอะไรบ้าง$\mathsf{P}$$k$

มีวิธีที่ใช้งานได้ดีในการคำนวณหรือประมาณฟังก์ชั่นนี้หรือไม่? หากเป็นการประมาณจะมีการรับประกันความถูกต้องหรือไม่?

หมายเหตุ

ฉันถามคำถามที่คล้ายกันเกี่ยวกับ stats.SE แต่มันไม่ได้สร้างความสนใจ

หากคุณมีความยินดีที่จะ จำกัด ปัญหาต่อไปโดยให้เครือข่ายได้รับการชั้นแล้วทอมมิตเชลล์ "เครื่องเรียนรู้" ให้ผูกไว้บนของ ( ) (ส่วน 7.4.4) ที่sคือจำนวนของ โหนดภายใน (ซึ่งจะต้องสูงกว่า 2), dคือมิติ VC ของแต่ละโหนดและeคือฐานของลอการิทึมธรรมชาติ หากคุณอยู่หลังจำนวนตัวอย่างการฝึกอบรมแล้วข้อมูลนี้ควรจะเพียงพอ$2ds \log(es)$$s$$d$$e$

มันไม่ใช่คำตอบสำหรับคำถามของคุณอย่างเคร่งครัด แต่อาจช่วยคุณได้ ผลลัพธ์ที่ได้คือ Baum และ Haussler (1989)