คำถามติดแท็ก vc-dimension

อะไรคือสิ่งที่มิติ VCของต้นไม้ตัดสินใจกับ k แยกในสองมิติ? ให้เราบอกว่าแบบจำลองนั้นเป็นรถเข็นและตัวแยกที่อนุญาตเท่านั้นนั้นขนานกับแกน ดังนั้นสำหรับการแบ่งหนึ่งครั้งเราสามารถสั่งซื้อ 3 คะแนนในรูปสามเหลี่ยมและจากนั้นสำหรับการติดฉลากของคะแนนใด ๆ ที่เราจะได้รับการทำนายที่สมบูรณ์แบบ (เช่น: จุดแตกหัก) แต่ประมาณ 2 สปลิต, หรือ k ทั่วไปอะไร?

17 cart  vc-dimension 

ฉันได้พบวิธีการพื้นฐานบางอย่างในการวัดความซับซ้อนของเครือข่ายประสาท: ไร้เดียงสาและไม่เป็นทางการ: นับจำนวนเซลล์ประสาทเซลล์ที่ซ่อนอยู่เลเยอร์หรือเลเยอร์ที่ซ่อนอยู่ VC-dimension (Eduardo D. Sontag [1998] "มิติ VC ของเครือข่ายประสาท" [ pdf ]) เม็ดเล็กหลักสูตรและการ asymptotic วัดซับซ้อนในการคำนวณโดยเท่าเทียมกันที่จะTC0dTCd0TC^0_d d มีทางเลือกอื่นหรือไม่? เป็นที่ต้องการ: หากการวัดความซับซ้อนสามารถใช้ในการวัดโครงข่ายประสาทจากกระบวนทัศน์ต่าง ๆ (เพื่อวัด backprop, โครงข่ายประสาทเทียม, ความสัมพันธ์ของน้ำตก ฯลฯ ) ในระดับเดียวกัน ตัวอย่างเช่น VC-dimension สามารถใช้กับประเภทที่แตกต่างกันในเครือข่าย (หรือแม้แต่สิ่งอื่นที่ไม่ใช่เครือข่ายประสาท) ในขณะที่จำนวนของเซลล์ประสาทจะมีประโยชน์เฉพาะระหว่างรุ่นที่เฉพาะเจาะจงมากที่ฟังก์ชั่นการเปิดใช้งานสัญญาณ คุณสมบัติของเครือข่ายเหมือนกัน หากมีความสอดคล้องที่ดีกับการวัดมาตรฐานของความซับซ้อนของฟังก์ชั่นที่เรียนรู้ได้โดยเครือข่าย หากเป็นการง่ายในการคำนวณตัวชี้วัดในเครือข่ายเฉพาะ (อันสุดท้ายนี้ไม่จำเป็นต้องเป็น) หมายเหตุ คำถามนี้ขึ้นอยู่กับคำถามทั่วไปเพิ่มเติมเกี่ยวกับ CogSci.SE

16 neural-networks  theory  vc-dimension  pac-learning 

ในการเรียนรู้เครื่องจักรขั้นพื้นฐานเราได้รับการสอน "กฎง่ายๆ" ต่อไปนี้: ก) ขนาดของข้อมูลของคุณควรมีขนาดอย่างน้อย 10 เท่าของขนาด VC ของชุดสมมติฐานของคุณ b) เครือข่ายประสาทเทียมที่มีการเชื่อมต่อ N มีมิติ VC ประมาณ N ดังนั้นเมื่อเครือข่ายนิวรัลการเรียนรู้อย่างลึกซึ้งได้พูดไปแล้วหลายล้านหน่วยนี่หมายความว่าเราควรจะพูดจุดข้อมูลนับพันล้านหรือไม่ คุณช่วยส่องแสงนี้ให้หน่อยได้ไหม?

15 machine-learning  neural-networks  deep-learning  vc-dimension 

ในชุดการเรียนรู้การบรรยายจากข้อมูลอาจารย์กล่าวว่ามิติ VC วัดความซับซ้อนของแบบจำลองว่ามีจุดแตกต่างกันอย่างไร ดังนั้นวิธีนี้ใช้งานได้ดีอย่างสมบูรณ์แบบสำหรับการจำแนกประเภทที่เราสามารถบอกได้ว่าไม่มีคะแนน N หากตัวแยกประเภทสามารถจำแนกคะแนน k ได้อย่างมีประสิทธิภาพการวัดขนาด VC จะเป็น K แต่ก็ไม่ชัดเจนสำหรับฉัน ?

12 regression  machine-learning  vc-dimension 

Wikipediaบอกว่า: มิติ VC คือความสำคัญของชุดแต้มที่ใหญ่ที่สุดที่อัลกอริทึมสามารถสลาย ตัวอย่างเช่นลักษณนามเชิงเส้นมี cardinality n + 1 คำถามของฉันคือทำไมเราสนใจ ชุดข้อมูลส่วนใหญ่ที่คุณทำการจัดหมวดหมู่เชิงเส้นมีแนวโน้มที่จะมีขนาดใหญ่มากและมีจำนวนมากของคะแนน

12 classification  algorithms  vc-dimension 

ฉันสนใจในผลลัพธ์ทางทฤษฎีสำหรับความสามารถในการวางนัยทั่วไปของ Support Vector Machines เช่นขอบเขตของความน่าจะเป็นของข้อผิดพลาดการจัดหมวดหมู่และมิติ Vapnik-Chervonenkis (VC) ของเครื่องเหล่านี้ อย่างไรก็ตามการอ่านวรรณกรรมฉันรู้สึกว่าผลลัพธ์ที่คล้าย ๆ กันบางครั้งมีแนวโน้มที่จะแตกต่างกันเล็กน้อยจากผู้เขียนถึงผู้เขียนโดยเฉพาะอย่างยิ่งเกี่ยวกับเงื่อนไขทางเทคนิคที่จำเป็นสำหรับขอบเขตที่กำหนดไว้ ในต่อไปนี้ฉันจะเรียกคืนโครงสร้างของปัญหา SVM และสถานะ 3 ของผลลัพธ์การสรุปทั่วไปหลักที่ฉันพบซ้ำในรูปแบบเดียวหรืออีกรูปแบบหนึ่งฉันให้การอ้างอิงหลัก 3 รายการตลอดการจัดนิทรรศการ−−- การตั้งค่าปัญหา : สมมติว่าเรามีตัวอย่างข้อมูลของคู่อิสระและการกระจาย (iid) คู่โดยที่ ,และ\} เราสร้างเครื่องเวกเตอร์สนับสนุน (SVM) ที่เพิ่มระยะขอบให้น้อยที่สุดระหว่างไฮเปอร์เพลนแยกที่กำหนดโดย ,และและจุดที่ใกล้ที่สุดในหมู่เพื่อแยกทั้งสองเรียนที่กำหนดโดยและ1 เราปล่อยให้ SVM ยอมรับข้อผิดพลาดบางอย่างผ่านการทำกำไรขั้นต้นโดยการแนะนำตัวแปรหย่อน(xi,yi)1≤i≤n(xi,yi)1≤i≤n(x_i,y_i)_{1\leq i\leq n}iiixi∈Rpxi∈Rpx_i \in \mathbb{R}^pyi∈{−1,1}yi∈{−1,1}y_i \in \{-1,1\}m∗m∗m^*{x:w⋅x+b=0}{x:w⋅x+b=0}\{x : w \cdot x + b = 0\}w∈Rpw∈Rpw \in \mathbb{R}^pb∈Rb∈Rb \in \mathbb{R}x1,⋯,xnx1,⋯,xnx_1,\cdots,x_ny=−1y=−1y = …

11 machine-learning  svm  vc-dimension 

ถ้าฉันมีโทโพโลยีที่ไม่เกิดขึ้นอีกคงที่ (DAG) (ชุดคงที่ของโหนดและขอบ แต่อัลกอริทึมการเรียนรู้สามารถเปลี่ยนแปลงน้ำหนักบนขอบ) ของ sigmoid neurons กับเซลล์ประสาทซึ่งสามารถใช้สตริงใน{ - 1 , 1 } nเป็นอินพุตและนำไปสู่หนึ่งเอาต์พุต (ซึ่งส่งออกมูลค่าจริงที่เราปัดขึ้นเป็น 1 หรือลงไปที่ -1 หากเป็นค่าคงที่ที่กำหนดไว้แน่นอนจาก 0) มีวิธีใดในการคำนวณ (หรือโดยประมาณ) VC-dimension ของเครือข่ายนี้หรือไม่?nnn{ - 1 , 1 }n{−1,1}n\{-1,1\}^n หมายเหตุ ฉันถามการปรับปรุงอัลกอริทึมที่แม่นยำยิ่งขึ้นเล็กน้อยใน CS.SE: การคำนวณอย่างมีประสิทธิภาพหรือประมาณมิติ VC ของเครือข่ายประสาทเทียม

11 machine-learning  neural-networks  algorithms  vc-dimension 

VC-Dimension ของอัลกอริทึมเพื่อนบ้านที่ใกล้ที่สุดคือ k คืออะไรถ้า k เท่ากับจำนวนคะแนนการฝึกอบรมที่ใช้? บริบท:คำถามนี้ถูกถามในหลักสูตรที่ฉันทำและคำตอบที่ได้คือ 0 แต่ฉันไม่เข้าใจว่าทำไมถึงเป็นเช่นนั้น สัญชาตญาณของฉันคือ VC-Dimension ควรเป็น 1 เพราะมันเป็นไปได้ที่จะเลือกสองแบบ (เช่นชุดของคะแนนการฝึกอบรม) เพื่อให้ทุกจุดถูกระบุว่าเป็นของคลาสหนึ่งตามรุ่นแรกและเป็นของคลาสอื่น ตามรุ่นที่สองดังนั้นจึงเป็นไปได้ที่จะแตกจุดเดียว ความผิดพลาดในการให้เหตุผลของฉันอยู่ที่ไหน

10 machine-learning  self-study  k-nearest-neighbour  vc-dimension 

หนังสือ "รู้เบื้องต้นเกี่ยวกับการเรียนรู้ของเครื่อง" โดย Ethem Alpaydınระบุว่ามิติ VC ของสี่เหลี่ยมผืนผ้าที่จัดเรียงตามแนวแกนคือ 4 แต่สี่เหลี่ยมจะแบ่งชุดของจุด collinear สี่จุดด้วยจุดบวกและลบอย่างไร บางคนสามารถอธิบายและพิสูจน์มิติ VC ของสี่เหลี่ยมได้หรือไม่?

9 classification  vc-dimension