คำถามติดแท็ก machine-learning

Let จะกระจายมากกว่าคู่ bitstring / ฉลาก{ 0 , 1 } d × { 0 , 1 }และให้Cเป็นคอลเลกชันของฟังก์ชั่นมูลค่าบูลฉ: { 0 , 1 } d → { 0 , 1 } สำหรับแต่ละฟังก์ชั่นf ∈ Cให้: e r r ( f , D ) = Pr ( x , y )DDD{0,1}d×{0,1}{0,1}d×{0,1}\{0,1\}^d\times \{0,1\}CCCf:{0,1}d→{0,1}f:{0,1}d→{0,1}f:\{0,1\}^d\rightarrow\{0,1\}f∈Cf∈Cf \in C และให้: …

11 reference-request  machine-learning  lg.learning 

เป็นที่ทราบกันดีว่าสำหรับแนวคิดคลาสCC\mathcal{C}มีมิติ VC dddมันเพียงพอที่จะได้O(dεlog1ε)O(dεlog⁡1ε)O\left(\frac{d}{\varepsilon}\log\frac{1}{\varepsilon}\right)ตัวอย่างที่มีข้อความที่จะเรียนรู้ PACCCC\mathcal{C}ไม่ชัดเจนสำหรับฉันหากอัลกอริทึมการเรียนรู้ PAC (ซึ่งใช้ตัวอย่างจำนวนมากเหล่านี้) เหมาะสมหรือไม่เหมาะสม? ในหนังสือเรียนของ Kearns และ Vazirani เช่นเดียวกับ Anthony และ Biggs ดูเหมือนว่าขั้นตอนวิธีการเรียนรู้ PAC นั้นไม่เหมาะสม (เช่นข้อสมมติผลลัพธ์ไม่ได้อยู่ในCC\mathcal{C}) บางคนสามารถอธิบายได้ไหมว่าขอบเขตบนที่คล้ายกันมีไว้สำหรับการตั้งค่าการเรียนรู้ PAC ที่เหมาะสมหรือไม่ ถ้าเป็นเช่นนั้นคุณสามารถให้การอ้างอิงกับฉันได้ที่นี่ถูกกล่าวถึงอย่างชัดเจนและมีหลักฐานที่มีอยู่ในตัวเองด้วยหรือไม่ เมื่อเร็ว ๆ นี้การปรับปรุง Hanneke ผูกพันโดยการกำจัดของlog(1/ε)log⁡(1/ε)\log(1/\varepsilon)ปัจจัย ใครบางคนสามารถอธิบายได้ว่าเป็นที่รู้กันว่าสามารถถอดออกได้สำหรับการตั้งค่าการเรียนรู้ PAC ที่เหมาะสม? หรือมันเป็นคำถามเปิดยัง?log(1/ε)log⁡(1/ε)\log(1/\varepsilon)

11 machine-learning  boolean-functions  lg.learning  vc-dimension  pac-learning 

เมื่อเร็ว ๆ นี้ฉันได้อ่านเอกสาร CoLT จำนวนมากแล้ว แม้ว่าฉันจะไม่ต่อสู้กับเอกสารส่วนตัว (อย่างน้อยก็ไม่เกินกว่าที่ฉันมักจะต่อสู้กับเอกสารทฤษฎีอื่น ๆ ) แต่ฉันไม่รู้สึกว่าฉันมีความเข้าใจที่ดีเกี่ยวกับสาขาโดยรวม มีข้อความมาตรฐานแบบสำรวจหรือบันทึกการบรรยายเพื่อแนะนำ CoLT ในระดับบัณฑิตศึกษาหรือไม่? ฉันมีพื้นฐานทฤษฎีพื้นหลัง แต่ไม่มีความรู้เฉพาะด้านของการเรียนรู้ของเครื่องหรือสถิติ ฉันส่วนใหญ่สนใจในสิ่งต่าง ๆ เช่นการเรียนรู้ PAC และการเรียนรู้ออโตมาตาและไม่สนใจสิ่งต่าง ๆ เช่นการอนุมานแบบเบย์และทฤษฎี VC คำถามที่เกี่ยวข้อง ทรัพยากร / หนังสือสำหรับความก้าวหน้าล่าสุดในทฤษฎีการเรียนรู้ทางสถิติ

10 reference-request  machine-learning  lg.learning  survey  books 

ฉันค่อนข้างคุ้นเคยกับทฤษฎีที่อยู่เบื้องหลัง VC-Dimension แต่ตอนนี้ฉันกำลังดูความก้าวหน้าล่าสุด (10 ปีที่ผ่านมา) ในทฤษฎีการเรียนรู้ทางสถิติ: (ท้องถิ่น) ค่าเฉลี่ย Rademacher, Finite Class Lemma ของ Massart จำนวนครอบคลุม, Chaining, Dudley ทฤษฎี, Pseudodimension, Fat Shattering Dimensions, หมายเลขการบรรจุ, องค์ประกอบ Rademacher, และผลลัพธ์ / เครื่องมืออื่น ๆ ที่ฉันไม่ทราบ มีเว็บไซต์สำรวจรวบรวมบทความหรือที่ดีที่สุดของหนังสือครอบคลุมหัวข้อเหล่านี้หรือไม่ หรือฉันกำลังดูตัวอย่างของวิธีการผูกค่าเฉลี่ย Rademacher สำหรับคลาสที่เรียบง่ายในลักษณะเดียวกับที่ผู้คนใช้สี่เหลี่ยมที่จัดเรียงตามแนวแกนเพื่อแสดงวิธีการผูกมิติ VC ขอบคุณล่วงหน้า.

10 reference-request  machine-learning  lg.learning  books  vc-dimension 

เป็นที่ทราบกันดีว่าสำหรับการเรียนรู้ PAC แบบคลาสสิกตัวอย่างเป็นสิ่งที่จำเป็นเพื่อให้ได้ข้อผิดพลาดที่มีขอบเขตของε whp โดยที่dคือมิติ VC ของคลาสแนวคิดΩ(d/ε)Ω(d/ε)\Omega(d/\varepsilon)εε\varepsilonddd เป็นที่ทราบกันหรือไม่ว่าจำเป็นต้องใช้ตัวอย่างในกรณีผู้ไม่เชื่อเรื่องพระเจ้า?Ω(d/ε2)Ω(d/ε2)\Omega(d/\varepsilon^2)

10 lg.learning  machine-learning 

ตัวแยกประเภทการเรียนรู้ของเครื่องใดที่ขนานได้มากที่สุด หากคุณมีปัญหาในการจัดหมวดหมู่ยาก จำกัด เวลา แต่มี LAN ที่เหมาะสมสำหรับคอมพิวเตอร์ที่จะใช้งานตัวแยกประเภทใดที่คุณจะลอง สำหรับมือฉันดูเหมือนว่าตัวแยกประเภทมาตรฐานบางอย่างที่ฉันรู้ว่ามีสแต็กดังนี้ แต่ฉันอาจผิดทั้งหมด: ป่าสุ่ม - ขนานมากตราบใดที่แต่ละเครื่องสามารถเก็บข้อมูลทั้งหมด (เช่นไม่สามารถแบ่งข้อมูลการฝึกอบรมต่อ se แต่ขนานกันเป็นอย่างอื่น) การส่งเสริม - สนับสนุน Vector Machine - ไม่ขนานกันมาก ต้นไม้ตัดสินใจ - สามารถแบ่งออกเป็นบางส่วนได้ แต่ไม่ค่อยมีประสิทธิภาพ

10 lg.learning  machine-learning  dc.parallel-comp 

โดยเฉพาะฉันขอทรัพยากรเพื่อเรียนรู้เกี่ยวกับระบบการเรียนรู้ของเครื่องที่สามารถปรับปรุงเครือข่ายความเชื่อของตน (หรือเทียบเท่า) ระหว่างการดำเนินการ ฉันวิ่งข้ามไปไม่กี่ครั้งแม้ว่าฉันจะทำบุ๊กมาร์กไม่สำเร็จ อย่างที่คุณอาจจินตนาการมันเป็นหัวข้อที่ค่อนข้างท้าทายในการค้นหาบนอินเทอร์เน็ต

10 reference-request  machine-learning  lg.learning  ai.artificial-intel  online-learning 

หลังจากความสำเร็จที่ใหม่กว่าและใหม่กว่าของเครือข่ายประสาทเทียมในการเล่นเกมกระดานเรารู้สึกว่าเป้าหมายต่อไปที่เราตั้งไว้อาจมีประโยชน์มากกว่าการตีมนุษย์ในสตาร์คราฟ แม่นยำมากขึ้นฉันสงสัยว่า โครงข่ายใยประสาทเทียมสามารถฝึกให้แก้ปัญหาอัลกอริทึมแบบคลาสสิคได้หรือไม่? นี่ฉันหมายความว่าเช่นเครือข่ายจะได้รับข้อมูลกราฟมีขอบถ่วงน้ำหนักและสองจุดและที่ระบุไว้และเราขอให้หาที่สั้นที่สุดเส้นทางให้เร็วที่สุดเท่าที่เป็นไปได้ จากนั้นฉันเดาว่าเครือข่ายประสาทจะค้นพบและฝึกฝนตัวเองให้ใช้ Dijkstra หรืออะไรทำนองนี้GGGssstttststst หนึ่งในมือเรารู้ว่ากำลังการคำนวณของเครือข่ายประสาทเป็นTC0TC0TC^0 0 ที่อื่นฉันไม่รู้ว่าสิ่งนี้เกี่ยวข้องกับคำถามของฉันหรือไม่ อย่างไรก็ตามสำหรับปัญหาส่วนใหญ่เราไม่รู้ว่าสามารถแก้ไขได้ในหรือไม่ การดูว่าเครือข่ายประสาทสามารถฝึกอบรมตัวเองได้หรือไม่อาจเป็นตัวบ่งชี้ที่ดีว่ามีอัลกอริทึมที่รวดเร็วหรือไม่ ตัวอย่างเช่นถ้าเครือข่ายประสาทไม่สามารถฝึกตัวเองเพื่อแก้ปัญหาได้อย่างรวดเร็ว SAT แล้วที่ทำให้มัน (มากขึ้น) มีแนวโน้มว่า 0 ฉันสงสัยว่าเครือข่ายประสาทจะทำอะไรกับ GRAPHISOMORPHISM หรือ FACTORIZATIONTC0TC0TC^0NP⊄TC0NP⊄TC0NP\not\subset TC^0 แน่นอนว่าการแยกอัลกอริทึมเป็นคำถามที่แตกต่างอย่างสิ้นเชิง ฉันสงสัยว่าผู้เชี่ยวชาญรู้วิธีการทำเช่นนั้น แต่การอภิปรายไม่ใช่หัวข้อของคำถามนี้ เพิ่มอีกสองวันต่อมา: หลังจากเห็นคำตอบให้ฉันระบุว่าถ้าคุณตอบในเชิงลบแล้วฉันอยากจะรู้ ทำไมการเล่นหมากรุกจึงง่ายกว่า Dijkstra หรือ Graphisomorphism?

9 cc.complexity-theory  ds.algorithms  machine-learning  ne.neural-evol 

ป่าสุ่มมีชื่อเสียงในหมู่ผู้ปฏิบัติงานซึ่งเป็นเทคนิคการจำแนกที่มีประสิทธิภาพมากที่สุด แต่เราไม่ได้พบพวกเขามากในวรรณกรรมการเรียนรู้เชิงทฤษฎีซึ่งฉันคาดการณ์ว่าจะไม่มีผลลัพธ์เชิงทฤษฎีที่ลึกซึ้ง หากใครอยากเจาะลึกทฤษฎีนี้ใครจะเริ่ม

9 machine-learning  lg.learning 

สมมติว่าฉันมีคะแนนใน d สิ่งเหล่านี้ทำให้เกิดแผนภาพ Voronoi ถ้าผมกำหนดให้แต่ละจุดป้ายเหล่านี้ก่อให้เกิดการทำงานที่ไบนารี d คำถาม: อะไรคือมิติ VC ของฟังก์ชันเลขฐานสองที่เป็นไปได้ทั้งหมดที่เกิดจากจุดและการทำเครื่องหมายของจุดเหล่านี้?kkkRdRd\mathbb{R}^dkkk±±\pmRdRd\mathbb{R}^dkkk

9 cg.comp-geom  machine-learning  lg.learning  convex-geometry  high-dimensional-geometry 

Background––––––––––––––Background_\underline{\bf Background} ในปี 2005 Regev [1] ได้แนะนำปัญหาการเรียนรู้ด้วยข้อผิดพลาด (LWE) ซึ่งเป็นลักษณะทั่วไปของปัญหาการเรียนรู้ที่มีข้อผิดพลาด ข้อสันนิษฐานของความแข็งของปัญหานี้สำหรับตัวเลือกพารามิเตอร์บางตัวในตอนนี้เป็นหลักฐานยืนยันความปลอดภัยสำหรับโฮสต์ของ cryptosystems หลังควอนตัมในด้านการเข้ารหัสลับที่ใช้โครงตาข่าย LWE เวอร์ชัน "canonical" มีการอธิบายด้านล่าง รอบคัดเลือกโซน: ปล่อย T=R/ZT=R/Z\mathbb{T} = \mathbb{R}/\mathbb{Z} เป็นกลุ่มเพิ่มเติมของ reals modulo 1 คือการรับค่า [0,1)[0,1)[0, 1). สำหรับจำนวนเต็มบวกnnn และ 2≤q≤poly(n)2≤q≤poly(n)2 \le q \le poly(n)เวกเตอร์ "ลับ" s∈Znqs∈Zqn{\bf s} \in \mathbb{Z}_q^nการกระจายความน่าจะเป็น ϕϕ\phi บน RR\mathbb{R}, ปล่อย As,ϕAs,ϕA_{{\bf s}, \phi} เป็นการกระจายบน Znq×TZqn×T\mathbb{Z}_q^n \times …

9 cc.complexity-theory  ds.algorithms  cr.crypto-security  machine-learning  open-problem 

ฉันกำลังค้นหามิติ VC ของระบบชุดต่อไปนี้ จักรวาลเช่นว่า 3 ในระบบชุดแต่ละชุดสอดคล้องกับทรงกลมในดังนั้นชุดประกอบด้วยองค์ประกอบในถ้าหากทรงกลมที่สอดคล้องกันประกอบด้วย ใน 3U={p1,p2,…,pm}U={p1,p2,…,pm}U=\{p_1,p_2,\ldots,p_m\}U⊆R3U⊆R3U\subseteq \mathbb{R}^3RR\mathcal{R}S∈RS∈RS\in \mathcal{R}R3R3\mathbb{R}^3SSSUUUR3R3\mathbb{R}^3 รายละเอียดที่ฉันรู้แล้ว VC-dimension คือ atleast 4 นี่เป็นเพราะถ้าเป็น 4 มุมของจัตุรมุขมันก็จะถูกทำลายโดยp1,p2,p3,p4p1,p2,p3,p4p_1,p_2,p_3,p_4RR\mathcal{R} VC-มิติ atmost 5 นี้เป็นเพราะระบบการตั้งค่าสามารถฝังตัวอยู่ในกับทรงกลมในสอดคล้องกับ hyperplanes ใน 4 เป็นที่รู้จักกันว่า hyperplanes ในมีมิติ VC- 1R4R4\mathcal{R}^4R3R3\mathcal{R}^3R4R4\mathcal{R}^4RdRd\mathcal{R}^dd+1d+1d+1

9 cg.comp-geom  machine-learning  vc-dimension 

ฉันหมายถึงตระกูลภาษาที่ยอมรับสตริงที่มีความยาวโดยพลการไม่ใช่สันธานร่วมกับบิตหรือรายการการตัดสินใจหรือภาษา "แบบง่าย" อื่น ๆ ที่มีอยู่ใน {0,1} ^ n ฉันกำลังถามเกี่ยวกับภาษาปกติ "ทฤษฎีทางออโตมายา" ซึ่งตรงข้ามกับภาษา "ตรรกะ - ทฤษฎี": บางอย่างเช่นภาษาที่สามารถทดสอบได้ทีละน้อย, ภาษาเริ่มต้นที่มีความสูงเป็นศูนย์, ภาษาที่สามารถทดสอบได้ในท้องถิ่น พารามิเตอร์ความซับซ้อนที่เกี่ยวข้อง n คือขนาดของการรับ DFA ขั้นต่ำ ดังที่กล่าวไว้โดยสังเขป: มีครอบครัวที่น่าสนใจของ n-state DFAs ที่รู้กันดีว่าสามารถเรียนรู้ PAC ได้อย่างมีประสิทธิภาพหรือไม่?

9 automata-theory  machine-learning  lg.learning