คำถามติดแท็ก machine-learning

ผมได้รับมอบหมายให้นักเรียนของฉันมีปัญหาในการหาสามเหลี่ยมสอดคล้องกับคอลเลกชันที่คะแนนในR 2 , ที่มีป้ายกำกับ± 1 (สามเหลี่ยมTคือสอดคล้องกับตัวอย่างที่มีป้ายกำกับถ้าTมีทั้งหมดของบวกและไม่มีจุดลบนั้นโดยสมมติฐานยอมรับตัวอย่างอย่างน้อย 1 รูปสามเหลี่ยมที่สอดคล้องกัน)mmmR2R2\mathbb{R}^2±1±1\pm1TTTTTT สิ่งที่ดีที่สุดที่พวกเขา (หรือฉัน) สามารถทำได้คืออัลกอริธึมที่ทำงานในเวลาโดยที่mคือขนาดตัวอย่าง ใคร ๆ ก็ทำได้ดีกว่ากัน?O(m6)O(m6)O(m^6)mmm

13 cg.comp-geom  machine-learning  lg.learning  convex-geometry 

อัลกอริทึมทางพันธุกรรมวิวัฒนาการมาในรุ่นที่น้อยกว่าที่มีประชากรมากขึ้น แต่ยังใช้เวลานานในการคำนวณรุ่น มีเส้นบอกแนวสำหรับการปรับสมดุลทั้งสองปัจจัยเพื่อให้ได้โซลูชั่นที่ทำงานได้โดยเร็วที่สุดหรือไม่? นอกจากนี้นี่เป็นสถานที่ที่ดีที่สุดสำหรับคำถามหรือไม่

13 ds.algorithms  machine-learning  genetic-algorithms 

ฉันถามคำถามนี้ในการถามตอบที่ผ่านการตรวจสอบแล้ว แต่ดูเหมือนว่าเกี่ยวข้องกับ CS มากกว่าสถิติ คุณสามารถยกตัวอย่างอัลกอริธึมการเรียนรู้ของเครื่องซึ่งเรียนรู้จากคุณสมบัติทางสถิติของชุดข้อมูลที่ไม่ใช่การสังเกตการณ์ของตัวเองเช่นการใช้แบบจำลองแบบสอบถามเชิงสถิติได้หรือไม่

13 lg.learning  machine-learning 

สมมติว่าเรามีฟีดเครือข่ายประสาทส่งต่อเลเยอร์เดียวที่มีอินพุต k และหนึ่งเอาต์พุต ฟังก์ชั่นมันจะคำนวณจาก ก็ค่อนข้างง่ายที่จะเห็นว่าเรื่องนี้มีอย่างน้อยอำนาจการคำนวณเช่นเดียวกับC 0 เพื่อความสนุกสนานเราจะเรียกชุดฟังก์ชั่นที่คำนวณได้โดยเครือข่ายประสาทชั้นเดียว " N e u r a l "{ 0 , 1 }n→ { 0 , 1 }{0,1}n→{0,1}\lbrace 0,1\rbrace ^{n}\rightarrow\lbrace 0,1\rbrace C0AC0AC^0ยังไม่มีข้อความอียูr ลิตรNeuralNeural อย่างไรก็ตามดูเหมือนว่ามันอาจมีพลังการคำนวณมากกว่าเพียงอย่างเดียวC0AC0AC^0 ดังนั้น ... จะC 0 ⊆ N e U r ลิตรหรือN e U r L = C 0 ? ระดับความซับซ้อนเช่นนี้เคยถูกศึกษามาก่อนหรือไม่?C0⊆ Nอียูr …

13 cc.complexity-theory  circuit-complexity  machine-learning  ne.neural-evol 

พื้นหลัง:ในการเรียนรู้ของเครื่องเรามักจะทำงานกับแบบกราฟิกเพื่อแสดงฟังก์ชั่นความหนาแน่นของความน่าจะเป็นมิติสูง หากเรายกเลิกข้อ จำกัด ที่ความหนาแน่นรวม (ผลรวม) กับ 1 เราจะได้รับฟังก์ชั่นพลังงานที่มีโครงสร้างของกราฟที่ผิดปกติ สมมติว่าเรามีฟังก์ชั่นเช่นพลังงาน, , กำหนดไว้ในกราฟG = ( V , E ) มีตัวแปรหนึ่งคือxสำหรับจุดสุดยอดของกราฟในแต่ละครั้งและมีฟังก์ชั่นเอกและคู่จริงมูลค่าθ ฉัน ( x ฉัน ) : ฉัน∈ Vและθ ฉันJ ( x ฉัน , x J ) : ฉันเจ∈ E , ตามลำดับ พลังงานเต็มแล้วEEEG=(V,E)G=(V,E)G = (\mathcal{V}, \mathcal{E})xxxθi(xi):i∈Vθi(xi):i∈V\theta_i(x_i) : i \in \mathcal{V}θij(xi,xj):ij∈Eθij(xi,xj):ij∈E\theta_{ij}(x_i, x_j) : ij …

13 reference-request  machine-learning  lg.learning  boolean-functions 

ปัญหาโลกแห่งความจริงที่แก้ไขโดยใช้อัลกอริทึมพันธุกรรมคืออะไร อะไรคือปัญหา? การทดสอบสมรรถภาพทางกายใช้เพื่อแก้ไขปัญหานี้อย่างไร?

13 ds.algorithms  machine-learning  ai.artificial-intel  application-of-theory  ne.neural-evol 

สมมติว่าเรามีการแทนเวกเตอร์ของจำนวนเต็มใด ๆ ของขนาด n, V_n เวกเตอร์นี้เป็นอินพุตของอัลกอริทึมการเรียนรู้ของเครื่อง คำถามแรก: สำหรับประเภทของการเป็นตัวแทนเป็นไปได้ที่จะเรียนรู้ primality / compositeness ของ n โดยใช้เครือข่ายประสาทเทียมหรือการทำแผนที่ ML เวกเตอร์ถึงบิต นี่เป็นทฤษฎีล้วนๆ - เครือข่ายประสาทเทียมอาจมีขนาดไม่ใหญ่โต ลองเพิกเฉยต่อการเป็นตัวแทนที่เกี่ยวข้องกับการทดสอบเบื้องต้นเช่น: รายการที่คั่นด้วย null ของปัจจัยของ n หรือการมีอยู่ของพยาน compositeness เช่นใน Miller Rabin ให้เรามุ่งเน้นไปที่การเป็นตัวแทนใน radices ที่แตกต่างกันหรือการแทนในฐานะเวกเตอร์สัมประสิทธิ์ของ polynomials (อาจเป็นหลายตัวแปร) หรือสิ่งแปลกใหม่อื่น ๆ คำถามที่สอง: สำหรับประเภทใดของอัลกอริทึม ML ที่จะเรียนรู้สิ่งนี้เป็นไปไม่ได้โดยไม่คำนึงถึงเฉพาะเวกเตอร์ที่เป็นตัวแทน อีกครั้งเราปล่อยให้ 'การห้ามโดยมีเรื่องไม่สำคัญ' ที่แสดงตัวอย่างข้างต้น ผลลัพธ์ของอัลกอริทึมการเรียนรู้ของเครื่องเป็นบิตเดียว, 0 สำหรับไพร์ม, 1 สำหรับคอมโพสิต ชื่อของคำถามนี้สะท้อนถึงการประเมินของฉันว่าฉันทามติสำหรับคำถามที่ 1 …

13 co.combinatorics  machine-learning  primes 

Johnson-Lindenstrauss บทแทรกช่วยให้หนึ่งเพื่อแสดงจุดในพื้นที่มิติสูงเป็นจุดในมิติที่ต่ำกว่า เมื่อค้นหาช่องว่างมิติที่ต่ำกว่าของแบบที่ดีที่สุดเทคนิคมาตรฐานคือการหาการสลายตัวของค่าเอกพจน์จากนั้นนำพื้นที่ย่อยที่สร้างขึ้นโดยค่าเอกพจน์ที่ใหญ่ที่สุด เมื่อไหร่ที่จะใช้ Johnson-Lindenstrauss เหนือ SVD?

12 machine-learning 

ฉันมีชุดข้อมูลหลายพันจุดและวิธีการวัดระยะทางระหว่างจุดสองจุดใด ๆ แต่จุดข้อมูลไม่มีมิติข้อมูล ฉันต้องการอัลกอริทึมเพื่อค้นหาศูนย์คลัสเตอร์ในชุดข้อมูลนี้ ฉันจินตนาการว่าเนื่องจากข้อมูลไม่มีมิติศูนย์คลัสเตอร์อาจประกอบด้วยจุดข้อมูลหลายจุดและความอดทนและการเป็นสมาชิกภายในกลุ่มอาจถูกกำหนดโดยค่าเฉลี่ยของระยะทางของจุดข้อมูลไปยังจุดข้อมูลทุกจุดในศูนย์คลัสเตอร์ โปรดยกโทษให้ฉันถ้าคำถามนี้มีวิธีแก้ปัญหาที่รู้จักกันดีฉันรู้น้อยมากเกี่ยวกับปัญหาแบบนี้! การวิจัย (จำกัด มาก) ของฉันเปิดอัลกอริทึมการจัดกลุ่มสำหรับข้อมูลมิติเท่านั้น ขอบคุณ!

12 machine-learning  lg.learning  clustering 

เป็นที่ทราบกันดีว่าสำหรับการเรียนรู้ PAC นั้นมีชั้นเรียนแนวคิดตามธรรมชาติ (เช่นชุดย่อยของรายการการตัดสินใจ) ซึ่งมีช่องว่างพหุนามระหว่างความซับซ้อนตัวอย่างที่จำเป็นสำหรับการเรียนรู้เชิงทฤษฎีข้อมูลโดยผู้เรียนที่ไม่ได้คำนวณเชิงคอมพิวเตอร์ ผู้เรียนเวลา (ดูเช่นhttp://portal.acm.org/citation.cfm?id=267489&dl=GUIDEหรือhttp://portal.acm.org/citation.cfm?id=301437 ) ผลลัพธ์เหล่านี้ดูเหมือนจะขึ้นอยู่กับการเข้ารหัสลับในตัวอย่างโดยเฉพาะอย่างยิ่งและดังนั้นจึงไม่ต้องแปลเป็นรูปแบบการเรียนรู้ SQ โดยธรรมชาติซึ่งผู้เรียนเพิ่งได้รับการสอบถามคุณสมบัติทางสถิติของการแจกแจง เป็นที่ทราบหรือไม่ว่ามีคลาสแนวคิดสำหรับการเรียนรู้เชิงทฤษฎีในแบบจำลอง SQ ที่เป็นไปได้ด้วยแบบสอบถาม O (f (n)) แต่การเรียนรู้ที่มีประสิทธิภาพเชิงคำนวณนั้นเป็นไปได้เฉพาะกับแบบสอบถาม Omega (g (n)) สำหรับ g (n) ) >> f (n)?

12 machine-learning  lg.learning  sample-complexity 

นี่คือปัญหาที่มีรสชาติคล้ายกับการเรียนรู้ juntas: การป้อนข้อมูล:ฟังก์ชั่น , ตัวแทนจาก oracle สมาชิกคือ oracle ที่ได้รับxผลตอบแทนF ( x )f:{0,1}n→{−1,1}f:{0,1}n→{−1,1}f: \{0,1\}^n \rightarrow \{-1,1\}xxxf(x)f(x)f(x) เป้าหมาย:ค้นหา subcube SSSของ{0,1}n{0,1}n\{0,1\}^nด้วยโวลุ่ม|S|=2n−k|S|=2n−k|S|=2^{n-k}เช่นนั้น|Ex∈Sf(x)|≥0.1|Ex∈Sf(x)|≥0.1\left|\mathbb{E}_{x \in S} f(x) \right| \ge 0.1 0.1 เราสมมติว่ามี subcube อยู่ มันง่ายที่จะได้อัลกอริธึมที่ทำงานในเวลาnO(k)nO(k)n^{O(k)}และส่งกลับคำตอบที่ถูกต้องด้วยความน่าจะเป็น≥0.99≥0.99\ge 0.99โดยลองใช้วิธีทั้งหมด(2n)k(2n)k(2n)^kเพื่อเลือก subcube และสุ่มตัวอย่างค่าเฉลี่ยในแต่ละอัน ฉันสนใจในการหาอัลกอริทึมที่วิ่งในเวลาpoly(n,2k)poly(n,2k)poly(n,2^k) ) อีกทางเลือกหนึ่งขอบเขตที่ต่ำกว่าจะดี ปัญหามีรสชาติคล้ายกับการเรียนรู้ juntas แต่ฉันไม่เห็นการเชื่อมต่อที่แท้จริงระหว่างความยากลำบากในการคำนวณของพวกเขา ปรับปรุง: @Thomas ด้านล่างพิสูจน์ให้เห็นว่าความซับซ้อนตัวอย่างของปัญหานี้คือ ) ปัญหาที่น่าสนใจก็คือความซับซ้อนของปัญหาpoly(2k,logn)poly(2k,log⁡n)poly(2^k,\log n) แก้ไข: คุณสามารถสมมติความเรียบง่ายที่มี subcube ด้วย (สังเกตช่องว่าง: เรากำลังมองหา …

11 machine-learning  lg.learning  boolean-functions  sample-complexity 

ในcs.stackexchangeฉันถามเกี่ยวกับห้องสมุดalgebird scala บน github โดยคาดการณ์ว่าทำไมพวกเขาอาจต้องการแพ็คเกจพีชคณิตนามธรรม หน้า GitHub มีเบาะแสบางอย่าง: การนำ Monoids ไปใช้สำหรับอัลกอริทึมการประมาณที่น่าสนใจเช่นตัวกรอง Bloom, HyperLogLog และ CountMinSketch สิ่งเหล่านี้ช่วยให้คุณคิดถึงการดำเนินการที่ซับซ้อนเหล่านี้เช่นคุณอาจใช้ตัวเลขและเพิ่มพวกมันใน hadoop หรือออนไลน์เพื่อสร้างสถิติและการวิเคราะห์ที่มีประสิทธิภาพ และอีกส่วนหนึ่งของหน้า GitHub: เดิมได้รับการพัฒนาขึ้นเป็นส่วนหนึ่งของ Matrix API ของ Scalding โดยที่ Matrices มีค่าซึ่งเป็นองค์ประกอบของ Monoids กลุ่มหรือ Rings ต่อจากนั้นเป็นที่ชัดเจนว่ารหัสมีแอปพลิเคชันที่กว้างขึ้นภายใน Scalding และโครงการอื่น ๆ ภายใน Twitter แม้แต่ Oskar Boykin แห่ง Twitter ก็ยังได้: คำตอบหลักคือโดยการใช้ประโยชน์จากโครงสร้างกึ่งกลุ่มเราสามารถสร้างระบบที่ขนานอย่างถูกต้องโดยไม่ทราบว่าการดำเนินการพื้นฐาน (ผู้ใช้มีความสัมพันธ์ที่มีแนวโน้ม) โดยใช้ Monoids เราสามารถใช้ประโยชน์จาก sparsity (เราจัดการกับเมทริกซ์กระจัดกระจายจำนวนมากซึ่งค่าเกือบทั้งหมดเป็นศูนย์ใน …

11 soft-question  machine-learning  linear-algebra  db.databases 

พื้นหลังบางส่วน: ฉันสนใจที่จะหาขอบเขตที่ต่ำกว่า "ที่รู้จักน้อยกว่า" (หรือผลลัพธ์ความแข็ง) สำหรับปัญหาการเรียนรู้ที่มีข้อผิดพลาด (LWE) และการวางหลักเกณฑ์ทั่วไปเช่นการเรียนรู้ที่มีข้อผิดพลาดเกี่ยวกับวงแหวน สำหรับคำจำกัดความเฉพาะเป็นต้นนี่คือแบบสำรวจที่ดีโดย Regev: http://www.cims.nyu.edu/~regev/papers/lwesurvey.pdf ประเภทมาตรฐานของ (R) LWE-style สมมติฐานคือการลดลง (อาจจะเป็นควอนตัม) เพื่อลดปัญหาเวกเตอร์ที่สั้นที่สุดบน (อาจเป็นอุดมคติ) โปรย สูตรปกติของ SVP นั้นเป็นที่รู้จักกันดีว่า NP-hard และเชื่อกันว่าเป็นเรื่องยากที่จะประมาณค่าปัจจัยพหุนามขนาดเล็ก (ที่เกี่ยวข้อง: เป็นการยากที่จะประมาณ CVP ให้อยู่ใน / เกือบเป็นพหุนาม / ปัจจัย: http://dl.acm.org/citation.cfm?id=1005180.1005182 ) ฉันเคยได้ยินมาแล้วว่า (ในแง่ของอัลกอริธึมควอนตัม) การประมาณปัญหาขัดแตะบางอย่าง (เช่น SVP) กับพหุนามขนาดเล็กประมาณนั้นเกี่ยวข้องกับปัญหาของกลุ่มย่อยที่ไม่ Abelian ที่ซ่อนอยู่ (ซึ่งเชื่อว่ายากสำหรับเหตุผลของตัวเอง) แม้ว่าฉันจะไม่เคยเห็นแหล่งที่ชัดเจนและเป็นทางการสำหรับเรื่องนี้ อย่างไรก็ตามฉันสนใจมากขึ้นในผลความแข็ง (ทุกประเภท) ที่มาจากปัญหา Noisy Parity จาก Learning …

11 cc.complexity-theory  reference-request  cr.crypto-security  machine-learning  lg.learning 

Dana Angluin ( 1987 ; pdf ) กำหนดรูปแบบการเรียนรู้ด้วยการสืบค้นความเป็นสมาชิกและการสืบค้นทฤษฎี (counterexamples ให้กับฟังก์ชันที่เสนอ) เธอแสดงให้เห็นว่าภาษาปกติที่แสดงโดย DFA น้อยที่สุดของฯ สามารถเรียนรู้ได้ในเวลาพหุนาม (ที่ฟังก์ชันที่เสนอคือ DFAs) กับO ( m n 2 ) การเป็นสมาชิกแบบสอบถามและส่วนใหญ่n - 1ทฤษฎี - แบบสอบถาม ( mคือขนาดของตัวอย่างเคาน์เตอร์ที่ใหญ่ที่สุดที่จัดทำโดยผู้สอน) น่าเสียดายที่เธอไม่ได้พูดถึงขอบเขตที่ต่ำกว่าnnnO(mn2)O(mn2)O(mn^2)n−1n−1n−1mmm เราสามารถทำให้แบบจำลองทั่วไปเล็กน้อยโดยสมมติว่าเป็นครูสอนพิเศษที่สามารถตรวจสอบความเท่าเทียมกันระหว่างฟังก์ชั่นโดยพลการและตอบโต้ตัวอย่างหากมีความแตกต่างกัน จากนั้นเราสามารถถามได้ว่าการเรียนในชั้นเรียนนั้นใหญ่กว่าภาษาปกติมากแค่ไหน ฉันสนใจในการวางนัยทั่วไปและการ จำกัด ดั้งเดิมของภาษาทั่วไป มีขอบเขตที่ต่ำกว่าที่ทราบจำนวนคิวรีในรูปแบบการเป็นสมาชิกและตัวอย่างการตอบโต้หรือไม่? ฉันสนใจที่จะลดจำนวนข้อความค้นหาสมาชิกแบบสอบถามทางทฤษฎีหรือการแลกเปลี่ยนระหว่างสองคำถาม ฉันสนใจในขอบเขตที่ต่ำกว่าสำหรับคลาสของฟังก์ชันใด ๆ แม้กระทั่งสำหรับคลาสที่ซับซ้อนกว่าภาษาปกติ หากไม่มีขอบเขตที่ต่ำกว่า: มีอุปสรรคในการพิสูจน์แบบสอบถามขอบเขตต่ำกว่าในรุ่นนี้หรือไม่ คำถามที่เกี่ยวข้อง มีการปรับปรุงอัลกอริทึมของ Dana Angluin สำหรับการเรียนรู้ชุดปกติหรือไม่

11 cc.complexity-theory  machine-learning  lower-bounds  lg.learning  query-complexity 

ฉันคุ้นเคยกับอัลกอริทึมการไล่ระดับสีซึ่งสามารถค้นหาขั้นต่ำ (สูงสุด) ของฟังก์ชันที่กำหนดได้ มีการดัดแปลงใด ๆ ของการลดลงของการไล่ระดับสีซึ่งช่วยให้สามารถหาค่าต่ำสุดที่แน่นอน (สูงสุด) ได้หรือไม่ซึ่งฟังก์ชั่นนี้มีหลาย extrema ในท้องที่? มีเทคนิคทั่วไปวิธีการเพิ่มประสิทธิภาพอัลกอริทึมที่สามารถหา extremum ท้องถิ่นสำหรับการค้นหา extremum แน่นอนได้อย่างไร

11 ds.algorithms  approximation-algorithms  machine-learning