เพราะเหตุใดการเรียนรู้ของเครื่องจึงไม่สามารถจดจำตัวเลขสำคัญได้

13

สมมติว่าเรามีการแทนเวกเตอร์ของจำนวนเต็มใด ๆ ของขนาด n, V_n

เวกเตอร์นี้เป็นอินพุตของอัลกอริทึมการเรียนรู้ของเครื่อง

คำถามแรก: สำหรับประเภทของการเป็นตัวแทนเป็นไปได้ที่จะเรียนรู้ primality / compositeness ของ n โดยใช้เครือข่ายประสาทเทียมหรือการทำแผนที่ ML เวกเตอร์ถึงบิต นี่เป็นทฤษฎีล้วนๆ - เครือข่ายประสาทเทียมอาจมีขนาดไม่ใหญ่โต

ลองเพิกเฉยต่อการเป็นตัวแทนที่เกี่ยวข้องกับการทดสอบเบื้องต้นเช่น: รายการที่คั่นด้วย null ของปัจจัยของ n หรือการมีอยู่ของพยาน compositeness เช่นใน Miller Rabin ให้เรามุ่งเน้นไปที่การเป็นตัวแทนใน radices ที่แตกต่างกันหรือการแทนในฐานะเวกเตอร์สัมประสิทธิ์ของ polynomials (อาจเป็นหลายตัวแปร) หรือสิ่งแปลกใหม่อื่น ๆ

คำถามที่สอง: สำหรับประเภทใดของอัลกอริทึม ML ที่จะเรียนรู้สิ่งนี้เป็นไปไม่ได้โดยไม่คำนึงถึงเฉพาะเวกเตอร์ที่เป็นตัวแทน อีกครั้งเราปล่อยให้ 'การห้ามโดยมีเรื่องไม่สำคัญ' ที่แสดงตัวอย่างข้างต้น

ผลลัพธ์ของอัลกอริทึมการเรียนรู้ของเครื่องเป็นบิตเดียว, 0 สำหรับไพร์ม, 1 สำหรับคอมโพสิต

ชื่อของคำถามนี้สะท้อนถึงการประเมินของฉันว่าฉันทามติสำหรับคำถามที่ 1 คือ 'ไม่ทราบ' และฉันทามติสำหรับคำถามที่ 2 คือ 'อัลกอริธึม ML ส่วนใหญ่' ฉันถามสิ่งนี้เพราะฉันไม่รู้อะไรมากกว่านี้และฉันหวังว่าจะมีใครบางคนชี้ทาง

แรงจูงใจหลักถ้ามีอยู่คำถามนี้คือ: มีข้อ จำกัด 'ข้อมูลเชิงทฤษฎี' หรือไม่ในโครงสร้างของชุดของช่วงเวลาที่สามารถจับภาพในโครงข่ายประสาทเทียมที่มีขนาดเฉพาะได้หรือไม่? เนื่องจากฉันไม่มีความเชี่ยวชาญในคำศัพท์แบบนี้ให้ฉันทบทวนความคิดนี้อีกสองสามครั้งและดูว่าฉันได้รับแนวคิดเกี่ยวกับแนวคิดของ Monte-Carlo: ความซับซ้อนของอัลกอริธึมของเซตเฉพาะคืออะไร ความจริงที่ว่าจำนวนเฉพาะไดโอแฟนไทน์สามารถนับซ้ำได้ (และสามารถตอบสนองสมการไดโอแฟนไทน์ขนาดใหญ่โดยเฉพาะ ) สามารถใช้เพื่อจับภาพโครงสร้างเดียวกันในเครือข่ายประสาทเทียมด้วยอินพุตและเอาท์พุทที่อธิบายไว้ข้างต้น

co.combinatorics machine-learning primes

— Cris Stringfellow
แหล่งที่มา

12

จากมุมมองของทฤษฎีปัญหาของคุณยังไม่ชัดเจน อะไรคือปัจจัยนำเข้าสู่อัลกอริทึมการเรียนรู้ของเครื่อง? พวกเขาเป็นอย่างไร อัลกอริทึมรู้อะไรล่วงหน้างานการเรียนรู้

— Lev Reyzin

3

ฉันไม่คิดว่านี่เป็นคำถามที่ดีในรูปแบบปัจจุบันของเว็บไซต์นี้

— Kaveh

4

มันสามารถ แต่ในการเรียนรู้ของเครื่องเราต้องการลดข้อผิดพลาดในการทดสอบชุดข้อมูล ตอนนี้ถ้าคุณบนรถไฟคุณอาจท้ายการเรียนรู้และที่ทำงานอย่างสมบูรณ์แบบสำหรับตัวเลขที่น้อยกว่าที่41แต่หลังจากนั้นประสิทธิภาพก็ไม่ดี มีคนพยายามนี้ (ด้วยตนเอง :-)) และจนถึงขณะนี้ไม่ประสบความสำเร็จมาก ใน ML เราพยายามค้นหารูปแบบ แต่ถ้าไม่มีรูปแบบใด ๆ

[1, 20]

$[1, 20]$

f (n) = n^{2} - n + 41

$f(n) = n^2 - n + 41$

41

$41$

— Pratik Deoghare

1

ดูเหมือนว่าคุณกำลังถามว่ามีอัลกอริธึมที่ให้ฟังก์ชันจากลำดับที่แน่นอนของตัวเลขธรรมชาติไปยังภาคแสดงของตัวเลขธรรมชาติหรือไม่สามารถส่งออกภาคแสดงลำดับขั้นต้นที่กำหนดลำดับของ primes ได้อย่างถูกต้องหรือไม่ การจำกัดความของคุณให้ชัดเจนยิ่งขึ้นนั้นไม่ใช่เรื่องเล็กน้อยหากเป็นไปได้ หากคุณพยายามทำให้แม่นยำคุณอาจเห็น

— วีเจย์ D

1

คำตอบง่ายๆเนื่องจากยากที่จะประมาณพื้นที่การค้นหาของฟังก์ชันหมายเลขเฉพาะคุณกำลังหา (นั่นคือส่งคืน 1 ถ้าเป็นจำนวนเฉพาะและ 0 เป็นอย่างอื่นสำหรับทุก ๆ ) ในความสัมพันธ์กับความคิดเห็น @PratikDeoghare มันเป็นเรื่องยากที่จะหารูปแบบในS

S

$S$

f

$f$

f (n)

$f(n)$

n

$n$

n

$n$

S

$S$

— AJed

-8

นี่เป็นคำถาม / ปัญหาเก่า ๆ ที่มีหลาย ๆ การเชื่อมต่อจำนวนมากลึกเข้าไปในทฤษฎีจำนวนคณิตศาสตร์ TCS และโดยเฉพาะอย่างยิ่งทฤษฎีการพิสูจน์โดยอัตโนมัติ [5]

คำถามเก่าที่ใกล้เคียงโบราณคือ "มีสูตรสำหรับการคำนวณเฉพาะช่วง"

คำตอบคือใช่มีหลายอัลกอริธึมในการคำนวณ

ฟังก์ชันซีตาของ Riemann สามารถปรับเปลี่ยนเป็น "อัลกอริทึม" เพื่อค้นหาช่วงเวลา

ดูเหมือนว่าเป็นไปได้สำหรับฉันว่า GA วิธีการทางพันธุกรรม - อัลกอริทึมอาจประสบความสำเร็จกับปัญหานี้ได้ในบางวันด้วยการตั้งค่าที่แยบยลเช่น GAs เป็นเทคโนโลยีที่รู้จักใกล้ที่สุดซึ่งมีโอกาสประสบความสำเร็จมากที่สุด [6] [7] มันเป็นปัญหาของการหาอัลกอริทึมจากตัวอย่างอัน จำกัด , เช่นการเรียนรู้ของเครื่อง, ซึ่งคล้ายกับการเหนี่ยวนำทางคณิตศาสตร์ อย่างไรก็ตามดูเหมือนว่าจะไม่มีงานวิจัยจำนวนมากที่ใช้ GAs ในทฤษฎีจำนวนจนถึงตอนนี้

ที่ใกล้เคียงที่สุดกับวรรณกรรมที่มีอยู่ในปัจจุบันดูเหมือนจะเป็นเช่น [8] ที่กล่าวถึงการพัฒนาการคาดเดาคู่นายกรัฐมนตรีด้วยวิธีอัตโนมัติเช่น "การคาดเดาอัตโนมัติ"

อีกวิธีหนึ่งคือโปรแกรมที่มีชุดตารางจำนวนมากของฟังก์ชันมาตรฐานพร้อมกับตรรกะการแปลงที่ซับซ้อนบางอย่างเพื่อรับรู้ลำดับเลขจำนวนเต็มมาตรฐาน นี่คือฟังก์ชั่นใหม่ที่สร้างขึ้นใน Mathematica เรียกว่าfindsequence[3]

มันยังเชื่อมต่อกับสนามค่อนข้างใหม่ที่เรียกว่า "การทดลองทางคณิตศาสตร์" [9,10] หรือสิ่งที่เรียกว่าการวิจัย "เชิงประจักษ์" ใน TCS

อีกจุดพื้นฐานที่ทำให้ที่นี่คือลำดับของช่วงเวลานั้นไม่ "ราบรื่น" ไม่สม่ำเสมอสูงไม่เป็นระเบียบวุ่นวายแฟร็กทัลและกลไกการเรียนรู้มาตรฐานขั้นตอนวิธีการเชิงประวัติศาสตร์อยู่บนพื้นฐานของการเพิ่มประสิทธิภาพเชิงตัวเลขและลดข้อผิดพลาด (เช่น ในการค้นหาคำตอบที่แน่นอนสำหรับปัญหาที่ไม่ต่อเนื่อง แต่ GAs อีกครั้งสามารถประสบความสำเร็จและแสดงให้เห็นว่าประสบความสำเร็จในพื้นที่ / ระบอบการปกครองนี้

[1] มีคณิตศาสตร์ eqn สำหรับ nth prime, math.se

[2] สูตรสำหรับเฉพาะช่วงเวลา , วิกิพีเดีย

[3] ฟังก์ชั่นการค้นหาวุลแฟรมวุลแฟรม

[4] ฟังก์ชันซีตา riemann

[5] ความสำเร็จสูงสุดของการพิสูจน์ทฤษฎีบทอัตโนมัติ

[6] การประยุกต์ใช้อัลกอริธึมทางพันธุกรรมในโลกแห่งความเป็นจริง

[7] การใช้อัลกอริทึมทางพันธุกรรมกับการพิสูจน์ thm อัตโนมัติโดย Wang

[8] การคาดคะเนแบบอัตโนมัติในทฤษฎีจำนวนโดยใช้ HR, Otter และ Maple colton

[9] มีการประยุกต์ใช้คณิตศาสตร์ทดลองใน TCS หรือไม่

[10] รายการเรื่องรออ่านเกี่ยวกับอัลกอริทึมทดลอง

— vzn
แหล่งที่มา

1

นี่คือคำตอบที่ดี ไม่แน่ใจว่าไซต์จะเห็นด้วยหรือไม่ แต่เป็นสิ่งที่ฉันต้องการ เส้นทางใหม่เพื่อสำรวจและเชื่อมต่อกับผู้คนในยุคเก่า ขอบคุณจริงๆขอบคุณที่ โดยเฉพาะ GAs นอกจากนี้คุณอ่านระหว่างบรรทัดและทั่วไปจากการเรียนรู้ของเครื่องเป็น 'สูตรสำหรับช่วงเวลา' ขอบคุณมากที่เป็นประโยชน์

— Cris Stringfellow

11

@ Chris ไม่มีอะไรในคำตอบนี้เกี่ยวกับการเรียนรู้ของเครื่อง จากความคิดเห็นของคุณเกี่ยวกับคำตอบของ Aryeh ดูเหมือนว่าคุณไม่คุ้นเคยกับการเรียนรู้ของเครื่อง (ฉันขอให้คุณเห็นเครื่องเรียนรู้อัลกอริทึมเช่นการทดสอบแบบดั้งเดิมจากรายการตัวอย่าง)

— Kaveh

6

GA สามารถ "เรียนรู้" อัลกอริทึมการทดสอบแบบดั้งเดิมในลักษณะเดียวกับที่ลิงอนันต์สุภาษิตจะพิมพ์วันหนึ่งในงานเต็มรูปแบบของเช็คสเปียร์

— Sasho Nikolov

@sasho มันยังไม่ได้รับการพิสูจน์ แต่ (ใช่ imho) มันอาจไม่ได้เกิดจากข้อ จำกัด ทางเทคโนโลยี แต่ขาดความพยายาม koza แสดงให้เห็นถึง GAs "การแก้ปัญหา / การเรียนรู้" อัลกอริทึมที่ซับซ้อนสำหรับวิดีโอเกมเช่น pacman (ผ่านต้นไม้เสียงกระเพื่อมดั้งเดิม) และยังสร้างวงจรโดยใช้ส่วนประกอบย่อย ไม่ใช่อย่างน้อยที่ยากเท่ากับการหาช่วงเวลาหรือไม่ คำถามที่แท้จริงคือระบบดั้งเดิมจะมีประเภทใดและวิธีดั้งเดิมที่พวกเขาสามารถ & ยังหาวิธีแก้ปัญหาได้หรือไม่

— vzn

19

คำถามคือในความคิดของฉันค่อนข้างคลุมเครือและเกี่ยวข้องกับความเข้าใจผิดบางอย่างดังนั้นคำตอบนี้พยายามเพียงให้คำศัพท์ที่ถูกต้องและนำคุณไปในทิศทางที่ถูกต้อง

วิทยาศาสตร์คอมพิวเตอร์มีสองสาขาที่ศึกษาปัญหาดังกล่าวโดยตรง อุปนัยสรุปและทฤษฎีการเรียนรู้คอมพิวเตอร์ ทั้งสองสาขามีความสัมพันธ์กันอย่างใกล้ชิดและความแตกต่างเป็นหนึ่งในสังคมและความงามมากกว่าที่เป็นทางการ

แก้ไขตัวอักษร จำกัดและชุดของทุกภาษาซึ่งประกอบด้วยคำ จำกัด ความยาวกว่า นี่คือทุกสิ่งที่คุณสามารถแสดงในแง่ของ ตอนนี้พิจารณาครอบครัวภาษา*) คุณสามารถคิดได้ว่านี่เป็นแนวคิดที่คุณสนใจบ่อยครั้งที่คุณต้องแก้ไขตระกูลของแนวคิดที่คุณสนใจเพราะอย่างที่คนอื่น ๆ ชี้ให้เห็นการแสดงแนวคิดและการนำเสนอข้อมูลมีความสำคัญอย่างยิ่ง $A$ $\mathcal{P}(A^*)$ $A$ $A$ $\mathcal{F} \subseteq \mathcal{P}(A^*)$

ลองนึกภาพครูที่จะสอนแนวคิดให้คุณ ครูจะเลือกภาษาใดภาษาหนึ่งโดยที่คุณไม่รู้ จากนั้นครูจะนำเสนอข้อมูลเกี่ยวกับภาษาแก่คุณ มีการนำเสนอมากมาย วิธีที่ง่ายที่สุดคือให้ตัวอย่างแก่คุณ การนำเสนอข้อมูลในเชิงบวกเป็นฟังก์ชันความพึงพอใจว่า $f: \mathbb{N} \to A^*$

⋃_{i \in N} f (i) = T, for some T in F .

$\bigcup_{i \in \mathbb{N}} f(i) = T, \text{ for some } T \text{ in } \mathcal{F}.$

ดังนั้นการนำเสนอข้อมูลเชิงบวกคือการแจกแจงแนวคิดเป้าหมายบ่อยครั้งที่มีเงื่อนไขความเป็นธรรมเพิ่มเติมบางอย่างเกิดขึ้นคุณสามารถของานนำเสนอที่ติดป้ายคำขึ้นอยู่กับว่าเป็นภาษาหรือไม่ อีกครั้งคุณสามารถเพิ่มเงื่อนไขเพิ่มเติมเพื่อความเป็นธรรมและครอบคลุมทุกคำ

สมมติว่าเรามีครอบครัวของภาษา นั่นหมายความว่าทุกองค์ประกอบของกำหนดภาษา(M) ตัวอย่างของการเป็นตัวแทนคือสูตรบูลีนออโตไฟไนต์นิพจน์ปกติระบบของสมการเชิงเส้นภาษาการเขียนโปรแกรมเฉพาะโดเมน ฯลฯ สิ่งที่คุณต้องการจริง ๆ ยกเว้นเงื่อนไขต่าง ๆ มักจะถูกกำหนดเพื่อให้แน่ใจว่าการแสดงนั้นมีคุณสมบัติ $Rep$ $M$ $Rep$ $L(M)$

เรียนเรื่อย ๆเป็นฟังก์ชั่นที่ทำให้การคาดเดาหลังจากที่ได้เห็นแต่ละคำให้โดยครู เราอาจต้องการให้ผู้เรียนสอดคล้องกันบ่อยครั้ง ความหมายภาษาควรมีคำทั้งหมดที่สำหรับฉัน ผู้เรียนคงที่หากผู้เรียนคาดเดาภาษาเป้าหมายไม่เปลี่ยนแปลง โดยเฉพาะควรมีอยู่ดัชนีบางเช่นว่าทุก ,1)) ผู้เรียนสำเร็จหากภาษาสุดท้ายเท่ากับภาษาเป้าหมาย $p: \mathbb{N} \to Rep$ $L(p(i))$ $f(j)$ $j \le i$ $k$ $j \ge k$ $L(p(j)) = L(p(j+1))$

ฉันขอเน้นว่านี่เป็นเพียงการทำให้เป็นทางการเฉพาะของรูปแบบการเรียนรู้ที่เฉพาะเจาะจงอย่างเดียวเท่านั้น แต่นี่คือขั้นตอนที่เป็นศูนย์ก่อนที่คุณจะเริ่มถามและศึกษาคำถามที่คุณสนใจโมเดลการเรียนรู้สามารถเพิ่มพูนขึ้นโดยการอนุญาตให้มีปฏิสัมพันธ์ระหว่างผู้เรียนกับครู แทนที่จะเป็นตระกูลของภาษาที่กำหนดเองเราสามารถพิจารณาภาษาที่เฉพาะเจาะจงมาก ๆ หรือแม้แต่การนำเสนอที่เฉพาะเจาะจง (เช่นฟังก์ชั่นบูลีนโมโนโทน) มีความแตกต่างระหว่างสิ่งที่คุณสามารถเรียนรู้ในแต่ละรุ่นและความซับซ้อนของการเรียนรู้ นี่คือตัวอย่างหนึ่งของผลลัพธ์ที่เป็นไปไม่ได้พื้นฐาน

ทองคำ [1967]ไม่มีตระกูลของภาษาที่มีภาษาที่ จำกัด ทั้งหมดและอย่างน้อยหนึ่งภาษาที่มีขีด จำกัด สูงสุดสามารถเรียนรู้ได้จากข้อมูลเชิงบวกเพียงอย่างเดียว

ควรระมัดระวังเป็นอย่างมากในการตีความผลลัพธ์นี้ ตัวอย่างเช่น Dana Angluin แสดงให้เห็นว่าในยุค 80 นั้น

Angluin [1982]คลาสของภาษา -reversible นั้นสามารถเรียนรู้ได้ในระดับที่ จำกัด จากข้อมูลเชิงบวก $k$

คลาสของภาษา -reversible ไม่มีที่สิ้นสุดมีภาษาที่มีขีด จำกัด สูงสุด แต่น่าสนใจไม่มีภาษา จำกัด ทั้งหมด ตอนนี้เมื่อคุณเปลี่ยนรูปแบบการเรียนรู้ผลลัพธ์พื้นฐานก็เปลี่ยนไป $k$

Angluin [1987]ภาษาปกติสามารถเรียนรู้ได้จากครูผู้สอนที่ตอบคำถามที่มีความเท่าเทียมกัน อัลกอริทึมคือพหุนามในชุดสถานะของ DFA ที่น้อยที่สุดและความยาวของตัวอย่างสูงสุด

นี่เป็นผลลัพธ์ที่ค่อนข้างแข็งแกร่งและเป็นบวกและเพิ่งพบแอปพลิเคชั่นหลายตัว อย่างไรก็ตามรายละเอียดมีความสำคัญเสมอเช่นเดียวกับหัวข้อของบทความด้านล่าง

ปัญหา DFA ที่สอดคล้องขั้นต่ำไม่สามารถประมาณได้ภายในและพหุนาม Pitt และ Warmuth, 1989

ตอนนี้คุณอาจสงสัยว่าสิ่งนี้เกี่ยวข้องกับคำถามของคุณอย่างไร คำตอบของฉันคือพื้นที่การออกแบบสำหรับคำนิยามทางคณิตศาสตร์ของปัญหาของคุณมีขนาดใหญ่มากและจุดเฉพาะที่คุณเลือกในพื้นที่นี้จะส่งผลต่อคำตอบที่คุณจะได้รับ ข้างต้นไม่ได้หมายถึงการสำรวจที่ครอบคลุมถึงวิธีการทำให้เป็นปัญหาการเรียนรู้ มันมีไว้เพื่อแสดงให้เห็นถึงทิศทางที่คุณอาจต้องการตรวจสอบ การอ้างอิงและผลลัพธ์ทั้งหมดที่ฉันอ้างถึงนั้นเป็นวันที่สุดขีด มีตำราพื้นฐานที่คุณสามารถปรึกษาเพื่อให้ได้ภูมิหลังที่เพียงพอเพื่อกำหนดคำถามของคุณในลักษณะที่แม่นยำและกำหนดว่าคำตอบที่คุณค้นหามีอยู่แล้วหรือไม่

— วีเจย์ดี
แหล่งที่มา

เยี่ยมมาก @Vijay D ขอบคุณมากสำหรับสิ่งนั้น

— Cris Stringfellow

มันเป็นคำถามที่ไม่ดี คำตอบของฉัน (และความคิดเห็น) ด้านล่างแสดงเหตุผล ML สามารถรับรู้เฉพาะช่วงเวลา แต่ไม่ใช่ในทางปฏิบัติใด ๆ มันอาจใช้เวลานานเกินไป นั่นเป็นธรรมชาติของสัตว์ร้ายชนิดนั้น

— Dominic Cerisano

12

ความสำเร็จของอัลกอริทึมการเรียนรู้ขึ้นอยู่กับการเป็นตัวแทนอย่างยิ่ง คุณนำเสนออินพุตให้อัลกอริทึมได้อย่างไร ในกรณีที่รุนแรงสมมติว่าคุณแสดงตัวเลขเป็นลำดับของปัจจัยสำคัญ - ในกรณีนี้การเรียนรู้ค่อนข้างเล็กน้อย ในสุดโต่งอื่นให้พิจารณาแทนตัวเลขเป็นสตริงไบนารี่ อัลกอริทึมการเรียนรู้มาตรฐานทั้งหมดที่ฉันรู้จะล้มเหลวที่นี่ นี่คือสิ่งที่ใช้ได้ผล: ค้นหาเครื่องทัวริงที่เล็กที่สุดที่ยอมรับตัวอย่างที่เป็นบวกทั้งหมดและปฏิเสธสิ่งที่เป็นลบทั้งหมด [แบบฝึกหัด: พิสูจน์ว่านี่คือผู้เรียนสากล] ปัญหาหนึ่งที่เกิดขึ้นคืองานนั้นไม่ได้คำนวณจากทัวริง ในการทำให้สิ่งต่าง ๆ ในมุมมองคุณสามารถเรียนรู้ที่จะรับรู้ดั้งเดิมตามการเป็นตัวแทนไบนารีเท่านั้น

— Aryeh
แหล่งที่มา

ฉันสามารถเรียนรู้ที่จะรู้จัก primality ที่อยู่ใน binary rep ถ้าฉัน 'เรียนรู้' พูดอัลกอริทึม Miller Rabin แต่ฉันต้องการไปไกลกว่าสิ่งต่าง ๆ เช่นนั้นและดูว่ามีอะไรอีกไหม ทำไมงานที่คุณพูดถึงไม่เป็นทัวริงคำนวณได้?

— Cris Stringfellow

6

ฉันไม่เข้าใจว่าจะพูดถึงปัญหาการเรียนรู้ที่นี่ได้อย่างไรโดยไม่อ้างอิงเช่นชั้นเรียนเป้าหมาย

— Lev Reyzin

1

แน่นอนว่า Lev นั้นถูกต้อง - แต่ฉันคิดว่าการอภิปรายของคลาสฟังก์ชั่นน่าจะเกินขอบเขตของคำถาม ... :)

— Aryeh

-1

ปัญหานี้เป็นส่วนหนึ่งของการวิจัยสมัยใหม่: กำหนดข้อมูลอินพุตและเอาต์พุตค้นหาอัลกอริธึมที่ง่ายที่สุดที่สร้างเอาต์พุตจากอินพุต เครือข่าย RNN นั้นสมบูรณ์แบบทัวริงดังนั้นในทางทฤษฎีโดยไม่มีที่สิ้นสุด SGD คุณสามารถสิ้นสุดใน RNN ซึ่งเทียบเท่ากับรหัสนี้:

bool isPrime(int n, int d) {
    if(n<2)
        return 0;
    if(d == 1)
        return true;
    else 
    {
        if(n % d == 0) 
            return false;
        else
            return isPrime(n, d - 1);
    }
}

ในชุดข้อมูลนี้: 0 => 0, 1 => 0, 2 => 1, 3 => 1, 4 => 0, 5 => 1, ... ฯลฯ

ปัญหาคือเราไม่มีทฤษฎีที่เชื่อถือได้ในทางปฏิบัติเกี่ยวกับการลู่เข้าของ SGD หรือการประมาณเวลาใด ๆ ที่จำเป็นสำหรับการลู่เข้าหากันหรือความลึกของโครงข่ายประสาทเทียม แต่การวิจัยล่าสุดแสดงให้เห็นว่าปัญหาเหมือนกันสามารถแก้ไขได้แม้ว่า:

https://en.wikipedia.org/wiki/Neural_Turing_machine

https://www.microsoft.com/en-us/research/wp-content/uploads/2017/10/curr_opin_sys_biol_17.pdf

https://www.microsoft.com/en-us/research/wp-content/uploads/2016/12/cav13.pdf

ใช้ google scholar เพื่อค้นหาคำหลัก ...

— Stepan Yakovenko
แหล่งที่มา

-3

การเรียนรู้ของเครื่องขึ้นอยู่กับกฎหมายของความซับซ้อนในการคำนวณ

ปัญหาการแยกตัวประกอบที่สำคัญอยู่ในระดับความซับซ้อนของปัญหา NP อาจเป็นไปได้ว่าแม้จะเป็นปัญหาระดับแข็ง (ไม่ได้รับการพิสูจน์)

นั่นคือเหตุผลที่การตรวจจับช่วงเวลาเป็นปัญหาที่ยากที่สุดในการเรียนรู้ของเครื่องและอาจไม่สามารถทำได้ด้วยวิธีการนั้น

คอมพิวเตอร์ควอนตัม (QC) สามารถทำได้ในเวลาพหุนาม แต่ Shor's เป็นตัวกำหนดระดับแรงเดรัจฉานไม่ใช่การเรียนรู้ของเครื่อง

อาจจะเป็นอัลกอริธึมการเรียนรู้ QC ที่ยึดตามชอร์เป็นแนวทาง ฉันแค่กระแทกหินด้วยกันโดยบอกว่า

— Dominic Cerisano
แหล่งที่มา

1

PRIMES อยู่ใน P ดังนั้นฉันจะไม่พูดว่า "การตรวจจับเฉพาะช่วงเวลา" เป็นหนึ่งในปัญหาที่ยากที่สุดใน ML - หรือสาขาวิทยาศาสตร์คอมพิวเตอร์สาขาอื่น ๆ สำหรับเรื่องนั้น “ มันคือทั้งหมดที่เกี่ยวกับการเป็นตัวแทน” เข้าใกล้บ้านมาก - ดังที่อธิบายไว้ในคำตอบของฉันและความคิดเห็นด้านล่าง

— Aryeh

ขอโทษนะ, P ≠ NP! PRIMES เป็น co-NP และการแก้ปัญหาใน P จะต้องใช้อัลกอริทึม Galactic ที่ไม่เหมาะสมกับกระบวนทัศน์การคำนวณใด ๆ โดยเฉพาะอย่างยิ่งการเรียนรู้ของเครื่องไม่ว่าคุณจะเป็นตัวแทนของมันอย่างไร ในทางปฏิบัติมันเป็นปัญหาและอาจเป็นปัญหาได้ยากขอบคุณ

— Dominic Cerisano

1

@ Kirkensocks คุณดูเหมือนจะมีการทดสอบ Primality ที่ซับซ้อนด้วยแฟคตอริ่ง "ช่วงเวลาที่อยู่ใน P" เป็นชื่อจริงของกระดาษที่ให้ครั้งแรกขั้นตอนวิธีการพหุนามเวลาเพื่อตรวจสอบ primality, en.wikipedia.org/wiki/AKS_primality_test นอกจากนี้โปรดทราบว่า Factoring อยู่ใน NP และ co-NP ดังนั้นจึงไม่ค่อยน่าจะเป็น NP-hard ดูตัวอย่างเช่นblog.computationalcomplexity.org/2002/09/…

— Rahul Savani

ใช่ฉันคิดว่าฉันพูดไปแล้ว ...

— Dominic Cerisano