จำเป็นต้องใช้“ คณิตศาสตร์ขั้นสูง” ในระดับใดในการวิจัย AI

ฉันกำลังเรียนคณิตศาสตร์ อย่างไรก็ตามฉันไม่คิดว่าฉันต้องการเป็นนักคณิตศาสตร์มืออาชีพในอนาคต ฉันกำลังคิดที่จะนำความรู้ด้านคณิตศาสตร์ไปใช้ในการทำวิจัยในด้านปัญญาประดิษฐ์ อย่างไรก็ตามฉันไม่แน่ใจว่าควรทำตามหลักสูตรคณิตศาสตร์กี่หลักสูตร (และหลักสูตร CS ทฤษฎีใดที่ฉันควรปฏิบัติตาม)

จาก Quora ฉันเรียนรู้ว่าวิชาพีชคณิตเชิงเส้นสถิติและการปรับให้เหมาะสมที่สุดนั้นเกี่ยวข้องกับการเรียนรู้ของเครื่อง (ดูคำถามนี้ ) บางคนกล่าวว่าต้องเรียนรู้พีชคณิตเชิงเส้นความน่าจะเป็น / สถิติแคลคูลัสอัลกอริทึมพื้นฐานและตรรกะเป็นสิ่งจำเป็นในการศึกษาปัญญาประดิษฐ์ (ดูคำถามนี้ )

ฉันสามารถเรียนรู้เกี่ยวกับทุกวิชาเหล่านี้ได้ในช่วง 1.5 ปีแรกของคณิตศาสตร์ปริญญาตรีที่มหาวิทยาลัยของเรา

ฉันสงสัยว่าถ้ามีวิชาคณิตศาสตร์ระดับปริญญาตรีบางวิชาที่มีประโยชน์หรือจำเป็นสำหรับการศึกษาปัญญาประดิษฐ์ สิ่งที่เกี่ยวกับ ODEs, PDEs, โทโพโลยี, ทฤษฎีการวัด, การวิเคราะห์เชิงเส้น, การวิเคราะห์ฟูริเยร์และการวิเคราะห์เกี่ยวกับ Manifold

หนังสือเล่มหนึ่งที่ชี้ให้เห็นว่าคณิตศาสตร์ขั้นสูงที่ค่อนข้างมีประโยชน์ในการศึกษาปัญญาประดิษฐ์คือทฤษฎีรูปแบบ: การวิเคราะห์สุ่มของสัญญาณจริงจาก David Mumford และ Agnes Desolneux (ดูหน้านี้ ) มันรวมถึงบทเกี่ยวกับเครือมาร์คอฟ, แบบจำลองทวนเข็มนาฬิกาเกาส์, กิ๊บส์ฟิลด์, Manifolds, กลุ่ม Lie และ Lie Algebras และการประยุกต์กับทฤษฎีรูปแบบ หนังสือเล่มนี้มีประโยชน์ต่อการวิจัย AI มากน้อยเพียงใด

ฉันไม่ต้องการให้เกิดเสียง แต่วิชาคณิตศาสตร์ที่คุณเรียนอยู่ในระดับปริญญาตรีและแม้แต่ในระดับปริญญาโทนั้นไม่ได้ก้าวหน้า มันเป็นพื้นฐาน ชื่อคำถามของคุณควรเป็น: จำเป็นต้องมี "พื้นฐาน" คณิตศาสตร์ / มีประโยชน์ในการวิจัย AI หรือไม่? ดังนั้นฮุบมากเท่าที่คุณสามารถฉันไม่เคยพบนักวิทยาศาสตร์คอมพิวเตอร์ที่บ่นเกี่ยวกับการรู้คณิตศาสตร์มากเกินไปถึงแม้ว่าฉันได้พบกับหลายคนที่บ่นเกี่ยวกับการรู้ไม่พอ ฉันจำได้ว่าการช่วยเหลือเพื่อนนักศึกษาระดับบัณฑิตศึกษาใน AI นั้นเข้าใจอัลกอริทึมสไตล์เพจ มันเป็นแค่พีชคณิตเชิงเส้นที่ค่อนข้างง่ายสำหรับฉัน แต่เขาทนทุกข์ทรมานเพราะเขาไม่มีความรู้สึกกับค่าลักษณะเฉพาะและค่าลักษณะเฉพาะ ลองนึกภาพสิ่งที่คน AI สามารถทำได้ถ้าพวกเขารู้คณิตศาสตร์เป็นจำนวนมาก!

ฉันสอนที่แผนกคณิตศาสตร์และฉันได้รับคำขอจากเพื่อนร่วมงาน CS ของฉันอย่างสม่ำเสมอเพื่อแนะนำวิชาเอกคณิตศาสตร์สำหรับ CS PhD เพราะพวกเขาชอบนักเรียนคณิตศาสตร์ คุณเห็นไหมว่าคณิตศาสตร์นั้นยากที่จะเรียนรู้ด้วยตัวเอง แต่แง่มุมส่วนใหญ่ของวิทยาการคอมพิวเตอร์ไม่ใช่ ฉันรู้ว่าฉันเป็นวิชาคณิตศาสตร์ที่ได้เข้าเรียนในระดับบัณฑิตศึกษา CS แน่นอนว่าฉันเป็น "เบื้องหลัง" เกี่ยวกับความรู้เกี่ยวกับระบบปฏิบัติการ (แม้จะมีความรู้ที่ดีเกี่ยวกับ Unix และ VMS) แต่ฉันก็เป็นไปได้ มันไม่ใช่สถานการณ์ที่สมมาตร

สูงสุดนี่คือรายการบางส่วน (จำเป็น):

พีชคณิตเชิงเส้นพื้นฐานและความน่าจะเป็นที่ต้องการทั่วทุกที่ ฉันคิดว่าคุณไม่ต้องการการอ้างอิงสำหรับสิ่งนั้น

ตามความรู้ของฉันการวิเคราะห์ฟูริเยร์ได้ถูกนำมาใช้ในการสอบสวนที่เกี่ยวข้องกับทฤษฎีการเรียนรู้ ตรวจสอบกระดาษนี้ตัวอย่างเช่น

แนวคิดของการเรียนรู้ที่หลากหลายได้รับความนิยมและคุณสามารถเริ่มต้นดูผลงานของ Mikhail belkin และ Partha Niyogi สายงานนี้ต้องการความเข้าใจในแนวคิดต่าง ๆ ที่เกี่ยวข้องกับนานาและเรขาคณิต riemannian

มีแง่มุมอื่นของการเรียนรู้ของเครื่องซึ่งมีรากลึกลงไปในสถิติได้แก่ ได้แก่ เรขาคณิตข้อมูล พื้นที่นี้เชื่อมโยงกับแนวคิดต่าง ๆ ของเรขาคณิต Riemannian, ทฤษฎีสารสนเทศ, ข้อมูล Fisher, และอื่น ๆ ลูกพี่ลูกน้องของการศึกษาประเภทนี้สามารถพบได้ในสถิติเกี่ยวกับพีชคณิต - ซึ่งเป็นเขตตั้งไข่ที่มีศักยภาพมาก

Sumio Watanabe ได้ทำการตรวจสอบขอบเขตที่แตกต่างกล่าวคือการมีอยู่ของเอกพจน์ในรูปแบบการเรียนรู้และวิธีการใช้ผลการแก้ปัญหาเชิงลึกจากเรขาคณิตเชิงพีชคณิตเพื่อตอบคำถามมากมาย ผลลัพธ์ของวาตานาเบะมาจากผลงานที่โด่งดังของ Heisuke Hironaka ซึ่งทำให้เขาได้รับเหรียญฟิลด์

ฉันคิดว่าฉันกำลังข้ามประเด็นอื่น ๆ ที่ต้องใช้คณิตศาสตร์ที่ค่อนข้างหนัก แต่ดังที่ Andrej ชี้ให้เห็นพวกเขาส่วนใหญ่อาจไม่ได้อยู่ที่ขอบเขตของคณิตศาสตร์ แต่เป็นโดเมนที่ค่อนข้างเก่าและมั่นคง

อย่างไรก็ตามผมคิดว่าสถานะปัจจุบันของ AI ที่เข้าสู่การประมวลผลหลัก - เช่นในระบบคำแนะนำใน Amazon หรือไลบรารีการเรียนรู้ของเครื่องที่พบใน Apache Mahout ไม่จำเป็นต้องใช้คณิตศาสตร์ขั้นสูง ฉันอาจจะผิด

ขึ้นอยู่กับคำจำกัดความของคุณเกี่ยวกับขั้นสูงและ AI ประเภทใดที่คุณต้องการศึกษา

ปัญหามากมายใน AI นั้นยากที่จะพิสูจน์ได้ - โซลูชั่นที่ดีที่สุดสำหรับ POMDP นั้นพิสูจน์ได้ว่า NP-Complete, โซลูชั่นที่ดีที่สุดสำหรับ DEC-POMDP นั้นพิสูจน์ได้ว่า NEXP-Complete ฯลฯ ดังนั้นหากขาดความก้าวหน้าที่ไม่คาดคิดในทฤษฎีความซับซ้อน และการสนับสนุนทางทฤษฎีของพวกเขาดีขึ้น (นอกเหนือจากทฤษฎีการวัด ฯลฯ จำเป็นที่จะต้องเข้าใจความน่าจะเป็นแบบเบย์อย่างแท้จริงซึ่งรองรับแบบจำลอง POMDP)

ปัญญาประดิษฐ์หลายสายลับโดยเฉพาะตัดกับทฤษฎีเกม ดังนั้นการรู้ทฤษฎีเกมจะมีประโยชน์ซึ่งในทางกลับกันก็ขึ้นอยู่กับโทโพโลยีทฤษฎีการวัด ฯลฯ และในทำนองเดียวกันปัญหามากมายในทฤษฎีเกมก็เป็นเรื่องยาก บางคนถึงกับดื้อดึงภายใต้การประมาณและแม้กระทั่งความเข้าใจเมื่อเป็นไปได้ที่จะใช้เป็นประโยชน์โดยประมาณใช้คณิตศาสตร์จำนวนมากในการทำงาน

(ผมสังเกตว่านักทฤษฎีเกมมีการทำงานที่ค่อนข้างดีในสาขาโนเบลเศรษฐศาสตร์ในช่วงไม่กี่ปีที่ผ่านมาและนั่นคือคณิตศาสตร์อย่างมากในธรรมชาติผมทำนายในยี่สิบปีที่แปลกนักทฤษฎีเกมอัลกอริทึมของวันนี้จะอยู่ในสภาพเดียวกัน ตำแหน่ง.)

คณิตศาสตร์ที่เกี่ยวข้องกับ AI นั้นไม่ได้ก้าวหน้าและได้รับการสอนในระดับปริญญาตรี การฝึกอบรม AI และอัลกอริทึมอนุมานอยู่ในโดเมนของวิทยาศาสตร์คอมพิวเตอร์ขั้นสูง

มันเป็นเกมคำศัพท์ ควรมีประวัติบางอย่างเมื่อทำการค้นคว้า AI

ตัวอย่างเช่นในระบบการตั้งชื่อปัจจุบันการเรียนรู้แบบลึกดูเหมือนจะเป็นคำหลักที่มีแนวโน้มใน AI

การเรียนรู้อย่างลึกซึ้งเป็นสิ่งที่เคยถูกเรียกว่าเครือข่ายประสาทเทียม (ANNs) เช่นรูปแบบเครือข่าย perceptron backpropagating Perceptron (BACKPROP) ของ Hinton และอื่น ๆ

คณิตศาสตร์ที่เกี่ยวข้องกับ BACKPROP ANN (ตัวอย่าง) เป็นแคลคูลัสอนุพันธ์สำหรับการฝึกอบรมและพีชคณิตเมทริกซ์สำหรับการอนุมาน

มุมมองใหม่ของการเรียนรู้ลึกคือการแยกการฝึกอบรมและอัลกอริธึมทางกายภาพ CPU ยังคงใช้สำหรับการฝึกอบรม แต่ตอนนี้มีการใช้ GPU เพื่อการอนุมาน

ตัวอย่างเช่นการฝึกอบรม ANN มีการฝึกอบรม (ถ่วงน้ำหนัก) โดยข้อผิดพลาด backpropagating โดยใช้แคลคูลัสอนุพันธ์ที่ถูกต้อง สิ่งนี้เหมาะที่สุดสำหรับซีพียูและจะต้องดำเนินการเพียงครั้งเดียวต่อการปรับใช้ ANN

จากนั้น ANN จะถูกปรับใช้ในสถาปัตยกรรม GPU ที่ขนานกันอย่างมาก คณิตศาสตร์อนุมานไปข้างหน้านั้นเกี่ยวข้องกับพีชคณิตเมทริกซ์เข้มข้นซึ่ง GPU ได้รับการออกแบบมาสำหรับ

สิ่งนี้ช่วยเพิ่มประสิทธิภาพของ ANN ที่ถูกปรับใช้โดยคำสั่งหลายขนาดเมื่อเทียบกับการปรับใช้ที่ใช้ CPU ก่อนหน้านี้และสามารถปรับขนาดได้อย่างมีประสิทธิภาพมากขึ้นสำหรับ GPU เฉพาะจำนวนใด ๆ

บริษัท อย่าง Nvidia และ AMD ตอนนี้ทำการตลาดชิปเซ็ต GPU ระดับสูงมากเป็น Deep Learning Machines คำว่า GPU นั้นเป็นชื่อเรียกผิดพลาดอยู่ตลอดเวลาเนื่องจากมันเป็นวัตถุประสงค์ทั่วไปของตัวประมวลผลแบบขนาน ตัวอย่างเช่น GPUs บางครั้งก็เรียกว่า Bitminers ในแอปพลิเคชัน blockchain

ดังนั้นสิ่งที่เก่าตอนนี้ใหม่ คณิตศาสตร์ที่เกี่ยวข้องไม่มีการเปลี่ยนแปลงเพียงแค่คำศัพท์ทางวิทยาศาสตร์คอมพิวเตอร์ (ส่วนใหญ่เกิดจากแรงกดดันด้านการตลาด)

คำว่า AI นั้นถือว่าเป็นม้ามืดอยู่เสมอ การเรียนรู้อย่างลึกซึ้งตอนนี้เป็นคำที่ถูกต้องทางการเมืองและเป็นมิตรกับตลาด

AI เป็นสนามที่กว้างอย่างน่าประหลาดใจด้วยเส้นทางที่หลากหลายที่เป็นไปได้ บางตัวเป็นคณิตศาสตร์อย่างมากบางคณิตศาสตร์แทบจะแตะไม่ได้ คนอื่น ๆ ได้ให้คำตอบที่ดีสำหรับวิธีการทางคณิตศาสตร์ที่มากขึ้น ของวิชาที่คุณชี้ -

"พีชคณิตเชิงเส้นความน่าจะเป็น / สถิติแคลคูลัสอัลกอริธึมพื้นฐานและลอจิก"

- โดยทั่วไปคุณต้องการหรือได้รับประโยชน์จากพวกเขาทั้งหมด มีหลายวิธีที่อย่างน้อยส่วนหนึ่งขึ้นอยู่กับความน่าจะเป็นและสถิติโดยตรง - ฮิวริสติก, โครงข่ายประสาทเทียม, อัลกอริธึมเชิงพันธุกรรม, ตรรกศาสตร์คลุมเครือ แคลคูลัสมีประโยชน์ไม่แพ้กัน - ใน AI หรือวิทยาศาสตร์คอมพิวเตอร์ทั่วไปคุณจะพบมันเกือบทุกที่ พีชคณิตเชิงเส้นเป็นสิ่งที่คุณต้องการเช่นกัน

สองวิชาที่สำคัญที่สุดจากมุมมองของ CS / AI คืออัลกอริธึมและตรรกะอัลกอริธึมคือหัวใจที่แท้จริงของวิทยาศาสตร์คอมพิวเตอร์และตรรกะคือ 'ภาษา' ของอัลกอริทึมพื้นฐาน .. กุญแจสู่การเรียนรู้อัลกอริธึม และการฝึกปฏิบัติการเขียนโปรแกรมขั้นพื้นฐานเป็นหนึ่งในรากฐานที่สำคัญที่สุดของวิชาวิทยาศาสตร์คอมพิวเตอร์หรือวิชา AI เกือบทั้งหมด การเขียนโปรแกรมยังเป็นทักษะที่มหาวิทยาลัยไม่สามารถสอนได้ดีนัก ลอจิกยังเป็นสิ่งจำเป็นอย่างยิ่งต่อ AI ส่วนใหญ่ ตรรกะบูลีน, แคลคูลัสเพรดิเคต, สัญลักษณ์เชิงสัญลักษณ์, ทฤษฎีพื้นฐานของการเปลี่ยนแปลง, ลำดับชั้นของการออกแบบ, การเรียกซ้ำ, เครื่องจักรสถานะ จำกัด , เครื่องทัวริง, การออกแบบซีพียู ฯลฯ ที่นี่เรากำลังก้าวออกจากคณิตศาสตร์

การขยายไปสู่สาขาคณิตศาสตร์ 'Strong AI' ของตัวเองมีบทบาทสำคัญ แต่สำคัญยิ่ง ความเข้าใจที่ดีของคณิตศาสตร์พื้นฐานน่าจะสำคัญกว่าคณิตศาสตร์ที่สูงขึ้น แต่สิ่งที่คุณหยิบมาได้จริงๆมีประโยชน์ ปัญหาที่แท้จริงในฟิลด์ตั้งไข่อย่าง Strong AI คือทุกอย่างอยู่ในอากาศดังนั้นฟิลด์จึงอยู่ในฟลักซ์ทั้งหมด
วิชาที่อาจเป็นประโยชน์รวมถึง - เครือข่ายประสาทอัลกอริทึมทางพันธุกรรมประสาทวิทยาพันธุศาสตร์จิตวิทยาไซเบอร์เนติกส์และหุ่นยนต์ทฤษฎีกราฟิก 3D ทฤษฎีการประมวลผลภาพการออกแบบเกมคอมพิวเตอร์ปรัชญาศิลปะทฤษฎีอิเล็กทรอนิกส์ดิจิตอลทฤษฎีภาษาศาสตร์ เช่นการอ่านนี้เป็นหนึ่งในวิธีที่สำคัญที่สุดในการเรียนรู้ หนังสือสองเล่มที่เป็นจุดเริ่มต้นสำหรับฉันคือ - The Emperors New Mind โดย Roger Penrose, Eye and Brain ของ RL Gregory แต่ความเข้าใจที่ลึกซึ้งสามารถมาจากที่ใดก็ได้