5
TCS ต้องการคำตอบประเภทใดสำหรับคำถามที่ว่า“ ทำไมเครือข่ายประสาทเทียมจึงทำงานได้ดี?”
ปริญญาเอกของฉัน อยู่ในคณิตศาสตร์บริสุทธิ์และฉันยอมรับว่าฉันไม่รู้อะไรเกี่ยวกับทฤษฎี CS มากนัก อย่างไรก็ตามฉันได้เริ่มสำรวจตัวเลือกที่ไม่ใช่ทางวิชาการสำหรับอาชีพของฉันและในการแนะนำตัวเองเกี่ยวกับการเรียนรู้ของเครื่องโดยพบข้อความเช่น "ไม่มีใครเข้าใจว่าทำไมเครือข่ายประสาททำงานได้ดี" ซึ่งฉันคิดว่าน่าสนใจ คำถามของฉันโดยพื้นฐานแล้วนักวิจัยต้องการคำตอบประเภทใด? นี่คือสิ่งที่ฉันได้พบในการค้นหาสั้น ๆ ของฉันในหัวข้อ: อัลกอริทึมที่ใช้โครงข่ายประสาทอย่างง่ายนั้นค่อนข้างตรงไปตรง กระบวนการของ SGD มีความเข้าใจทางคณิตศาสตร์เป็นอย่างดีเช่นเดียวกับทฤษฎีทางสถิติ ทฤษฎีบทการประมาณสากลนั้นทรงพลังและได้รับการพิสูจน์แล้ว มีรายงานเมื่อไม่นานมานี้https://arxiv.org/abs/1608.08225ซึ่งให้คำตอบว่าการประมาณสากลนั้นมากกว่าที่เราต้องการในทางปฏิบัติจริง ๆ เพราะเราสามารถสร้างสมมติฐานที่ง่ายขึ้นเกี่ยวกับฟังก์ชันที่เราพยายามทำแบบจำลองด้วย โครงข่ายประสาทเทียม ในเอกสารดังกล่าวพวกเขาระบุ (การถอดความ) "อัลกอริทึม GOFAI เข้าใจอย่างเต็มที่ในการวิเคราะห์ แต่อัลกอริธึม ANN จำนวนมากเข้าใจเพียงการเรียนรู้ด้วยวิธีการ" ทฤษฎีการบรรจบกันของอัลกอริธึมที่นำมาใช้เป็นตัวอย่างของความเข้าใจในการวิเคราะห์ที่ดูเหมือนว่าเรามีเกี่ยวกับเครือข่ายประสาทดังนั้นคำสั่งในระดับทั่วไปนี้ไม่ได้บอกฉันมากเกี่ยวกับสิ่งที่รู้จักหรือไม่ทราบ ." ผู้เขียนแนะนำในการสรุปว่าคำถามเช่นขอบเขตที่มีประสิทธิภาพกับขนาดของเครือข่ายประสาทที่จำเป็นในการประมาณค่าพหุนามที่กำหนดนั้นเปิดกว้างและน่าสนใจ ตัวอย่างอื่น ๆ ของคำถามวิเคราะห์เชิงคณิตศาสตร์ที่ต้องได้รับคำตอบเพื่อบอกว่าเรา "เข้าใจ" เครือข่ายประสาทเทียมคืออะไร? มีคำถามที่อาจตอบเป็นภาษาทางคณิตศาสตร์ที่บริสุทธิ์กว่านี้หรือไม่? (ฉันกำลังคิดถึงวิธีการในทฤษฎีการแทนโดยเฉพาะเนื่องจากการใช้ฟิสิกส์ในบทความนี้ - และเห็นแก่ตัวเพราะมันเป็นสาขาการศึกษาของฉันอย่างไรก็ตามฉันยังสามารถจินตนาการถึงพื้นที่เช่นทฤษฎี combinatorics / กราฟเรขาคณิตเชิงพีชคณิต และโทโพโลยีให้เครื่องมือที่ทำงานได้)