โครงข่ายใยประสาทเทียมสามารถใช้ในการคิดอัลกอริทึมได้หรือไม่?

หลังจากความสำเร็จที่ใหม่กว่าและใหม่กว่าของเครือข่ายประสาทเทียมในการเล่นเกมกระดานเรารู้สึกว่าเป้าหมายต่อไปที่เราตั้งไว้อาจมีประโยชน์มากกว่าการตีมนุษย์ในสตาร์คราฟ แม่นยำมากขึ้นฉันสงสัยว่า

โครงข่ายใยประสาทเทียมสามารถฝึกให้แก้ปัญหาอัลกอริทึมแบบคลาสสิคได้หรือไม่?

นี่ฉันหมายความว่าเช่นเครือข่ายจะได้รับข้อมูลกราฟมีขอบถ่วงน้ำหนักและสองจุดและที่ระบุไว้และเราขอให้หาที่สั้นที่สุดเส้นทางให้เร็วที่สุดเท่าที่เป็นไปได้ จากนั้นฉันเดาว่าเครือข่ายประสาทจะค้นพบและฝึกฝนตัวเองให้ใช้ Dijkstra หรืออะไรทำนองนี้$G$$s$$t$$st$

หนึ่งในมือเรารู้ว่ากำลังการคำนวณของเครือข่ายประสาทเป็น$TC^0$ 0 ที่อื่นฉันไม่รู้ว่าสิ่งนี้เกี่ยวข้องกับคำถามของฉันหรือไม่ อย่างไรก็ตามสำหรับปัญหาส่วนใหญ่เราไม่รู้ว่าสามารถแก้ไขได้ในหรือไม่ การดูว่าเครือข่ายประสาทสามารถฝึกอบรมตัวเองได้หรือไม่อาจเป็นตัวบ่งชี้ที่ดีว่ามีอัลกอริทึมที่รวดเร็วหรือไม่ ตัวอย่างเช่นถ้าเครือข่ายประสาทไม่สามารถฝึกตัวเองเพื่อแก้ปัญหาได้อย่างรวดเร็ว SAT แล้วที่ทำให้มัน (มากขึ้น) มีแนวโน้มว่า 0 ฉันสงสัยว่าเครือข่ายประสาทจะทำอะไรกับ GRAPHISOMORPHISM หรือ FACTORIZATION$TC^0$$NP\not\subset TC^0$

แน่นอนว่าการแยกอัลกอริทึมเป็นคำถามที่แตกต่างอย่างสิ้นเชิง ฉันสงสัยว่าผู้เชี่ยวชาญรู้วิธีการทำเช่นนั้น แต่การอภิปรายไม่ใช่หัวข้อของคำถามนี้

เพิ่มอีกสองวันต่อมา: หลังจากเห็นคำตอบให้ฉันระบุว่าถ้าคุณตอบในเชิงลบแล้วฉันอยากจะรู้

ทำไมการเล่นหมากรุกจึงง่ายกว่า Dijkstra หรือ Graphisomorphism?

ตามบล็อกนี้โดย Reza Zadehการฝึกอบรมเครือข่ายประสาทเทียมเพื่อสร้างผลลัพธ์ที่ถูกต้องแม้เพียงสองในสามของตัวอย่างการฝึกอบรมนั้นยากที่จะคำนวณ

อันที่จริงในปี 1988 เจสตีเฟ่นจัดด์แสดงให้เห็นว่าปัญหาต่อไปนี้เป็นปัญหาที่ยาก:

จากตัวอย่างโครงข่ายประสาททั่วไปและชุดการฝึกอบรมมีชุดของน้ำหนักขอบสำหรับเครือข่ายเพื่อให้เครือข่ายสร้างผลลัพธ์ที่ถูกต้องสำหรับตัวอย่างการฝึกอบรมทั้งหมดหรือไม่

จัดด์ยังแสดงให้เห็นว่าปัญหายังคงอยู่ที่ปัญหา NP-hard แม้ว่ามันจะต้องใช้เครือข่ายในการสร้างผลลัพธ์ที่ถูกต้องเพียงแค่สองในสามของตัวอย่างการฝึกอบรมซึ่งก็หมายความว่าแม้การฝึกอบรมโดยประมาณ ในปี 1993 Blum and Rivest ทำให้ข่าวแย่ลง: แม้แต่เครือข่ายง่าย ๆ ที่มีเพียงสองชั้นและสามโหนดก็ยากที่จะฝึกฝน!

นี่ไม่ใช่คำตอบที่สมบูรณ์และฉันไม่ได้มีประสบการณ์มากในมุ้งประสาท แต่อาจเป็นประโยชน์

NNs เป็นหลักได้รับอินพุตและสร้างการตอบสนอง จากนั้นพวกเขาจะได้รับการฝึกฝนผ่านการฝึกฝนเพื่อสร้างคำตอบที่คล้ายกันในอินพุท "ที่คล้ายกัน" ในโดเมนตัวอย่างเช่นเลเบลเดียวกันกับรูปภาพของสัตว์ตัวเดียวกันหรืออันดับสูงถึงตำแหน่งหมากรุก "ดี" ที่ดีหมายถึงโอกาสในการชนะสูง

ดังนั้นเมื่อฉันแสดงความคิดเห็นมุ้งประสาทเป็นรูปแบบการคำนวณที่ไม่เหมือนกันซึ่งทำงานในวิธีที่แตกต่างกันโดยสิ้นเชิงกว่าอัลกอริทึมทีละขั้นตอนทำงานบนเครื่องทัวริง ให้คิดว่ามันเป็นวงจร "อ่อน" ที่ใช้คณิตศาสตร์อย่างต่อเนื่องมากกว่าบูลีนและสามารถปรับแต่งหรือฝึกฝนได้และได้รับอนุญาตให้ทำผิด

ทำไมการเล่นหมากรุกจึงง่ายกว่า Dijkstra หรือ Graphisomorphism?

ส่วนหนึ่งเป็นความแตกต่างระหว่างการขอให้ใครสักคนตอบคำถามอย่างสุดความสามารถและขอคำตอบที่ถูกต้องหนึ่งข้อพร้อมหลักฐานที่ถูกต้อง ส่วนหนึ่งเป็นความแตกต่างระหว่างการแก้ปัญหาขนาดคงที่และการแก้ปัญหาพร้อมกันสำหรับขนาดอินพุตที่เป็นไปได้ทั้งหมด

แต่ละครั้งที่ Dijkstra ถูกเรียกใช้บนอินสแตนซ์ซึ่งอาจมีขนาดใดก็ได้โดยปริยายพิสูจน์ว่าเอาต์พุตของมันคือคำตอบที่แท้จริงเพียงคำตอบเดียวเท่านั้น ในการรู้จำภาพและหมากรุกสิ่งหนึ่งจะให้คำตอบที่ดีที่สุดและยอมรับได้ ยิ่งไปกว่านั้นมีเพียงเครือข่ายเดียวที่จะแก้ไขปัญหาเหล่านี้ได้ครั้งละหนึ่งขนาด ฉันไม่คิดว่าเรารู้วิธีแก้ปัญหาดังกล่าวกับโครงข่ายประสาทเทียมเพื่อพูดปัญหาที่มีขนาดและรูปร่างแตกต่างกันโดยสิ้นเชิง

ฉันไม่คิดว่าเราควรสันนิษฐานว่าอวนประสาทไม่สามารถแก้ปัญหาเส้นทางที่สั้นที่สุดหรือปัญหาอัลกอริทึมที่คล้ายกัน แต่พวกเขาแก้ปัญหาด้วยวิธีที่แตกต่างกันโดยพื้นฐานกว่าอัลกอริทึมทีละขั้นตอนที่ถูกต้องเสมอ

กลับไปที่ความคล้ายคลึงกันระหว่างโครงข่ายประสาทและวงจรโปรดทราบว่าวงจรได้รับการศึกษามานานหลายทศวรรษ แต่ตัดสินโดยการขาดคำตอบ (5) คำถามก่อนหน้านี้ของเราเราไม่รู้อะไรเลยเกี่ยวกับวิธีการสร้างวงจรที่ถูกต้องทั้งหมด ปัญหายกเว้นผ่านการเปลี่ยนอัลกอริธึมที่เหมือนกัน (Turing Machine) เป็นวงจร

ฉันไม่ได้เป็นผู้เชี่ยวชาญ แต่อย่างใด แต่ฉันก็ยังไม่เข้าใจว่าทำไม

โครงข่ายใยประสาทเทียมดำเนินการเพิ่มประสิทธิภาพโดยพื้นฐานตามรูปแบบ "ต้นทุน / ผลประโยชน์" ที่มักรู้จักกันมาก่อนอยู่แล้ว นอกจากนี้พื้นที่การค้นหาได้รับการกำหนดอย่างดีพร้อมการย้ายที่ถูกต้องและไม่ถูกต้องซึ่งเป็นที่รู้จักและ "การเปลี่ยนแปลง" ที่ง่ายต่อการกำหนด แม้กระทั่ง AlphaZero และ AlphaGo ฟังก์ชั่นค่าใช้จ่ายอาจขึ้นอยู่กับอัตราการชนะและการกระจายอัตราชนะที่เกิดขึ้นสำหรับการเคลื่อนไหวที่เป็นไปได้ทั้งหมดหลังจากทำการย้ายหรือการเรียงลำดับของการแก้ปัญหาบางอย่าง

สำหรับการคิดขั้นตอนวิธีส่วนใหญ่คุณจะขอให้โปรแกรมเรียนรู้วิธีการส่งออกสตริงที่ถูกต้อง (ด้วยฟังก์ชั่นการเข้ารหัสและค่าใช้จ่ายที่รู้จักกันโดยนัย) ซึ่งสอดคล้องกับโปรแกรมที่ อย่างไรก็ตามอาจมีอัลกอริทึมมากมายที่คุณใช้กับโปรแกรม ดังนั้นบางทีคุณอาจต้องการกำหนดเมตริก "ความเหมาะสม" ที่ถูกต้อง

อย่างไรก็ตามแม้จะมีบางโปรแกรมตัวชี้วัด "ความเหมาะสม" ก็สามารถระบุได้ยาก เวลา? การใช้พื้นที่? ปริมาณของ "ผลข้างเคียง?" อย่างดีที่สุดที่คุณจะสร้าง "โปรแกรมที่สั้นที่สุด" ที่ไม่เพียง แต่สิ่งที่คุณต้องการจะทำ

ฉันคิดว่าถ้าคุณพบตัวชี้วัดความเหมาะสมของร่างกายและอัลกอริธึมการปรับคุณจะสามารถทำได้

"โครงข่ายประสาทเทียม" แปลงเวกเตอร์จากพื้นที่หนึ่งมิติไปเป็นพื้นที่มิติอื่น ดังนั้นมันจึงไม่มีอะไรมากไปกว่าฟังก์ชั่นการประมาณฟังก์ชั่นที่ไม่ใช่เชิงเส้นสูง แม้แต่เครือข่ายนิวรัลก็ใช้อัลกอริทึมโดยประมาณสำหรับการลดการสูญเสีย อย่างไรก็ตามการฝึกอบรมเครือข่ายประสาทเทียมสำหรับการคิดค้นอัลกอริทึมใหม่นั้นไม่เป็นปัญหา Tomas mikolov ทำงานบางอย่างในพื้นที่นี้ด้วยสแต็กเครือข่ายประสาทที่เกิดขึ้นอีกและฉันยังเคยได้ยินเกี่ยวกับ "เครื่องจักรทัวริงประสาท" สำหรับโดเมนนี้ อย่างไรก็ตามการค้นหากลยุทธ์ที่เหมาะสมเป็นสาเหตุพื้นฐานของการเรียนรู้การเสริมแรงซึ่งค่อนข้างเกี่ยวข้องกับคำถามของคุณ แต่การใช้เครือข่ายนิวรัลในการคิดขั้นตอนวิธีใหม่นั้นเป็นไปไม่ได้อย่างน้อยในอนาคตอันใกล้

ฉันเป็นวิศวกรระบบอัตโนมัติ QA ดังนั้นอย่าอ้างสิทธิ์ในเครือข่ายประสาทเทียม แต่โดยทั่วไปแล้วใช่ NN เองสามารถสร้างอัลกอริทึมได้ มนุษย์เองนั้นเป็น NN ในบางระดับและเราสร้างอัลกอริธึมดังนั้นจึงเป็นเหตุผลที่ระบบ NN ที่เราสร้างขึ้นเองสามารถสร้างอัลกอริทึมได้