ฉันกำลังอ่านลำดับขั้นตอนสำคัญของการเรียนรู้กับโครงข่ายประสาทโดย Ilya Sutskever และ Quoc Le ในหน้าแรกจะกล่าวสั้น ๆ ว่า:
A surprising example of the power of DNNs is their ability to sort
N N-bit numbers using only 2 hidden layers of quadratic size
ทุกคนสามารถสรุปวิธีการเรียงลำดับตัวเลขโดยใช้เลเยอร์ที่ซ่อนเพียง 2 ชั้นได้หรือไม่?
คำตอบ:
ในการทำวิจัยบางอย่างฉันพบกระดาษที่พิสูจน์ได้ว่าสามารถเรียงลำดับได้สูงสุด 3 เลเยอร์และวิธีแก้ปัญหาของพวกเขานั้นเหมาะสมที่สุดหากคุณ จำกัด ขนาดของเครือข่ายให้เป็นชื่อพหุนาม wrt ตามจำนวนอินพุต:
เครือข่ายประสาทเชิงลึกที่มีประสิทธิภาพสำหรับการแบ่งและปัญหาที่เกี่ยวข้องดูทฤษฎีบท 7 ในหน้า 955 (หน้า 10 ใน PDF)
ฉันคิดว่าจะมีน้ำหนักขึ้นมาด้วยตนเองเพื่อทำงานให้แน่ชัด แต่บางทีประเด็นก็คือสามารถฝึกฝนได้? ตัวอย่างสองตัวอย่าง: