พื้นฐานการเรียนรู้ลึก

ฉันกำลังมองหากระดาษที่มีรายละเอียดพื้นฐานของการเรียนรู้ลึก จะเป็นการดีเลิศเช่นหลักสูตร Andrew Ng สำหรับการเรียนรู้อย่างลึกซึ้ง คุณรู้ไหมว่าฉันจะหาเจอได้จากที่ไหน

นี้การเชื่อมโยงมีจำนวนที่น่าตื่นตาตื่นใจของวรรณกรรมการเรียนรู้ลึก สรุปได้ที่นี่ (ตามลำดับที่ผู้เริ่มต้นควรนึกคิด) - หมายเหตุ: ทรัพยากรเหล่านี้ส่วนใหญ่ใช้ python

1) ก่อนอื่นต้องมีความรู้พื้นฐานเกี่ยวกับการเรียนรู้ของเครื่อง ฉันพบการเรียนรู้ของคาลเทคจากข้อมูลที่เหมาะสำหรับทุกหลักสูตรการเรียนรู้ของเครื่องที่มีอยู่ในเน็ต

หลักสูตร Coursera ของ Andrew Ng ก็ค่อนข้างดีเช่นกัน

2) สำหรับโครงข่ายประสาทเทียมไม่มีใครอธิบายได้ดีกว่าDr.Patrick วินสตัน ควรทำการทดลองที่ได้รับมอบหมายเพื่อความเข้าใจที่ดีขึ้น พวกเขาอยู่ในหลาม

3) เพื่อความเข้าใจที่ดีขึ้นเกี่ยวกับโครงข่ายใยประสาทเทียมหลักสูตรของMichael Nielsenควรทำ (ตามที่ Alexey แนะนำ) มันค่อนข้างพื้นฐาน แต่ใช้งานได้

4) สำหรับเครือข่ายนิวรัลที่ลึกและการใช้พวกมันเร็วขึ้นบน GPU มีหลายเฟรมเวิร์กเช่นTheano , Caffe , Pybrain , Torch , เป็นต้น Out of Theano เหล่านี้มอบการทำงานระดับต่ำที่ดีขึ้นซึ่งทำให้ผู้ใช้สามารถสร้าง NN ที่กำหนดเองได้ มันเป็นห้องสมุดหลามดังนั้นการใช้ numpy, scikit-learn, matplotlib, scipy และมันเป็นข้อดี กวดวิชาเรียนรู้ลึกเขียนโดยลิซ่า Lab ควรจะพยายามออกเพื่อความเข้าใจที่ดีขึ้นของ Theano

5) สำหรับโครงข่ายประสาท Convolutional ทำตามกวดวิชาของ karpathy andrej

6) สำหรับการเรียนรู้ใกล้ชิดทำตามที่นี่และที่นี่

7) สำหรับจุดตัดของการเรียนรู้ที่ลึกและ NLP ให้ทำตามระดับของริชาร์ด Socher

8) สำหรับ LSTM โปรดอ่านHochreiter, S. และ Schmidhuber, J. (1997) หน่วยความจำระยะสั้นระยะยาว การคำนวณทางประสาท, 9 (8), 2278-2323และหลุมฝังศพอเล็กซ์ การติดฉลากลำดับภายใต้การดูแลด้วยเครือข่ายประสาทกำเริบ ฉบับ 385 สปริงเกอร์ 2012

นี่คือ LSTM ของรหัส Theano

หัวเรื่องเป็นเรื่องใหม่ดังนั้นปัญญาส่วนใหญ่กระจัดกระจายในเอกสาร แต่นี่เป็นหนังสือสองเล่มล่าสุด:

• การเรียนรู้อย่างลึกโยชิวเบนิโอเอียนเจ. Goodfellow, แอรอนคูวิลล์
• การเรียนรู้ลึก: วิธีการและการประยุกต์ใช้ Li Deng และ Dong Yu

และวัสดุที่ใช้งานได้จริง: http://deeplearning.net/tutorial/

• ACL 2012 + การสอน NAACL 2013: การเรียนรู้ระดับลึกสำหรับ NLP (ไม่มีเวทมนตร์)

โครงข่ายประสาทและการเรียนรู้เชิงลึกโดย Michael Nielsen หนังสือเล่มนี้ยังอยู่ในระหว่างดำเนินการ แต่ดูเหมือนว่าน่าสนใจและมีแนวโน้มมาก และได้ฟรี! นี่คือลิงค์: http://neuralnetworksanddeeplearning.com/

จนถึงตอนนี้มีเพียง 5 บทและส่วนใหญ่พูดคุยเกี่ยวกับเครือข่ายประสาทปกติ แต่ก็ยังมีค่าดู

อัปเดต:หนังสือเล่มนี้เสร็จสิ้นแล้ว!

อ้างอิงหลัก:

หลักสูตรการเรียนรู้ลึก:

• หลักสูตรของ Andrew Ng เกี่ยวกับการเรียนรู้ของเครื่องมีส่วนแนะนำที่ดีเกี่ยวกับเครือข่ายประสาท
• หลักสูตรของ Geoffrey Hinton: Coursera Neural Networks สำหรับการเรียนรู้ของเครื่อง (ฤดูใบไม้ร่วง 2012)
• หนังสือของ Michael Nielsen ฟรีNeural Networks และ Deep Learning
• Yoshua Bengio, Ian Goodfellow และ Aaron Courville เขียนหนังสือเกี่ยวกับการเรียนรู้อย่างลึกซึ้ง
• หลักสูตรของ Hugo Larochelle (วิดีโอ + สไลด์) ที่Université de Sherbrooke
• บทช่วยสอนของ Stanford (Andrew Ng et al.) เกี่ยวกับการเรียนรู้คุณลักษณะที่ไม่ได้รับการสนับสนุนและการเรียนรู้เชิงลึก
• หลักสูตร ML 2014-2015 ของ Oxford
• หลักสูตรการเรียนรู้ของ NVIDIA Deep (ฤดูร้อนปี 2015)
• หลักสูตรการเรียนรู้ลึกของ Google เรื่อง Udacity (มกราคม 2559)

NLP ที่มุ่งเน้นการ:

• Stanford CS224d: การเรียนรู้อย่างลึกซึ้งสำหรับการประมวลผลภาษาธรรมชาติ (ฤดูใบไม้ผลิ 2015) โดย Richard Socher
• บทเรียนที่ให้ใน NAACL HLT 2013: การเรียนรู้ลึกเพื่อการประมวลผลภาษาธรรมชาติ (ไม่มีเวทมนตร์) (วิดีโอ + สไลด์)

วิสัยทัศน์ที่มุ่งเน้นการ:

• CS231n Convolutional Neural Networks สำหรับการจดจำภาพโดย Andrej Karpathy (เวอร์ชันก่อนหน้านี้สั้นกว่าและขัดน้อยกว่า: คู่มือแฮ็กเกอร์เกี่ยวกับโครงข่ายประสาทเทียม )

แบบฝึกหัดเฉพาะชุดเครื่องมือ:

• DL4J (Java): http://deeplearning4j.org/documentation.html
• Theano (Python, Y. Bengio): http://deeplearning.net/
• การเรียนรู้ของเครื่องด้วย Torch7 (Lua, LeCun): http://code.madbits.com/wiki/doku.php
• H2O Deep Learning (Java): http://0xdata.com/product/deep-learning/
• Caffee (C ++, UCB): http://caffe.berkeleyvision.org/
• หลักสูตรการเรียนรู้อย่างลึกซึ้งของ Nervana

นอกจากนี้ยังมีวิทยานิพนธ์ระดับปริญญาเอกล่าสุดของ Richard Socher เกี่ยวกับการแยก NLP และการเรียนรู้ลึก: การเรียนรู้เชิงลึกแบบเรียกซ้ำสำหรับการประมวลผลภาษาธรรมชาติและวิสัยทัศน์คอมพิวเตอร์

สำหรับการทำความเข้าใจเกี่ยวกับการสืบทอดของอัลกอริธึมการแพร่กระจายย้อนกลับฉันขอแนะนำวิดีโอ youtube ของRyan Harrisซึ่งน่ากลัวน้อยกว่า คุณอาจพบวิดีโอที่สองเช่นกัน