วิธีเริ่มต้นกับเครือข่ายประสาท

ฉันใหม่สำหรับเครือข่ายประสาทอย่างสมบูรณ์ แต่สนใจอย่างมากที่จะเข้าใจพวกเขา อย่างไรก็ตามการเริ่มต้นใช้งานไม่ใช่เรื่องง่ายเลย
ใครช่วยแนะนำหนังสือดีๆหรือทรัพยากรประเภทอื่นได้บ้าง ต้องอ่านไหม?
ฉันขอบคุณสำหรับเคล็ดลับใด ๆ

เครือข่ายประสาทมีมานานแล้วและพวกเขาก็เปลี่ยนไปอย่างมากในช่วงหลายปีที่ผ่านมา หากคุณโผล่บนเว็บคุณอาจพบว่า "เครือข่ายประสาท" หมายถึงเครือข่ายอาหารหลายชั้นที่ผ่านการฝึกอบรมเรื่องการเผยแพร่กลับ หรือคุณอาจเจอโมเดลที่ใช้ชื่อแปลก ๆ และไม่ค่อยได้ใช้แล้วและสรุปว่าเครือข่ายประสาทเป็นสวนสัตว์มากกว่าโครงการวิจัย หรือว่าพวกเขากำลังแปลก หรือ...

ฉันสามารถไปต่อ หากคุณต้องการคำอธิบายที่ชัดเจนผมฟังเจฟฟรีย์ฮินตัน เขาได้รับรอบตลอดกาลและ (จึง?) งานที่ยอดเยี่ยมทอแบบจำลองที่แตกต่างกันทั้งหมดที่เขาทำงานในการเล่าเรื่องทางประวัติศาสตร์ที่เหนียวแน่นใช้งานง่าย (และบางครั้งทางทฤษฎี) ในหน้าแรกของเขามีลิงก์ไปยัง Google Tech Talks และ Videolectures.net บรรยายที่เขาได้ทำ (ในRBMและการเรียนรู้ลึกและอื่น ๆ )

จากวิธีที่ฉันเห็นนี่เป็นแผนที่ถนนทางประวัติศาสตร์และการสอนไปจนถึงการทำความเข้าใจกับเครือข่ายประสาทเทียมจากจุดเริ่มต้นไปจนถึงสถานะของศิลปะ:

• เพอร์เซปตรอน
  • เข้าใจง่าย
  • จำกัด อย่างรุนแรง
• หลายชั้นได้รับการฝึกอบรมโดยการหนุนหลัง
  • แหล่งข้อมูลมากมายที่จะเรียนรู้สิ่งเหล่านี้
  • โดยทั่วไปไม่ทำเช่นเดียวกับ SVM
• เครื่องจักร Boltzmann
  • วิธีคิดที่น่าสนใจเกี่ยวกับความเสถียรของเครือข่ายที่เกิดขึ้นอีกในแง่ของ "พลังงาน"
  • ดูที่เครือข่าย Hopfieldหากคุณต้องการตัวอย่างที่เข้าใจง่าย (แต่ไม่สามารถใช้งานได้จริง) ของเครือข่ายที่เกิดซ้ำด้วย "พลังงาน"
  • น่าสนใจในทางทฤษฎีไม่มีประโยชน์ในทางปฏิบัติ (ฝึกอบรมเกี่ยวกับความเร็วเดียวกับการล่องลอยในทวีป)
• เครื่องจักร Boltzmann ที่ถูก จำกัด
  • ที่เป็นประโยชน์!
  • สร้างจากทฤษฎีของเครื่องจักร Boltzmann
  • การแนะนำที่ดีบางอย่างบนเว็บ
• Deep Belief Networks
  • เท่าที่ฉันจะบอกได้นี่คือคลาส RBM แบบหลายชั้นสำหรับการเรียนรู้แบบกึ่งดูแล
  • ทรัพยากรบางอย่าง

ผมขอแนะนำให้ดูการบรรยายเหล่านี้และใช้นี้เป็นวัสดุการอ่าน การบรรยายเหล่านี้เป็นการเรียนรู้ด้วยเครื่องโดยทั่วไปโดย Andrew Ng พูดถึงความยาวเกี่ยวกับเครือข่ายประสาทและพยายามอย่างหนักเพื่อให้สามารถเข้าถึงได้สำหรับผู้เริ่มต้น

ในความคิดของฉันหนังสือดีมาก

• R. Rojas: โครงข่ายประสาทเทียม
• CM Bishop: Neural Networks สำหรับการจดจำรูปแบบ

หนังสือมีความคล้ายคลึงกัน: มีความยาวประมาณ 500 หน้าและค่อนข้างเก่าจากปี 1995 อย่างไรก็ตามมันมีประโยชน์มาก หนังสือทั้งสองเล่มเริ่มจากศูนย์โดยอธิบายว่าเครือข่ายประสาทคืออะไร พวกเขาให้คำอธิบายที่ชัดเจนตัวอย่างที่ดีและกราฟที่ดีเพื่อช่วยให้เข้าใจ พวกเขาอธิบายในรายละเอียดเกี่ยวกับปัญหาของการฝึกอบรมโครงข่ายประสาทเทียมในรูปแบบและรูปแบบมากมายและสิ่งที่พวกเขาสามารถทำได้และไม่สามารถทำได้ หนังสือทั้งสองเล่มช่วยเสริมซึ่งกันและกันเป็นอย่างดีเพราะสิ่งหนึ่งที่ไม่สามารถเข้าใจได้ด้วยหนังสือเล่มหนึ่งเล่มหนึ่งมีแนวโน้มที่จะพบในอีกเล่มหนึ่ง

Rojas มีส่วนที่ฉันชอบโดยเฉพาะอย่างยิ่งเกี่ยวกับการนำการแพร่กระจายกลับไปยังเลเยอร์จำนวนมากในรูปแบบเมทริกซ์ นอกจากนี้ยังมีส่วนที่ดีเกี่ยวกับตรรกะคลุมเครือและอีกหนึ่งเรื่องเกี่ยวกับทฤษฎีความซับซ้อน แต่แล้วบิชอปก็มีหัวข้อดีๆอีกมากมาย

Rojas คือฉันจะบอกว่าเข้าถึงได้มากที่สุด อธิการเป็นคนทางคณิตศาสตร์มากขึ้นและอาจจะซับซ้อนกว่า ในหนังสือทั้งสองเล่มคณิตศาสตร์ส่วนใหญ่เป็นพีชคณิตเชิงเส้นและแคลคูลัสของฟังก์ชั่นของตัวแปรหลายตัว (อนุพันธ์ย่อยและอื่น ๆ ) หากไม่มีความรู้ในวิชาเหล่านี้คุณอาจไม่พบว่าหนังสือเหล่านี้ส่องสว่างมาก

ฉันจะแนะนำให้อ่าน Rojas ก่อน

เห็นได้ชัดว่าหนังสือทั้งสองเล่มมีหลายสิ่งที่จะพูดเกี่ยวกับอัลกอริทึม แต่ก็ไม่ได้กล่าวถึงการใช้งานเฉพาะในโค้ด

สำหรับฉันหนังสือเหล่านี้ให้ข้อมูลพื้นฐานซึ่งทำให้หลักสูตรออนไลน์ (เช่นของ Hinton บน Coursera) เป็นที่เข้าใจได้ หนังสือยังครอบคลุมพื้นที่มากขึ้นและมีรายละเอียดมากขึ้นกว่าที่สามารถทำได้ทางออนไลน์

ฉันหวังว่านี่จะช่วยได้และยินดีที่จะตอบคำถามใด ๆ เกี่ยวกับหนังสือ

ดังที่คนอื่น ๆ ชี้ให้เห็นมีแหล่งข้อมูลมากมาย (ดี) ทางออนไลน์และฉันได้ทำบางอย่างเป็นการส่วนตัว:

• บทนำของ Ng กับคลาส ML ใน Coursera
• ชั้นเรียน Neural Networks ของ Hinton ใน Coursera
• บทเรียนการเรียนรู้อย่างลึกซึ้งของอึ้ง
• อ่านบทที่เกี่ยวข้องในต้นฉบับ ประมวลผลแบบขนานแบบขนาน

ฉันต้องการที่จะดึงความสนใจไปที่ความจริงที่ว่างานนิทรรศการเหล่านี้ส่วนใหญ่ตามการรักษาแบบดั้งเดิมที่ชั้น (การรวมและไม่ใช่เชิงเส้นด้วยกัน) เป็นหน่วยพื้นฐาน การรักษาที่ได้รับความนิยมและยืดหยุ่นมากขึ้นได้ถูกนำไปใช้ในห้องสมุดส่วนใหญ่เช่น torch-nn และ tensorflow ตอนนี้ใช้กราฟการคำนวณที่มีความต่างอัตโนมัติเพื่อให้ได้โมดุลที่สูงขึ้น แนวคิดมันง่ายและเป็นอิสระมากขึ้น ฉันขอแนะนำสุดยอดเยี่ยม Stanford CS231n open course ที่สำหรับการรักษานี้

เพื่อการรักษาที่เข้มงวดและเรียนรู้ตามหลักทฤษฏีคุณอาจต้องการปรึกษาโครงข่ายประสาทโดย Anthony และ Bartlett

หากคุณต้องการรับการรักษาจากมุมมองทางสถิติให้ดูที่ "การจดจำรูปแบบและเครือข่ายประสาท" ของ Brian Ripley หนังสือเล่มนี้ไม่ได้เป็นเกริ่นนำและมีภูมิหลังทางสถิติมาก่อน

http://www.stats.ox.ac.uk/~ripley/PRbook/

ฉันได้สร้างเว็บแอปพลิเคชันที่สนับสนุนกระบวนการเรียนรู้ของคุณในด้านเครือข่ายประสาท

https://blueneurons.ch/nn

คุณสามารถเล่นกับการตั้งค่า (สถาปัตยกรรมฟังก์ชั่นการเปิดใช้งานการตั้งค่าการฝึกอบรม) และสังเกตว่าการตั้งค่ามีผลต่อการทำนายอย่างไร ชุดข้อมูลทั้งหมดมีค่ากำหนดไว้ล่วงหน้าที่สามารถนำมาใช้ นอกจากนี้ยังเป็นไปได้ที่จะสร้างชุดข้อมูลของคุณเอง

คำแนะนำและคำอธิบายเกี่ยวกับองค์ประกอบที่นำไปใช้:

คู่มือผู้ใช้