ปัญหาเกี่ยวกับและทางเลือกในการเรียนรู้แบบลึก?

ในช่วง 50 ปีที่ผ่านมาความนิยมเพิ่มขึ้น / ลดลง / เพิ่มขึ้นของอวนประสาทได้ทำหน้าที่เป็น 'บารอมิเตอร์' สำหรับการวิจัย AI

ชัดเจนจากคำถามในเว็บไซต์นี้ที่ผู้คนสนใจที่จะใช้การเรียนรู้อย่างลึก (DL) กับปัญหาที่หลากหลาย

ฉันมีสองคำถาม:

1. ผู้ปฏิบัติการ - สิ่งใดที่คุณพบว่าเป็นอุปสรรคสำคัญในการใช้ 'ออกจากกล่อง' กับปัญหาของคุณ?
2. นักวิจัย - เทคนิคใดที่คุณใช้ (หรือพัฒนาขึ้น) ที่อาจช่วยแก้ไขปัญหาในทางปฏิบัติ พวกเขาอยู่ใน DL หรือพวกเขาเสนอแนวทางอื่นหรือไม่?

เพื่อสรุปมีสองประเด็นที่สำคัญในการใช้การเรียนรู้ลึก

• คนแรกที่คำนวณได้มันครบถ้วนสมบูรณ์ CPU ปกติต้องใช้เวลานานในการดำเนินการแม้กระทั่งการคำนวณ / การฝึกอบรมขั้นพื้นฐานด้วย Deep Learning อย่างไรก็ตามขอแนะนำให้ใช้ GPU แม้ว่าจะไม่เพียงพอในสถานการณ์จำนวนมาก แบบจำลองการเรียนรู้ลึกทั่วไปไม่สนับสนุนเวลาเชิงทฤษฎีที่จะอยู่ในพหุนาม อย่างไรก็ตามหากเราดูแบบจำลองที่ค่อนข้างเรียบง่ายใน ML สำหรับงานเดียวกันบ่อยครั้งเรามีการรับประกันทางคณิตศาสตร์ว่าเวลาการฝึกอบรมที่จำเป็นสำหรับอัลกอริทึมที่ง่ายกว่านั้นคือในชื่อพหุนาม อย่างน้อยก็น่าจะเป็นความแตกต่างที่ยิ่งใหญ่ที่สุดสำหรับฉัน

  มีวิธีแก้ไขปัญหานี้อยู่ วิธีการหนึ่งที่สำคัญคือการปรับแต่งอัลกอริธึม DL ให้เหมาะกับการวนซ้ำจำนวนมากเท่านั้น (แทนที่จะมองไปที่การแก้ปัญหาระดับโลกในทางปฏิบัติเพียงแค่ปรับอัลกอริทึมให้เหมาะกับการแก้ปัญหาในท้องถิ่นที่ดี

• อีกประเด็นที่อาจเป็นที่ถกเถียงกันเล็กน้อยเกี่ยวกับผู้ที่ชื่นชอบการเรียนรู้ระดับลึกคืออัลกอริทึมการเรียนรู้แบบลึกขาดความเข้าใจในเชิงทฤษฎีและการใช้เหตุผล Deep Neural Networks ประสบความสำเร็จในการใช้งานในหลายสถานการณ์เช่นการรู้จำลายมือเขียน, การประมวลผลภาพ, รถยนต์ขับเคลื่อนด้วยตัวเอง, การประมวลผลสัญญาณ, NLP และการวิเคราะห์ทางชีวการแพทย์ ในบางกรณีพวกเขามีแม้แต่มนุษย์ อย่างไรก็ตามการที่ถูกกล่าวว่าพวกเขาไม่ได้อยู่ภายใต้สถานการณ์ใด ๆ ในทางทฤษฎีเป็นเสียงเป็นวิธีการทางสถิติส่วนใหญ่

  ฉันจะไม่ลงรายละเอียด แต่ฉันจะปล่อยให้คุณ มีข้อดีข้อเสียสำหรับอัลกอริธึม / ระเบียบวิธีและ DL ไม่ได้เป็นข้อยกเว้น มันมีประโยชน์มากอย่างที่ได้รับการพิสูจน์ในหลาย ๆ สถานการณ์และนักวิทยาศาสตร์ข้อมูลทุกคนต้องเรียนรู้พื้นฐานของ DL อย่างน้อย อย่างไรก็ตามในกรณีของปัญหาที่ค่อนข้างง่ายจะดีกว่าที่จะใช้วิธีการทางสถิติที่มีชื่อเสียงเพราะพวกเขามีผล / การรับประกันทางทฤษฎีมากมายที่จะสนับสนุนพวกเขา นอกจากนี้จากมุมมองการเรียนรู้มันจะดีกว่าเสมอที่จะเริ่มต้นด้วยวิธีการที่ง่ายและเชี่ยวชาญพวกเขาก่อน

ฉันมีประสบการณ์น้อยมากกับ ML / DL ที่จะเรียกตัวเองว่าเป็นผู้ประกอบการ แต่นี่คือคำตอบของคำถามที่ 1:

ที่แกนกลางของ DL สามารถแก้ปัญหาการจำแนกได้ดี ไม่ใช่ปัญหาเชิงปฏิบัติที่สามารถนำมาใช้ใหม่ได้ในแง่ของการจำแนกประเภท ต้องจำแนกโดเมนการจำแนกประเภทล่วงหน้า แม้ว่าการจัดหมวดหมู่สามารถนำไปใช้กับข้อมูลประเภทใด ๆ ก็ตามคุณจำเป็นต้องฝึกอบรม NN ด้วยตัวอย่างของโดเมนเฉพาะที่จะนำไปใช้ หากมีการสลับโดเมนในบางจุดในขณะที่รักษารูปแบบเดียวกัน (โครงสร้าง NN) ไว้จะต้องมีการฝึกอบรมกับตัวอย่างใหม่ นอกจากนี้ตัวแยกประเภทที่ดีที่สุดยังมี "ช่องว่าง" -ตัวอย่างของฝ่ายตรงข้ามสามารถสร้างขึ้นได้อย่างง่ายดายจากตัวอย่างการฝึกเช่นการเปลี่ยนแปลงที่มนุษย์ไม่สามารถมองเห็นได้

คำถามที่ 2 ฉันกำลังค้นคว้าว่าการคำนวณไฮเปอร์มิติเป็นทางเลือกสำหรับการเรียนรู้ลึก Hyper-D ใช้เวกเตอร์บิตที่ยาวมาก (10,000 บิต) เพื่อเข้ารหัสข้อมูล เวกเตอร์เป็นแบบสุ่มและเป็นเช่นนั้นพวกเขาจะประมาณมุมฉาก ด้วยการจัดกลุ่มและการหาค่าเฉลี่ยของคอลเลกชันของเวกเตอร์ดังกล่าวจะสามารถสร้าง "ชุด" และสอบถามภายหลังเพื่อดูว่ามีเวกเตอร์ที่ไม่รู้จักอยู่ในชุดหรือไม่ ชุดสามารถพิจารณาแนวคิดหรือภาพทั่วไป ฯลฯ การฝึกอบรมเป็นไปอย่างรวดเร็วเช่นเดียวกับการรับรู้ สิ่งที่ต้องทำคือจำลองโดเมนที่ Deep Learning ประสบความสำเร็จและเปรียบเทียบ Hyper-D กับมัน

จากมุมมองทางคณิตศาสตร์หนึ่งในประเด็นสำคัญในเครือข่ายลึกที่มีหลายเลเยอร์กำลังหายไปหรือการไล่ระดับสีที่ไม่เสถียรการไล่ระดับสีที่ไม่เสถียรเลเยอร์ที่ซ่อนอยู่เพิ่มเติมแต่ละตัวเรียนรู้ช้าลงอย่างมากเกือบลบล้างประโยชน์ของชั้นเพิ่มเติม

วิธีการเรียนรู้แบบลึกสมัยใหม่สามารถปรับปรุงพฤติกรรมนี้ได้ แต่ในเครือข่ายประสาทแบบเก่าที่เรียบง่ายนี่เป็นปัญหาที่รู้จักกันดี คุณสามารถค้นหาการวิเคราะห์ที่เป็นลายลักษณ์อักษรได้ดีที่นี่สำหรับการศึกษาเชิงลึก