อะไรคือความแตกต่างระหว่างเครือข่ายประสาทเทียมและการเรียนรู้อย่างลึกซึ้ง?

ฉันต้องการใช้การเรียนรู้อย่างลึกซึ้งในโครงการของฉัน ฉันได้อ่านบทความสองสามฉบับและมีคำถามเกิดขึ้นกับฉัน: มีความแตกต่างระหว่างโครงข่ายประสาทเทียมกับการเรียนรู้ลึกหรือไม่? สิ่งเหล่านี้เหมือนกันหรือมีความแตกต่างที่สำคัญและสิ่งใดดีกว่ากัน

การเรียนรู้เชิงลึกเป็นสาขาของการเรียนรู้ของเครื่องโดยใช้เครือข่ายโครงข่ายประสาทเทียม (Deep Neural Networks หรือ DNNs) ซึ่งหมายถึงเครือข่ายประสาทที่มีอย่างน้อย 3 หรือ 4 ชั้น (รวมถึงชั้นข้อมูลเข้าและชั้นส่งออก) แต่สำหรับบางคน (โดยเฉพาะอย่างยิ่งที่ไม่ใช่ด้านเทคนิค) ตาข่ายประสาทใด ๆ มีคุณสมบัติเป็นการเรียนรู้ลึกโดยไม่คำนึงถึงความลึกของมัน และคนอื่น ๆ คิดว่าตาข่าย 10 ชั้นเป็นแบบตื้น

Convolutional Neural Networks (CNNs) เป็นหนึ่งในสถาปัตยกรรมเครือข่ายประสาทที่ได้รับความนิยมมากที่สุด พวกเขาประสบความสำเร็จอย่างมากในการประมวลผลภาพ แต่สำหรับงานอื่น ๆ อีกมากมาย (เช่นการรู้จำเสียงการประมวลผลภาษาธรรมชาติและอื่น ๆ ) CNNs ล้ำสมัยมีความล้ำลึก (อย่างน้อยหลายสิบชั้น) ดังนั้นพวกเขาจึงเป็นส่วนหนึ่งของการเรียนรู้ลึก แต่คุณสามารถสร้างซีเอ็นเอ็นตื้นสำหรับงานง่าย ๆ ซึ่งในกรณีนี้มันไม่ใช่ Deep Learning (จริงๆ)

แต่ CNN ไม่ได้อยู่คนเดียวมีสถาปัตยกรรมโครงข่ายประสาทอื่น ๆ อีกมากมายรวมถึง Recurrent Neural Networks (RNN), Autoencoders, Transformers, Deep Belief Nets (DBN = สแต็กของ Boltzmann Machines, RBM) และอื่น ๆ อีกมากมาย พวกเขาสามารถตื้นหรือลึก หมายเหตุ: แม้แต่ RNNs ตื้น ๆ ก็ยังถือว่าเป็นส่วนหนึ่งของการเรียนรู้ลึกเพราะการฝึกฝนพวกเขาต้องการการคลี่มันออกไปตามกาลเวลาทำให้เกิดตาข่ายลึก

ภายในขอบเขตของการประมวลผลสัญญาณปรับตัว / การเรียนรู้ของเครื่องจักรการเรียนรู้ลึก (DL)เป็นวิธีการเฉพาะที่เราสามารถฝึกการเป็นตัวแทนของเครื่องที่ซับซ้อน

โดยทั่วไปพวกเขาจะมีสูตรที่สามารถแมปอินพุตของคุณไปจนถึงเป้าหมายเป้าหมายได้yผ่านชุดลำดับชั้นที่ซ้อนกัน (นี่คือที่การดำเนินการ 'ลึก' มาจาก) โดยทั่วไปแล้วการดำเนินการเหล่านั้นเป็นการดำเนินการเชิงเส้น / การคาดการณ์ ( W i ) ตามด้วยการไม่เป็นเชิงเส้น ( f i ) เช่น:$\mathbf{x}$$\mathbf{y}$$W_i$$f_i$

ขณะนี้ภายใน DL มีสถาปัตยกรรมที่แตกต่างกันมากมาย: หนึ่งในสถาปัตยกรรมดังกล่าวเป็นที่รู้จักกันในชื่อตาข่ายประสาทเทียม (CNN) สถาปัตยกรรมอื่นเป็นที่รู้จักกันในชื่อperceptron แบบหลายชั้น (MLP) ฯลฯ สถาปัตยกรรมที่แตกต่างให้ยืมตัวเองเพื่อแก้ไขปัญหาประเภทต่างๆ

MLP อาจเป็นหนึ่งในสถาปัตยกรรม DL ที่เป็นแบบดั้งเดิมมากที่สุดที่พบและนั่นคือเมื่อทุกองค์ประกอบของเลเยอร์ก่อนหน้าเชื่อมต่อกับทุกองค์ประกอบของเลเยอร์ถัดไป ดูเหมือนว่านี้:

$\mathbf{W}_i$$\mathbf{W} \in R^{10 \text{x} 20}$$\mathbf{v} \in R^{10 \text{x} 1}$$\mathbf{u} \in R^{1 \text{x} 20}$$\mathbf{u} = \mathbf{v}^T \mathbf{W}$$\mathbf{W}$ ขององค์ประกอบของเลเยอร์ถัดไป

MLP ไม่ได้รับความนิยม แต่ส่วนหนึ่งเป็นเพราะพวกเขาฝึกยาก ในขณะที่มีเหตุผลมากมายสำหรับความยากลำบากนั้นหนึ่งในนั้นก็เป็นเพราะการเชื่อมต่อหนาแน่นของพวกเขาไม่อนุญาตให้พวกเขาปรับขนาดได้อย่างง่ายดายสำหรับปัญหาการมองเห็นคอมพิวเตอร์ต่างๆ กล่าวอีกนัยหนึ่งพวกเขาไม่มีการแปลความหมายเชิงเปรียบเทียบนั่นหมายความว่าหากมีสัญญาณในส่วนหนึ่งของภาพที่พวกเขาจำเป็นต้องอ่อนไหวพวกเขาจะต้องเรียนรู้วิธีการอ่อนไหวต่อมันอีกครั้ง สัญญาณนั้นเคลื่อนที่ไปรอบ ๆ สิ่งนี้สูญเปล่าความสามารถของตาข่ายและการฝึกอบรมก็ยาก

นี่คือสิ่งที่ CNN เข้ามา! นี่คือสิ่งที่ดูเหมือน:

$\mathbf{W_i}$

เป็นเรื่องธรรมดาที่จะเห็น "CNNs" อ้างถึงอวนที่เรามีเลเยอร์ convolutional ทั่วทั้งเน็ตและ MLPs ที่ส่วนท้ายสุดดังนั้นจึงเป็นข้อแม้หนึ่งที่ต้องระวัง

การเรียนรู้ลึก = เครือข่ายประสาทเทียมลึก + ชนิดอื่น ๆ ของรุ่นลึก

โครงข่ายประสาทเทียมระดับลึก = เครือข่ายประสาทเทียมที่มีชั้นมากกว่า 1 ชั้น (ดูจำนวนเลเยอร์ขั้นต่ำในเครือข่ายนิวรัลครอสหรือวิกิพีเดียสำหรับการอภิปรายเพิ่มเติม ... )

Convolution Neural Network = ประเภทของเครือข่ายประสาทเทียม

สไลด์นี้โดยยานน์เลคันทำให้จุดที่รุ่นเท่านั้นที่มีลำดับชั้นของคุณลักษณะ (คุณลักษณะระดับที่ต่ำกว่าจะเรียนรู้ที่ชั้นหนึ่งของรูปแบบและคุณลักษณะเหล่านั้นจะรวมกันในระดับต่อไป) มีความลึก

ซีเอ็นเอ็นอาจลึกหรือตื้น ซึ่งเป็นกรณีนี้ขึ้นอยู่กับว่ามันเป็นไปตามการก่อสร้าง "ลำดับชั้นของคุณลักษณะ" เพราะเครือข่ายประสาทรวมถึงแบบจำลอง 2 ชั้นไม่ลึก

Deep learningเป็นคำทั่วไปสำหรับการจัดการกับเครือข่ายประสาทที่ซับซ้อนที่มีหลายชั้น deepไม่มีการกำหนดมาตรฐานของสิ่งที่แน่นอนคือเป็น โดยปกติคุณสามารถคิดว่าเครือข่ายที่ลึกเป็นสิ่งที่ใหญ่เกินไปสำหรับแล็ปท็อปและพีซีของคุณในการฝึกอบรม ชุดข้อมูลจะมีขนาดใหญ่มากจนคุณไม่สามารถใส่ลงในหน่วยความจำของคุณได้ คุณอาจต้องใช้ GPU เพื่อเร่งการฝึกฝนของคุณ

Deep เปรียบเสมือนคำศัพท์ทางการตลาดที่ทำให้สิ่งที่ฟังดูเป็นมืออาชีพมากกว่าที่อื่น

CNNเป็นประเภทของโครงข่ายประสาทเทียมที่ลึกและมีอีกหลายประเภท ซีเอ็นเอ็นเป็นที่นิยมเพราะมีแอพพลิเคชั่นที่มีประโยชน์มากในการจดจำรูปภาพ