เครือข่ายประสาทกำเริบคืออะไร?

อย่างแปลกใจที่เรื่องนี้ไม่ได้ถามมาก่อนอย่างน้อยฉันก็ไม่พบอะไรนอกจากคำถามที่เกี่ยวข้องอย่างคลุมเครือ

ดังนั้นเครือข่ายประสาทกำเริบคืออะไรและสิ่งที่เป็นข้อได้เปรียบของพวกเขามากกว่า NNs ปกติ?

เครือข่ายประสาทกำเริบ (RNNs) เป็นคลาสของเครือข่ายประสาทเทียมที่ได้รับแรงบันดาลใจจากการเชื่อมต่อวงจรของเซลล์ประสาทในสมอง มันใช้ฟังก์ชั่นวนซ้ำเพื่อเก็บข้อมูล

ความแตกต่างกับโครงข่ายประสาทแบบดั้งเดิมโดยใช้รูปภาพจากหนังสือเล่มนี้ :

และ RNN:

สังเกตเห็นความแตกต่าง - การเชื่อมต่อเครือข่ายนิวรัลของ feedforward ไม่ได้เกิดวงจร หากเราผ่อนคลายเงื่อนไขนี้และอนุญาตให้มีการเชื่อมต่อแบบวนรอบเช่นกันเราจะได้รับเครือข่ายประสาทกำเริบ (RNNs) คุณจะเห็นได้ว่าในเลเยอร์ที่ซ่อนอยู่ของสถาปัตยกรรม

ในขณะที่ความแตกต่างระหว่าง perceptron หลายชั้นและ RNN อาจดูเล็กน้อย แต่ความหมายของการเรียนรู้ตามลำดับนั้นกว้างไกล MLP สามารถ map จากการป้อนข้อมูลเพื่อเวกเตอร์การส่งออกในขณะที่กระป๋อง RNN ในแผนที่หลักการจากประวัติศาสตร์ทั้งหมดของปัจจัยการผลิตก่อนหน้านี้แต่ละเอาท์พุท จริง ๆ แล้วผลลัพธ์ที่เทียบเท่ากับทฤษฎีการประมาณค่าสากลสำหรับ MLPs คือ RNN ที่มีจำนวนหน่วยที่ซ่อนอยู่เพียงพอสามารถประมาณการทำแผนที่ลำดับต่อลำดับที่วัดได้ใด ๆ กับความแม่นยำโดยพลการ

Takeaway ที่สำคัญ:

การเชื่อมต่อที่เกิดซ้ำอนุญาตให้ 'หน่วยความจำ' ของอินพุตก่อนหน้ายังคงอยู่ในสถานะภายในของเครือข่ายและดังนั้นจึงมีผลต่อเอาท์พุทเครือข่าย

การพูดในแง่ของข้อได้เปรียบนั้นไม่เหมาะสมเพราะทั้งคู่ต่างก็มีความทันสมัยและมีความเชี่ยวชาญในงานบางอย่างเป็นพิเศษ หมวดหมู่กว้าง ๆ ของงานที่ RNN ทำได้ดีคือ:

การติดฉลากลำดับ

เป้าหมายของการติดฉลากลำดับคือการกำหนดลำดับของฉลากจากตัวอักษรคงที่ไปยังลำดับของข้อมูลอินพุต

ตัวอย่าง: ถอดความลำดับของคุณสมบัติเสียงด้วยคำพูด (การรู้จำเสียง) หรือลำดับของเฟรมวิดีโอที่มีท่าทางสัมผัสมือ (การรู้จำท่าทาง)

งานย่อยบางอย่างในการติดฉลากลำดับคือ:

การจำแนกลำดับ

ลำดับฉลากถูก จำกัด ให้มีความยาวหนึ่ง สิ่งนี้เรียกว่าการจำแนกลำดับเนื่องจากแต่ละลำดับอินพุตถูกกำหนดให้กับคลาสเดียว ตัวอย่างของงานการจำแนกประเภทรวมถึงการระบุงานพูดเดียวและการรับรู้ของตัวอักษรที่เขียนด้วยลายมือแต่ละคน

การจำแนกกลุ่ม

การจำแนกประเภทเซกเมนต์หมายถึงงานที่ลำดับเป้าหมายประกอบด้วยหลายเลเบล แต่ตำแหน่งของเลเบลนั่นคือตำแหน่งของเซ็กเมนต์อินพุตที่เลเบลนำไปใช้จะทราบล่วงหน้า

กำเริบเครือข่ายประสาท (RNN) เป็นเครือข่ายประสาทเทียมที่มีย้อนหลังหรือตัวเองการเชื่อมต่อเมื่อเทียบกับเพียงแค่มีการเชื่อมต่อไปข้างหน้าเช่นเดียวกับในเครือข่ายประสาทฟีดไปข้างหน้า (FFNN) คำคุณศัพท์ "กำเริบ" จึงหมายถึงการย้อนกลับหรือการเชื่อมต่อด้วยตนเองซึ่งสร้างลูปในเครือข่ายเหล่านี้

RNN สามารถฝึกอบรมได้โดยใช้การเผยแพร่ย้อนหลังผ่านช่วงเวลา (BBTT) เช่นอินพุต "จดจำ" ย้อนหลังหรือการเชื่อมต่อด้วยตนเองเหล่านี้ ดังนั้นการเชื่อมต่อเหล่านี้ส่วนใหญ่จะใช้ในการติดตามความสัมพันธ์ชั่วคราวระหว่างองค์ประกอบของลำดับของอินพุตซึ่งทำให้ RNNs เหมาะกับการทำนายลำดับและงานที่คล้ายกัน

มี RNN หลายรุ่น: ตัวอย่างเช่น RNNs ที่มี LSTM หรือ GRU หน่วย LSTM (หรือ GRU) เป็น RNN ที่หน่วยเดียวทำการแปลงซับซ้อนกว่าหน่วยใน "plain RNN" ซึ่งทำการแปลงเชิงเส้นของอินพุตตามด้วยแอปพลิเคชันของฟังก์ชันที่ไม่ใช่เชิงเส้น (เช่น ReLU) การแปลงเชิงเส้น ในทางทฤษฎี "plain RNN" มีประสิทธิภาพเท่ากับ RNNs ที่มีหน่วย LSTM ในทางปฏิบัติพวกเขาประสบปัญหา "การหายตัวไปและการไล่ระดับสีแบบกระจาย" ดังนั้นในทางปฏิบัติจึงใช้ LSTM (หรือหน่วยที่เกิดขึ้นซ้ำที่มีความซับซ้อนที่คล้ายคลึงกัน)