คำอธิบายที่เข้าใจง่ายของ Echo State Networks คืออะไร?

ฉันใหม่สำหรับ Recurrent Neural Networks (RNN) และยังคงเรียนรู้แนวคิด ฉันเข้าใจในระดับนามธรรมว่า Echo State Network (ESN) สามารถสร้างลำดับของอินพุตเช่นสัญญาณแม้หลังจากอินพุตถูกลบออกแล้ว อย่างไรก็ตามฉันพบว่าบทความของ Scholarpedia นั้นยากเกินกว่าจะเข้าใจและเข้าใจได้อย่างสมบูรณ์

ใครช่วยได้โปรดอธิบายว่าการเรียนรู้การทำงานเชิงคณิตศาสตร์ในรูปแบบที่ง่ายที่สุดได้อย่างไร

สะท้อนเครือข่ายรัฐเป็นตัวอย่างของแนวคิดทั่วไปมากขึ้นของอ่างเก็บน้ำคอมพิวเตอร์ ความคิดพื้นฐานที่อยู่เบื้องหลัง ESN คือการได้รับผลประโยชน์ของ RNN (การดำเนินการลำดับของปัจจัยการผลิตที่ขึ้นอยู่กับแต่ละอื่น ๆ เช่นการอ้างอิงเวลาเช่นสัญญาณ) แต่ไม่มีปัญหาในเรื่องของการฝึกอบรม RNN แบบดั้งเดิมเช่นปัญหาการไล่ระดับสีที่หายไป

ESN ทำสิ่งนี้ได้โดยมีอ่างเก็บน้ำขนาดใหญ่ที่เชื่อมต่อกันอย่างกระจัดกระจายโดยใช้ฟังก์ชั่นการถ่ายโอน sigmoidal (เทียบกับขนาดอินพุต, บางอย่างเช่น 100-1,000 หน่วย) การเชื่อมต่อในอ่างเก็บน้ำได้รับมอบหมายเพียงครั้งเดียวและเป็นการสุ่มสมบูรณ์ น้ำหนักอ่างเก็บน้ำไม่ได้รับการฝึกฝน เซลล์ประสาทนำเข้ามีการเชื่อมต่อกับอ่างเก็บน้ำและป้อนการกระตุ้นการทำงานของอินพุตเข้าสู่อ่างเก็บน้ำ - ซึ่งจะมีการกำหนดน้ำหนักสุ่มแบบไม่ได้รับการฝึกฝนเช่นกัน น้ำหนักเพียงอย่างเดียวที่ผ่านการฝึกอบรมคือตุ้มน้ำหนักเอาต์พุตที่เชื่อมต่ออ่างเก็บน้ำกับเซลล์ประสาทเอาท์พุท

ในการฝึกอบรมอินพุตจะถูกป้อนเข้าสู่อ่างเก็บน้ำและเอาท์พุทครูจะถูกนำไปใช้กับหน่วยเอาท์พุท สถานะของอ่างเก็บน้ำจะถูกดักจับเมื่อเวลาผ่านไปและเก็บไว้ เมื่ออินพุตการฝึกอบรมทั้งหมดได้ถูกนำไปใช้แล้วจะสามารถใช้แอปพลิเคชันการถดถอยเชิงเส้นอย่างง่ายระหว่างสถานะอ่างเก็บน้ำที่จับและเอาต์พุตเป้าหมาย น้ำหนักออกเหล่านี้สามารถรวมเข้ากับเครือข่ายที่มีอยู่และใช้สำหรับอินพุตใหม่

แนวคิดก็คือการเชื่อมต่อแบบสุ่มกระจัดกระจายในอ่างเก็บน้ำอนุญาตให้รัฐก่อนหน้านี้ "echo" แม้หลังจากที่พวกเขาผ่านไปดังนั้นถ้าเครือข่ายได้รับการป้อนข้อมูลใหม่ที่คล้ายกับสิ่งที่ได้รับการฝึกอบรมการเปลี่ยนแปลงในอ่างเก็บน้ำจะเริ่ม ทำตามวิถีการเปิดใช้งานที่เหมาะสมสำหรับการป้อนข้อมูลและด้วยวิธีนั้นสามารถให้สัญญาณจับคู่กับสิ่งที่มันได้รับการฝึกฝนและถ้ามันได้รับการฝึกฝนมาเป็นอย่างดีมันจะสามารถพูดคุยจากสิ่งที่มันได้เห็นแล้ว รับสัญญาณอินพุตขับอ่างเก็บน้ำ

ข้อดีของวิธีนี้คือในขั้นตอนการฝึกอบรมที่ง่ายอย่างไม่น่าเชื่อเนื่องจากตุ้มน้ำหนักส่วนใหญ่ได้รับมอบหมายเพียงครั้งเดียวและสุ่ม พวกมันยังสามารถจับพลวัตที่ซับซ้อนได้ตลอดเวลาและสามารถจำลองคุณสมบัติของระบบพลวัตได้ เท่าที่เอกสารที่เป็นประโยชน์ที่สุดที่ฉันได้พบใน ESNs คือ:

• การสอนเกี่ยวกับการฝึกอบรม RNNโดย Herbert Jaeger (ผู้ดูแลเพจ Scholarpedia บน ESNs)

• คู่มือเชิงปฏิบัติในการใช้เครือข่ายของ Echoโดย Mantas Lukoševičius

พวกเขาทั้งสองมีคำอธิบายที่เข้าใจง่ายเพื่อให้สอดคล้องกับพิธีการและคำแนะนำที่โดดเด่นในการสร้างการนำไปปฏิบัติพร้อมคำแนะนำในการเลือกค่าพารามิเตอร์ที่เหมาะสม

UPDATE: หนังสือการเรียนรู้ลึกจาก Goodfellow, Bengio และ Courville ได้เล็กน้อยรายละเอียดมากขึ้น แต่ยังคงอภิปรายที่ดีระดับสูงของเครือข่าย Echo รัฐ ส่วนที่ 10.7 กล่าวถึงปัญหาการไล่ระดับสีที่หายไป (และการระเบิด) และความยากลำบากในการเรียนรู้การพึ่งพาระยะยาว มาตรา 10.8 เป็นข้อมูลเกี่ยวกับ Echo State Networks มันมีรายละเอียดเฉพาะเกี่ยวกับสาเหตุที่มีความสำคัญในการเลือกน้ำหนักของอ่างเก็บน้ำที่มีค่ารัศมีสเปกตรัมที่เหมาะสม- มันทำงานร่วมกับหน่วยเปิดใช้งานแบบไม่เชิงเส้นเพื่อส่งเสริมความมั่นคงในขณะที่ยังคงเผยแพร่ข้อมูลตามเวลา

การเรียนรู้ใน ESN ไม่ได้บังคับให้ปรับน้ำหนักหลักตามลำดับเลเยอร์เอาท์พุทจะเรียนรู้ว่าเอาต์พุตใดที่จะผลิตสำหรับสถานะปัจจุบันที่เครือข่ายมี สถานะภายในจะขึ้นอยู่กับการเปลี่ยนแปลงเครือข่ายและเรียกว่าสถานะอ่างเก็บน้ำแบบไดนามิก เพื่อให้เข้าใจว่าอ่างเก็บน้ำมีรูปร่างอย่างไรเราต้องดูโครงสร้างของ ESN

หน่วยอินพุตมีการเชื่อมต่อกับเซลล์ประสาทในหน่วยภายใน (หน่วยอ่างเก็บน้ำ) น้ำหนักจะถูกเริ่มต้นแบบสุ่ม หน่วยอ่างเก็บน้ำมีการเชื่อมโยงแบบสุ่มและกระจัดกระจายและมีน้ำหนักแบบสุ่ม หน่วยเอาต์พุตยังเชื่อมต่อกับหน่วยอ่างเก็บน้ำทั้งหมดจึงได้รับสถานะอ่างเก็บน้ำและสร้างเอาต์พุตที่สอดคล้องกัน

$t$$t$

ก่อนที่เราจะสามารถอธิบายได้ว่าการฝึกอบรมทำงานโดยละเอียดเราต้องอธิบายและกำหนดสิ่งต่าง ๆ :

$T$$t$$W_{fb}$

คำจำกัดความของตัวแปร:

• $r$
• $o$
• $t$
• $o$
• $T$$t$$o$

ในที่สุดการฝึกอบรมทำงานในรายละเอียดอย่างไร

• $t$$M$$t$$r$
• $W_{out}$$M \bullet W_{out} = T -> W_{out} = M \bullet T^{-1}$

เนื่องจากการเรียนรู้เร็วมากเราสามารถลองทอพอโลยีเครือข่ายจำนวนมากเพื่อรับสิ่งที่เหมาะสม

ในการวัดประสิทธิภาพของ ESN:

• $W_{fb}$
• $\left|\left|M \bullet W_{out} – T\right|\right|^2$

รัศมีสเปกตรัมและ ESN

Spec-tral$1$