อะไรคือความแตกต่างระหว่างเครือข่ายฟีดไปข้างหน้าและเกิดขึ้นอีก?

อะไรคือความแตกต่างระหว่างเครือข่ายการส่งต่อและการเกิดซ้ำของเส้นประสาท?

ทำไมคุณถึงใช้อันอื่น?

ทอพอโลยีเครือข่ายอื่นมีอยู่จริงหรือไม่?

ฟีดไปข้างหน้า ANNs อนุญาตให้สัญญาณเดินทางไปทางเดียวเท่านั้น: จากอินพุตไปยังเอาต์พุต ไม่มีความคิดเห็น (ลูป); นั่นคือผลลัพธ์ของเลเยอร์ใด ๆ จะไม่ส่งผลกระทบต่อเลเยอร์เดียวกันนั้น Feed-forward ANNs มักจะเป็นเครือข่ายที่ตรงไปตรงมาซึ่งเชื่อมโยงอินพุตกับเอาต์พุต พวกมันถูกใช้อย่างกว้างขวางในการจดจำรูปแบบ องค์กรประเภทนี้เรียกว่าจากล่างขึ้นบนหรือบนลงล่าง

เครือข่ายคำติชม (หรือเกิดขึ้นอีกหรือแบบโต้ตอบ) สามารถมีสัญญาณเดินทางทั้งสองทิศทางโดยแนะนำลูปในเครือข่าย เครือข่ายคำติชมมีประสิทธิภาพและซับซ้อนมาก การคำนวณที่ได้มาจากอินพุตก่อนหน้านี้จะถูกป้อนกลับเข้าไปในเครือข่ายซึ่งทำให้พวกเขามีหน่วยความจำชนิดหนึ่ง เครือข่ายคำติชมเป็นแบบไดนามิก 'สถานะ' ของพวกเขากำลังเปลี่ยนแปลงอย่างต่อเนื่องจนกว่าจะถึงจุดสมดุล พวกเขายังคงอยู่ที่จุดสมดุลจนกว่าจะมีการเปลี่ยนแปลงอินพุตและความสมดุลใหม่จะต้องพบ

เครือข่ายประสาทของ Feedforward นั้นเหมาะสมอย่างยิ่งสำหรับการสร้างแบบจำลองความสัมพันธ์ระหว่างชุดของตัวทำนายหรือตัวแปรอินพุตและหนึ่งหรือหลายตัวแปรตอบสนองหรือผลลัพธ์ กล่าวอีกนัยหนึ่งมันเหมาะสมสำหรับปัญหาการแมปหน้าที่ที่เราต้องการทราบว่าตัวแปรอินพุตจำนวนหนึ่งมีผลต่อตัวแปรเอาต์พุตอย่างไร เครือข่ายนิวรัลแบบหลายชั้นซึ่งเรียกอีกอย่างหนึ่งว่าperceptrons แบบหลายชั้น (MLP) เป็นรูปแบบการศึกษาโครงข่ายประสาทที่ใช้กันอย่างแพร่หลายมากที่สุดและใช้ในทางปฏิบัติ

เป็นตัวอย่างของเครือข่ายความคิดเห็นฉันสามารถจำเครือข่ายของ Hopfieldได้ การใช้งานหลักของเครือข่ายของ Hopfield เป็นหน่วยความจำแบบเชื่อมโยง หน่วยความจำที่เชื่อมโยงคืออุปกรณ์ที่ยอมรับรูปแบบอินพุตและสร้างเอาต์พุตเป็นรูปแบบที่จัดเก็บซึ่งสัมพันธ์กับอินพุตมากที่สุด ฟังก์ชั่นของหน่วยความจำที่เกี่ยวข้องคือการเรียกรูปแบบการจัดเก็บที่สอดคล้องกันจากนั้นสร้างรูปแบบที่ชัดเจนของการส่งออก โดยทั่วไปแล้วเครือข่าย Hopfield จะใช้สำหรับปัญหาเหล่านั้นด้วยเวกเตอร์รูปแบบไบนารีและรูปแบบการป้อนข้อมูลอาจเป็นรุ่นที่มีเสียงดังของรูปแบบที่เก็บไว้อย่างใดอย่างหนึ่ง ในเครือข่าย Hopfield รูปแบบที่จัดเก็บจะถูกเข้ารหัสเป็นน้ำหนักของเครือข่าย

แผนที่การจัดระเบียบของ Kohonen(SOM) เป็นตัวแทนของเครือข่ายประสาทประเภทอื่นที่มีความแตกต่างอย่างชัดเจนจากเครือข่ายหลายชั้นสำหรับป้อน แตกต่างจากการฝึกอบรมใน MLP ของ feedforward การฝึกอบรม SOM หรือการเรียนรู้มักถูกเรียกว่า unsupervised เนื่องจากไม่มีผลลัพธ์ที่ทราบเป้าหมายที่เกี่ยวข้องกับแต่ละรูปแบบอินพุตใน SOM และระหว่างกระบวนการฝึกอบรม SOM ประมวลผลรูปแบบอินพุตและเรียนรู้การจัดกลุ่มหรือแบ่งกลุ่มข้อมูล ผ่านการปรับน้ำหนัก (ซึ่งทำให้เป็นโมเดลเครือข่ายประสาทที่สำคัญสำหรับการลดขนาดและการจัดกลุ่มข้อมูล) โดยทั่วไปแล้วแผนที่สองมิติจะถูกสร้างขึ้นในลักษณะที่คำสั่งของความสัมพันธ์ระหว่างอินพุตจะถูกเก็บรักษาไว้ จำนวนและองค์ประกอบของกลุ่มสามารถกำหนดสายตาโดยขึ้นอยู่กับการกระจายผลผลิตที่สร้างขึ้นโดยกระบวนการฝึกอบรม ด้วยตัวแปรอินพุตเฉพาะในตัวอย่างการฝึกอบรม

(แผนภาพมาจากเว็บไซต์ปัญญาประดิษฐ์ C463 / B551ของ Dana Vrajitoru )

สิ่งที่ George Dontas เขียนนั้นถูกต้องอย่างไรก็ตามการใช้ RNNs ในทางปฏิบัติในวันนี้นั้นถูก จำกัด ให้อยู่ในระดับที่ง่ายกว่าของปัญหา: อนุกรมเวลา / งานตามลำดับ

$(i, t)$$i$$t$$i \in \mathcal{R}^n$$i$$i \in (\mathcal{R}^n)^*$

RNN ได้ถูกแสดงเพื่อให้สามารถแสดงลำดับที่สามารถวัดได้ใด ๆ กับการทำแผนที่ลำดับโดย Hammer

ดังนั้น RNNs ที่มีการใช้ในปัจจุบันสำหรับทุกชนิดของงานลำดับ: เวลาชุดการทำนาย, การติดฉลากลำดับการจำแนกลำดับ ฯลฯ ภาพรวมที่ดีสามารถพบได้บนหน้า Schmidhuber บน RNNs

สิ่งที่น่าสนใจจริงๆในการถามคำถามนี้คืออะไร?

แทนที่จะบอกว่าRNN และ FNN นั้นแตกต่างกันในชื่อของพวกเขา ดังนั้นพวกเขาจึงแตกต่างกัน ฉันคิดว่าสิ่งที่น่าสนใจกว่าคือในแง่ของการสร้างแบบจำลองระบบพลวัต RNN แตกต่างจาก FNN มากหรือไม่?

พื้นหลัง

มีการถกเถียงกันถึงการสร้างแบบจำลองระบบพลวัตระหว่างเครือข่ายประสาทกำเริบและเครือข่ายประสาท Feedforward พร้อมกับคุณสมบัติเพิ่มเติมเมื่อความล่าช้าครั้งก่อน (FNN-TD)

จากความรู้ของฉันหลังจากอ่านบทความเหล่านั้นใน 90's ~ 2010 วรรณกรรมส่วนใหญ่ต้องการให้วานิลลา RNN นั้นดีกว่า FNN ใน RNN นั้นใช้หน่วยความจำแบบไดนามิกในขณะที่ FNN-TD เป็นหน่วยความจำแบบสแตติก

อย่างไรก็ตามมีการศึกษาเชิงตัวเลขไม่มากนักเมื่อเปรียบเทียบทั้งสอง หนึ่ง [1] ในช่วงต้นแสดงให้เห็นว่าสำหรับการสร้างแบบจำลองระบบพลัง FNN-TD แสดงให้เห็นถึงประสิทธิภาพการทำงานที่เทียบเท่ากับวานิลลา RNN เมื่อมันปราศจากเสียงรบกวนในขณะที่ดำเนินการแย่ลงเล็กน้อยเมื่อมีเสียง จากประสบการณ์ของฉันเกี่ยวกับการสร้างแบบจำลองระบบพลังฉันมักจะเห็น FNN-TD นั้นดีพอ

อะไรคือความแตกต่างที่สำคัญในการรักษาเอฟเฟกต์หน่วยความจำระหว่าง RNN และ FNN-TD

$X_n, X_{n-1},\ldots,X_{n-k}$$X_{n+1}$

FNN-TD เป็นทั่วไปมากที่สุดวิธีการที่ครอบคลุมในการรักษาที่เรียกว่าผลกระทบที่หน่วยความจำ เนื่องจากมันโหดร้ายมันครอบคลุมทุกชนิดทุกประเภทผลหน่วยความจำใด ๆ ในทางทฤษฎี ข้อเสียเพียงอย่างเดียวคือมันใช้พารามิเตอร์มากเกินไปในทางปฏิบัติ

หน่วยความจำใน RNN คืออะไร แต่แสดงเป็น "บิด" ทั่วไปของข้อมูลก่อนหน้านี้ เราทุกคนรู้ว่าการสังเกตุระหว่างลำดับสเกลาร์สองลำดับโดยทั่วไปไม่ใช่กระบวนการที่สามารถย้อนกลับได้และการ deconvolution มักจะไม่ถูกต้อง

$s$

ดังนั้น RNN จึงทำการบีบอัดข้อมูลหน่วยความจำก่อนหน้านี้ด้วยการสูญเสียโดยการทำข้อตกลงในขณะที่ FNN-TD เป็นเพียงการเปิดเผยในแง่ที่ไม่มีการสูญเสียข้อมูลหน่วยความจำ โปรดทราบว่าคุณสามารถลดการสูญเสียข้อมูลในการโน้มน้าวใจโดยการเพิ่มจำนวนหน่วยที่ซ่อนอยู่หรือใช้เวลาล่าช้ามากกว่าวานิลลา RNN ในแง่นี้ RNN ยืดหยุ่นกว่า FNN-TD RNN ไม่ประสบความสำเร็จในการสูญเสียความทรงจำเนื่องจาก FNN-TD และสามารถแสดงจำนวนพารามิเตอร์ได้ในลำดับเดียวกัน

ฉันรู้ว่าบางคนอาจต้องการพูดถึงว่า RNN กำลังแบกรับผลกระทบเป็นเวลานานในขณะที่ FNN-TD ไม่สามารถทำได้ สำหรับสิ่งนี้ฉันแค่อยากพูดถึงว่าสำหรับระบบพลวัตอิสระอย่างต่อเนื่องจากทฤษฎีการฝังของทาเค็นมันเป็นคุณสมบัติทั่วไปสำหรับการฝังที่มีอยู่สำหรับ FNN-TD พร้อมกับหน่วยความจำระยะเวลาสั้น ๆ เพื่อให้ได้ประสิทธิภาพเช่นเดียวกับเวลานาน หน่วยความจำใน RNN มันอธิบายว่าทำไม RNN และ FNN-TD ไม่ได้แตกต่างกันมากในตัวอย่างระบบพลวัตอย่างต่อเนื่องในช่วงต้นยุค 90

ตอนนี้ฉันจะพูดถึงประโยชน์ของ RNN สำหรับภารกิจของระบบพลวัตอัตโนมัติการใช้คำศัพท์ก่อนหน้านี้มากขึ้นแม้ว่าการใช้ FNN-TD จะมีประสิทธิภาพเหมือนกับการใช้ FNN-TD ที่มีเงื่อนไขก่อนหน้านี้น้อยกว่าในทางทฤษฎีตัวเลขจะมีประโยชน์มากขึ้น ผลลัพธ์ใน [1] สอดคล้องกับความคิดเห็นนี้

การอ้างอิง

[1] Gençay, Ramazan และ Tung Liu "การสร้างแบบจำลองและการทำนายแบบไม่เชิงเส้นกับเครือข่าย feedward และแบบเกิดซ้ำ" Physica D: ปรากฏการณ์ไม่เชิงเส้น 108.1-2 (1997): 119-134

[2] Pan, Shaowu และ Karthik Duraisamy "การค้นพบโมเดลการปิดข้อมูลที่ขับเคลื่อนด้วยข้อมูล" พิมพ์ล่วงหน้า arXiv arXiv: 1803.09318 (2018)