ทำความเข้าใจกับโทโพโลยีของ LSTM


9

อย่างที่หลายคนมีฉันพบแหล่งข้อมูลที่นี่และที่นี่เพื่อเป็นประโยชน์อย่างมากสำหรับการทำความเข้าใจเซลล์ LSTM ฉันมั่นใจว่าฉันเข้าใจว่าการไหลของค่าและการปรับปรุงและฉันมั่นใจมากพอที่จะเพิ่ม "การเชื่อมต่อช่องมอง" ฯลฯ

ในตัวอย่างของฉันฉันมีที่ในแต่ละครั้งขั้นตอนการป้อนข้อมูลเวกเตอร์ของความยาวiและเวกเตอร์การส่งออกของระยะเวลาที่oo < i

สิ่งที่ไม่ได้กล่าวถึงในหน้านี้คือวิธีการจัดเรียงและฝึกอบรม

ฉันมีคำถาม 2 ข้อ:

  1. ในข้อมูลการฝึกอบรมของฉันฉันมีเวกเตอร์อินพุต / เอาต์พุตจำนวนมากที่สอดคล้องกับหน่วยเวลาจำนวนมาก สมมติว่าฉันฝึก LSTM ด้วยข้อมูลทั้งหมด จากนั้นฉันจะเรียกใช้อินพุตที่กำหนดเองแบบยาว ๆ สิ่งที่ฉันหมายถึงคือถ้าฉันมีข้อมูลการฝึกอบรมสำหรับพูดทั้งหมดของปี 2558 และ 2559 ฉันจะสามารถเรียกใช้ข้อมูลผ่านเครือข่ายในปี 2560 ได้หรือไม่? หรืออาจ 2017 ถึง 2020
  2. ตามที่ฉันได้อ่านมันรู้สึกเหมือนฉันมีเซลล์ LSTM หนึ่งเซลล์ต่อหน่วยเวลาดังนั้นถ้าฉันมีหน่วยเวลาหลายครั้งฉันก็มีเซลล์ LSTM ที่ถูกล่ามโซ่ไว้มากมาย เนื่องจากความยาวของสายโซ่นั้นขึ้นอยู่กับความยาวของข้อมูลที่ฉันต้องการเรียกใช้ผ่านเครือข่ายและนั่นเป็นเรื่องที่คาดเดาได้ยากฉันไม่สามารถเห็นได้ว่าฉันจะฝึกอบรมเรื่องนี้อย่างไรเว้นแต่ฉันจะฝึกเซลล์ LSTM เพียงเซลล์เดียว ครั้ง ดังนั้นดูเหมือนว่าฉันจะฝึกเซลล์ LSTM หนึ่งเซลล์จากนั้นnโยงมันเข้าด้วยกันเพื่อหารายการเวกเตอร์ความยาวที่กำหนดn? แม้ว่าเซลล์ LSTM หนึ่งเซลล์จะมีองค์ประกอบและฟังก์ชั่นจำนวนหนึ่ง แต่รู้สึกว่ามันไม่เพียงพอที่จะรวบรวมข้อมูลมากมายในบางสิ่งที่เล็กมาก?

ขอบคุณ มีทรัพยากรอื่น ๆ ที่ฉันสามารถใช้ (ค่อนข้างเร็ว) ที่จะช่วยให้ฉันเข้าใจรายละเอียดของการใช้งานหรือไม่ ลิงก์ทั้งสองด้านบนแสดงภาพระดับสูงที่ยอดเยี่ยมว่าเกิดอะไรขึ้น แต่ไม่สามารถบันทึกรายละเอียดที่ละเอียดกว่านี้ได้

คำตอบ:


1

สมมติว่าฉันฝึก LSTM ด้วยข้อมูลทั้งหมด จากนั้นฉันสามารถรันอินพุตความยาวโดยพลการที่ตั้งค่าไว้ได้หรือไม่?

ใช่ใช่ อย่างไรก็ตามการใช้งานซอฟต์แวร์บางอย่างมีกฎเกณฑ์ที่เข้มงวดเกี่ยวกับว่าตัวแปรจำเป็นต้องมีขนาดคงที่หรือไม่หรืออาจเป็นขนาดตัวแปรดังนั้นในแง่ของการเขียนโปรแกรมคุณจะต้องตรวจสอบว่าคุณใช้สิ่งต่าง ๆ อย่างถูกต้อง

ดังนั้นดูเหมือนว่าฉันจะฝึกเซลล์ LSTM หนึ่งเซลล์จากนั้นโยง n เซลล์ของพวกเขาเข้าด้วยกันเพื่อใส่เวกเตอร์รายการความยาว n?

ไม่แต่ละเซลล์ประมวลผลหน่วยเวลาทั้งหมด นั่นคือสิ่งที่ทำให้พวกมันเกิดขึ้นอีก : เซลล์ประมวลผลอินพุตโดยการอัพเดตสถานะหน่วยความจำของเซลล์ หน่วยในครั้งต่อไปเป็นหน้าที่ของรัฐในหน่วยความจำก่อนหน้านี้และป้อนข้อมูลใหม่1}xtxt+1

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.