ความหมายของ“ จำนวนหน่วยในเซลล์ LSTM” คืออะไร?

19

num_units: int, The number of units in the LSTM cell.

ไม่สามารถแยกแยะและหมายความว่าอะไร หน่วยของเซลล์ LSTM คืออะไร อินพุตเอาต์พุตและลืมประตู? นี่หมายถึง "จำนวนหน่วยในเลเยอร์การฉายซ้ำสำหรับ Deep LSTM" หรือไม่ แล้วเหตุใดจึงเรียกว่า "จำนวนหน่วยในเซลล์ LSTM" เซลล์ LSTM คืออะไรและอะไรคือความแตกต่างกับ VS LSTM block อะไรคือหน่วย LSTM ขั้นต่ำถ้าไม่ใช่เซลล์

neural-network tensorflow rnn

— Brans Ds
แหล่งที่มา

FYI ทำความเข้าใจกับหน่วย LSTM เทียบกับเซลล์

— Franck Dernoncourt

หากเลเยอร์มีหลายหน่วย LSTM แบบขนานวิธีจัดการกับอินพุต x กรณีที่ 1: h (1) = f (x) h (t) = f (h (t-1), x) h (t + 1) = f (h (t), x) กรณีที่ 2: h (1) ) = f (x) h (t) = h (t-1) อาจมีกรณีอื่นเช่น ResNet

— user1908842

10

เมื่อความเห็นที่เป็นประโยชน์ในฟังก์ชั่นนั้นพูดว่า

คำจำกัดความของเซลล์ในแพ็คเกจนี้แตกต่างจากคำจำกัดความที่ใช้ในวรรณคดี ในวรรณคดีเซลล์หมายถึงวัตถุที่มีผลลัพธ์สเกลาร์เดียว คำจำกัดความในแพ็คเกจนี้หมายถึงอาร์เรย์แนวนอนของหน่วยดังกล่าว

โดยพื้นฐานแล้วเลเยอร์จะมีหน่วย LSTM แบบขนานหลายหน่วยซึ่งมีโครงสร้างเหมือนกัน แต่แต่ละหน่วยจะ "เรียนรู้ที่จะจำ" สิ่งที่แตกต่างกัน

— Peteris
แหล่งที่มา

1

ขอบคุณ :) ความคิดเห็นนั้นถูกเพิ่ม 7 วันที่ผ่านมาหลังจากคำถามนี้ หลังจากที่บางขุดฉันได้ถามทีม Tensorflow ใน Google กลุ่มว่าทำไมพวกเขานิยามของเซลล์ LSTM คือแตกต่างจากเซลล์วรรณกรรม LSTM .. และพวกเขาได้กล่าวเสริมว่าความคิดเห็น :)

— Brans Ds

6

ไดอะแกรม LSTM / RNN ส่วนใหญ่เพียงแสดงเซลล์ที่ซ่อนอยู่ แต่ไม่เคยหน่วยของเซลล์เหล่านั้น ดังนั้นความสับสน เลเยอร์ที่ซ่อนอยู่แต่ละเซลล์จะมีเซลล์ที่ซ่อนอยู่ให้มากที่สุดเท่าที่จำนวนครั้งของขั้นตอน และยิ่งกว่านั้นแต่ละเซลล์ที่ซ่อนอยู่นั้นประกอบด้วยหน่วยที่ซ่อนอยู่หลายแห่งเช่นในแผนภาพด้านล่าง ดังนั้นขนาดของเมทริกซ์เลเยอร์ที่ซ่อนอยู่ใน RNN คือ (จำนวนของขั้นตอนเวลาจำนวนหน่วยที่ซ่อนอยู่)

— Garima Jain
แหล่งที่มา

1

ใน Keras ซึ่งอยู่ด้านบนของ TensorFlow หรือ Theano เมื่อคุณโทรmodel.add(LSTM(num_units))num_units คือมิติของพื้นที่ส่งออก (จากที่นี่บรรทัดที่ 863) สำหรับฉันนั่นหมายถึงnum_unitsจำนวนหน่วยที่ซ่อนอยู่ซึ่งการเปิดใช้งานส่งต่อไปยังขั้นตอนถัดไป

— StatsSorceress
แหล่งที่มา

0

จำนวนหน่วยใน RNN คือจำนวนหน่วยความจำ RNN ไปยังแต่ละอินพุตของลำดับในลักษณะแนวตั้งที่ติดกันและแต่ละอันกำลังส่งข้อมูลที่ถูกกรองไปยังหน่วยความจำถัดไป

โปรดจำไว้ว่าแนวคิดนี้ได้รับแรงบันดาลใจจากแนวคิดวิทยาการคอมพิวเตอร์ของการไหลของการจัดสรรหน่วยความจำไปยังหน่วยต่าง ๆ ขนาดบิต

— ราชา
แหล่งที่มา