ความแตกต่างระหว่าง "หนาแน่น" และ "เวลากระจาย" ของ Keras`

ฉันยังคงสับสนเกี่ยวกับความแตกต่างระหว่างDenseและTimeDistributedDenseของKerasแม้ว่าจะมีอยู่แล้วบางคำถามที่คล้ายกันถามที่นี่และที่นี่ ผู้คนกำลังพูดคุยกันมากมาย แต่ไม่มีข้อสรุปที่ตกลงร่วมกัน

และถึงแม้ว่าที่นี่ @fchollet ระบุว่า:

TimeDistributedDenseใช้การดำเนินการเดียวกันDense(เชื่อมต่อแบบเต็ม) กับทุกการประทับเวลาของ 3D tensor

ฉันยังต้องการภาพประกอบโดยละเอียดเกี่ยวกับความแตกต่างระหว่างพวกเขา

สมมติว่าคุณมีข้อมูลอนุกรมเวลาที่มีแถวแถวและคอลัมน์คอลัมน์ที่คุณต้องการป้อนไปยังชั้นหนึ่งใน Keras ก่อนที่คุณจะป้อนข้อมูลนั้นไปยัง RNN คุณจะต้องปรับแต่งข้อมูลก่อนหน้านี้เป็นเมตริกซ์ 3 มิติ ดังนั้นมันจะกลายเป็น1$N$$700$SimpleRNN(200, return_sequence=True)$N \times 700 \times 1$

^{ภาพนี้นำมาจากhttps://colah.github.io/posts/2015-08-Understanding-LSTMs}

ใน RNN คอลัมน์ของคุณ ("700 คอลัมน์") เป็นเวลาของ RNN ข้อมูลของคุณจะถูกประมวลผลจาก700 หลังจากให้อาหารข้อมูลไปยัง RNN ตอนนี้ก็มีเอาท์พุท 700 ซึ่งเป็นเพื่อไม่เพื่อ{200} โปรดจำไว้ว่าตอนนี้รูปร่างของข้อมูลของคุณเป็นซึ่งเป็นตัวอย่าง (แถว) x timesteps (คอลัมน์) x ช่อง$t=1 \ to \ 700$$h_1$$h_{700}$$h_1$$h_{200}$$N \times 700 \times 200$

จากนั้นเมื่อคุณใช้ a TimeDistributedDenseคุณจะใช้Denseเลเยอร์ในแต่ละการประทับเวลาซึ่งหมายความว่าคุณใช้Denseเลเยอร์ในแต่ละ , , ... ,ตามลำดับ ซึ่งหมายถึง: จริงคุณกำลังใช้การดำเนินการอย่างเต็มที่ที่เกี่ยวโยงกันในแต่ละช่องทาง (ที่ "200" หนึ่ง) ตามลำดับจากเพื่อ{700} ค่า "คูณคูณ " จนถึงวันที่ 700 "คูณคูณ "$h_1$$h_2$$h_t$$h_1$$h_{700}$$1 \times 1 \times 200$$1 \times 1 \times 200$

เราจะทำเช่นนี้ทำไม? เพราะคุณไม่ต้องการแผ่เอาต์พุต RNN

ทำไมไม่แบนเอาท์พุท RNN? เพราะคุณต้องการให้แต่ละค่าการประทับเวลาแยกกัน

ทำไมแต่ละค่าการประทับเวลาแยกกัน? เพราะ:

• คุณต้องการโต้ตอบค่าระหว่างการประทับเวลาของมันเท่านั้น
• คุณไม่ต้องการให้มีการโต้ตอบแบบสุ่มระหว่างเวลาและช่องต่างๆ