คำถามติดแท็ก attention

มีการใช้กลไกการเรียนรู้ในเอกสารการเรียนรู้ลึกต่างๆในช่วงไม่กี่ปีที่ผ่านมา Ilya Sutskever หัวหน้าฝ่ายวิจัยของ Open AI ได้ชื่นชมพวกเขาอย่างกระตือรือร้น: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 Eugenio Culurciello ที่ Purdue University ได้อ้างว่า RNNs และ LSTMs ควรถูกทอดทิ้งเนื่องจากเป็นเครือข่ายประสาทที่เน้นความสนใจอย่างหมดจด: https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 ดูเหมือนว่าจะเป็นการพูดเกินจริง แต่ก็ปฏิเสธไม่ได้ว่าแบบจำลองความสนใจล้วนๆทำหน้าที่ในการสร้างแบบจำลองได้ค่อนข้างดี: เราทุกคนรู้เกี่ยวกับกระดาษที่มีชื่อเหมาะสมจาก Google ความสนใจคือสิ่งที่คุณต้องการ แต่สิ่งที่ว่ามีรูปแบบความสนใจตาม? ฉันยังไม่พบคำอธิบายที่ชัดเจนของโมเดลดังกล่าว สมมติว่าฉันต้องการคาดการณ์ค่าใหม่ของอนุกรมเวลาหลายตัวแปรตามค่าที่ผ่านมา มันค่อนข้างชัดเจนว่าจะทำอย่างไรกับ RNN ที่มีเซลล์ LSTM ฉันจะทำเช่นเดียวกันกับแบบจำลองตามความสนใจได้อย่างไร

23 time-series  deep-learning  lstm  rnn  attention