ใช้การเรียนรู้เชิงลึกสำหรับการทำนายอนุกรมเวลา

ฉันใหม่ในด้านการเรียนรู้อย่างลึกซึ้งและสำหรับฉันขั้นตอนแรกคือการอ่านบทความที่น่าสนใจจากเว็บไซต์ deeplearning.net ในเอกสารเกี่ยวกับการเรียนรู้อย่างลึกซึ้งฮินตันและคนอื่น ๆ ส่วนใหญ่พูดถึงการใช้มันกับปัญหาภาพ ใครบางคนพยายามที่จะตอบฉันว่ามันสามารถนำไปใช้กับปัญหาของการทำนายค่าอนุกรมเวลา (การเงินการจราจรทางอินเทอร์เน็ต ... ) และสิ่งที่สำคัญที่ฉันควรมุ่งเน้นถ้าเป็นไปได้?

มีงานบางส่วนในการปรับวิธีการเรียนรู้ลึกสำหรับข้อมูลตามลำดับ งานจำนวนมากได้มุ่งเน้นไปที่การพัฒนา "โมดูล" ซึ่งสามารถซ้อนกันในลักษณะที่คล้ายคลึงกับการจัดเรียงเครื่อง boltzmann (RBMs) หรือเครื่องสร้างรหัสอัตโนมัติแบบอัตโนมัติเพื่อสร้างเครือข่ายประสาทลึก ฉันจะเน้นไม่กี่ด้านล่าง:

• เงื่อนไข RBMs : อาจเป็นหนึ่งในแอพพลิเคชั่นที่ประสบความสำเร็จมากที่สุดของการเรียนรู้เชิงลึกสำหรับอนุกรมเวลา เทย์เลอร์พัฒนา RBM เหมือนโมเดลที่เพิ่มการตอบสนองชั่วคราวระหว่างหน่วยที่มองเห็นได้และนำไปใช้กับการสร้างแบบจำลองข้อมูลการจับการเคลื่อนไหว โดยพื้นฐานแล้วคุณจะต้องจบลงด้วยบางสิ่งบางอย่างเช่นระบบไดนามิคเชิงเส้นที่มีความไม่เชิงเส้นเพิ่มเข้ามาโดยหน่วยที่ซ่อนอยู่
• ชั่วคราว RBMs : ในวิทยานิพนธ์ของเขา (ส่วนที่ 3) Ilya Sutskever พัฒนา RBM หลายอย่างเช่นแบบจำลองที่มีการโต้ตอบชั่วคราวระหว่างหน่วย นอกจากนี้เขายังนำเสนอผลลัพธ์ที่น่าสนใจซึ่งแสดงให้เห็นว่าการฝึกอบรมเครือข่ายประสาทที่เกิดขึ้นกับ SGD สามารถทำได้ดีกว่าหรือดีกว่าวิธีที่ซับซ้อนกว่าเช่นอัลกอริธึมที่ปราศจาก Hessian ของ Martens โดยใช้การกำหนดค่าเริ่มต้นที่ดี
• Recursive Autoencoders : ในที่สุดฉันจะพูดถึงงานของ Richard Socher เกี่ยวกับการใช้ autoencoders แบบเรียกซ้ำสำหรับการแยกวิเคราะห์ แม้ว่านี่ไม่ใช่ซีรีย์เวลา แต่ก็มีความเกี่ยวข้องกันอย่างแน่นอน

ใช่สามารถใช้การเรียนรู้เชิงลึกสำหรับการทำนายอนุกรมเวลา ในความเป็นจริงมันทำมาหลายครั้งแล้วเช่น:

• http://cs229.stanford.edu/proj2012/BussetiOsbandWong-DeepLearningForTimeSeriesModeling.pdf
• http://link.springer.com/article/10.1007/s00134-013-2964-2#page-1

นี่ไม่ใช่ "กรณีพิเศษ" ใด ๆ การเรียนรู้ที่ลึกนั้นส่วนใหญ่เกี่ยวกับวิธีการเตรียมการ (ตามรูปแบบทั่วไป) ดังนั้นคุณต้องมุ่งเน้นไปที่สิ่งเดียวกับที่คุณมุ่งเน้นเมื่อคุณเรียนรู้อย่างลึกซึ้งใน "ความรู้สึกดั้งเดิม" ในที่เดียว มือและสิ่งเดียวกันที่คุณมุ่งเน้นในขณะที่ดำเนินการทำนายอนุกรมเวลาโดยไม่ต้องเรียนรู้ลึก

เครือข่ายประสาทที่เกิดขึ้นอีกเป็นประเภทการเรียนรู้ลึก (DL) ฉันคิดว่าพวกเขาเป็นเครื่องมือ DL ที่ได้รับความนิยมมากที่สุดสำหรับการเรียนรู้แบบต่อเนื่อง (1d) ขณะนี้พวกเขาเป็นพื้นฐานของวิธีการของ Neural Machine Translation (NMT) (เป็นผู้บุกเบิกปี 2014 ที่ LISA (UdeM), Google และอาจเป็นอีกสองคนที่ฉันจำไม่ได้)

ลำดับการสร้างของ Alex Graves กับ Recurrent Neural Networksใช้เครือข่ายที่เกิดขึ้นซ้ำและเซลล์หน่วยความจำระยะสั้นในระยะยาวเพื่อทำนายข้อความและทำการสังเคราะห์ลายมือ

Andrej Karpathy ได้เขียนบล็อกเกี่ยวกับการสร้างลำดับระดับตัวละครตั้งแต่ต้น เขาใช้ RNN ในการสอนของเขา

สำหรับตัวอย่างเพิ่มเติมคุณควรดู - Hochreiter, S. , & Schmidhuber, J. (1997) หน่วยความจำระยะสั้นระยะยาว การคำนวณทางประสาท, 9 (8), 2278-2380

บางทีนี่อาจช่วย:

• I. Sutskever, O. Vinyals และ QV V Le,“ ลำดับการเรียนรู้ตามลำดับด้วยโครงข่ายประสาทเทียม” ในความก้าวหน้าในระบบประมวลผลข้อมูลประสาท, 2014, หน้า 3104-3112

หากคุณมีคำจำกัดความสำหรับหน้าต่างเวลาที่แน่นอนของคุณเกี่ยวกับข้อมูลเช่นประโยคในบทความหรือย่อหน้านี้คุณจะสามารถใช้ LSTM ได้ แต่ฉันไม่แน่ใจว่าจะหาหน้าต่างเวลาที่ไม่ชัดเจนและรู้บริบทมากขึ้นได้อย่างไร ตัวอย่างสำหรับข้อมูลจำนวนบันทึกที่คุณเห็นมีความเกี่ยวข้องและนั่นไม่ใช่สิ่งที่ชัดเจน