สมมติลำดับ 1 มิติต่อไปนี้:
A, B, C, Z, B, B, #, C, C, C, V, $, W, A, % ...
ตัวอักษรA, B, C, ..ที่นี่เป็นตัวแทนของเหตุการณ์ 'ธรรมดา'
สัญลักษณ์#, $, %, ...ที่นี่แสดงถึงกิจกรรม 'พิเศษ'
การเว้นวรรคชั่วคราวระหว่างเหตุการณ์ทั้งหมดนั้นไม่เหมือนกัน (ทุกอย่างจากไม่กี่วินาทีไปจนถึงหลายวัน) แม้ว่าเหตุการณ์ในอดีตที่ผ่านมามีความเป็นไปได้น้อยที่จะมีอิทธิพลต่อเหตุการณ์ในอนาคต เป็นการดีที่ฉันสามารถคำนึงถึงความล่าช้าเหล่านี้อย่างชัดเจน
มีคำสั่งของประเภทเหตุการณ์ปกติ 10,000 ประเภทและลำดับเหตุการณ์พิเศษ 100 ชนิด จำนวนของกิจกรรมทั่วไปก่อนหน้ากิจกรรมพิเศษจะแตกต่างกันไป แต่ไม่น่าจะมากกว่า 100-300
โดยพื้นฐานฉันสนใจที่จะมองหารูปแบบในลำดับเหตุการณ์ปกติที่จบลงด้วยการทำนายเหตุการณ์พิเศษ
ตอนนี้คุณสามารถเข้าถึงสิ่งนี้ได้หลายวิธี: การสร้างคุณสมบัติเวกเตอร์ + การจำแนกมาตรฐานการเรียนรู้กฎการเชื่อมโยง HMM ฯลฯ
ในกรณีนี้ฉันอยากรู้ว่าเครือข่ายที่ใช้ LSTM จะเหมาะสมที่สุดอย่างไร ตรงไปตรงมาคือการทำอะไรบางอย่างเช่นCharparty ของ Karparthyและทำนายเหตุการณ์ต่อไปที่ได้รับประวัติศาสตร์ จากนั้นสำหรับลำดับใหม่
C, Z, Q, V, V, ... , V, W
คุณสามารถเรียกใช้ผ่านโมเดลและดูว่าเหตุการณ์พิเศษใดที่มีโอกาสมากที่สุดที่จะเกิดขึ้นต่อไป แต่มันก็ไม่ได้รู้สึกว่าเหมาะสม
ตั้งแต่นี้เป็นปัญหาที่จำแนกชั่วดูเหมือนว่าสิ่งที่เหมาะสมที่จะทำก็คือการใช้ Connectionist Temporal การจำแนกประเภทตามที่อธิบายไว้โดยอเล็กซ์เกรฟส์
อย่างไรก็ตามก่อนที่จะลงทุนมากเกินไปในขณะนี้ฉันกำลังมองหาสิ่งที่ง่ายขึ้นและเร็วขึ้นในการทดสอบเพื่อรับรู้ว่า LSTMs จะพอดีกับที่นี่ได้ดีเพียงใด Tensorflow จะเห็นตัวอย่าง CTCในบางจุด แต่ยังไม่ถึง
ดังนั้นคำถาม (ย่อย) ของฉันคือ:
- จากปัญหาข้างต้นและฉันต้องการทดสอบกับ LSTMs มันคุ้มค่าที่จะลองวิธีพิมพ์ char-rnn ฉันควรกัดกระสุนและไปจับกับ CTC หรือมีจุดเริ่มต้นที่ดีกว่า
- คุณจะรวมข้อมูลเวลาระหว่างเหตุการณ์อย่างไร การใช้นาฬิกาตายตัวกับเหตุการณ์ที่ไม่มี op ทำงานชัดเจน แต่ดูเหมือนว่าน่าเกลียด
- สมมติว่าฉันจัดการฝึก LSTM มีวิธีตรวจสอบโมเดลเพื่อดูว่า 'motifs' ที่หยิบขึ้นมาเป็นอย่างไร (เช่นคล้ายกับตัวกรองใน Convnets)
โค้ดตัวอย่างใด ๆ (แนะนำให้ใช้กับงูหลาม) มีประโยชน์เสมอ
แก้ไข:เพียงเพิ่มที่มีเสียงรบกวนในลำดับ เหตุการณ์บางอย่างสามารถเพิกเฉยได้อย่างปลอดภัย แต่สิ่งที่ไม่สามารถพูดได้ล่วงหน้า ดังนั้นรูปแบบที่ดีเลิศ (และลวดลายที่ได้จากมัน) นั้นแข็งแกร่งต่อสิ่งนี้