โมเดล Markov ที่ซ่อนอยู่สำหรับการทำนายเหตุการณ์

คำถาม : การตั้งค่าด้านล่างนี้ใช้งานได้ดีกับโมเดลซ่อนมาร์คอฟหรือไม่?

ฉันมีชุดข้อมูลการ108,000สังเกต (ใช้เวลากว่า 100 วัน) และประมาณ2000เหตุการณ์ตลอดช่วงเวลาการสังเกตทั้งหมด ข้อมูลดูเหมือนว่ารูปด้านล่างที่ตัวแปรที่สังเกตสามารถใช้ค่าไม่ต่อเนื่อง 3 ค่าและคอลัมน์สีแดงเน้นเวลาเหตุการณ์เช่น 's: $[1,2,3]$ $t_E$

ป้อนคำอธิบายรูปภาพที่นี่

ดังที่แสดงด้วยสี่เหลี่ยมสีแดงในรูปฉันได้ตัด {ถึง } สำหรับแต่ละเหตุการณ์โดยปฏิบัติต่อสิ่งเหล่านี้อย่าง "หน้าต่างก่อนเหตุการณ์" ได้อย่างมีประสิทธิภาพ $t_E$ $t_{E-5}$

การฝึกอบรม HMM:ฉันวางแผนที่จะฝึกอบรมโมเดล Markov ที่ซ่อนอยู่ (HMM) โดยอ้างอิงจาก "หน้าต่างก่อนเหตุการณ์ทั้งหมด" โดยใช้วิธีการสังเกตหลายฉากตามที่แนะนำในหน้า Pg 273 ของ Rabiner ของกระดาษ หวังว่านี่จะช่วยให้ฉันฝึก HMM ที่รวบรวมรูปแบบลำดับที่นำไปสู่เหตุการณ์

อืมทำนาย:แล้วฉันวางแผนที่จะใช้ HMM นี้เพื่อทำนาย ในวันที่ใหม่ที่จะเป็นเวกเตอร์หน้าต่างบานเลื่อนการปรับปรุงในเวลาจริงเพื่อให้มีการสังเกตระหว่างเวลาปัจจุบันและเป็นวันที่ไป $log[P(Observations|HMM)]$ $Observations$ $t$ $t-5$

ฉันคาดว่าจะเห็นเพิ่มขึ้นสำหรับการที่มีลักษณะคล้ายกับ "หน้าต่างก่อนเหตุการณ์" สิ่งนี้ควรมีผลบังคับใช้ให้ฉันคาดการณ์เหตุการณ์ก่อนที่จะเกิดขึ้น $log[P(Observations|HMM)]$ $Observations$

— Zhubarb
แหล่งที่มา

คุณสามารถแบ่งข้อมูลของคุณเพื่อสร้างแบบจำลอง (พูด 0.7) จากนั้นทดสอบแบบจำลองของคุณกับข้อมูลที่เหลือ แค่คิดฉันไม่ใช่ผู้เชี่ยวชาญในเรื่องนี้

— เฟอร์นันโด

ใช่ขอบคุณ. มันเหมาะสมกว่าของ HMM สำหรับงานที่ฉันไม่แน่ใจ

— Zhubarb

@Zhubarb ฉันกำลังเผชิญกับปัญหาที่คล้ายกันและต้องการที่จะปฏิบัติตามแนวทาง HMM ของคุณ คุณประสบความสำเร็จในการทำสิ่งนี้? หรือในที่สุดคุณก็เกิดการถดถอยโลจิสติก / SVM เป็นต้น

— Javierfdr

@Javierfdr ฉันลงเอยด้วยการไม่ใช้งานเนื่องจากความยากลำบากในการใช้งานและความกังวลที่จะเน้นในคำตอบของเขา โดยพื้นฐานแล้ว HMM มาพร้อมกับภาระในการสร้างแบบจำลองที่ครอบคลุมในขณะที่ความรู้สึกของฉันในตอนนี้คือปัญหาที่เกิดขึ้นในมือเราสามารถหลบหนีได้อย่างง่ายดายด้วยรูปแบบการเลือกปฏิบัติ (SVM, Neural Net ฯลฯ ) ตามที่คุณแนะนำ .

— Zhubarb

ปัญหาอย่างหนึ่งของแนวทางที่คุณอธิบายคือคุณจะต้องกำหนดว่าจะเพิ่มประเภทใด $P(O)$ มีความหมายซึ่งอาจเป็นเรื่องยาก $P(O)$ โดยทั่วไปจะมีขนาดเล็กมาก มันอาจจะดีกว่าถ้าฝึก HMM สองตัวให้พูด HMM1 สำหรับลำดับการสังเกตที่เกิดเหตุการณ์ที่น่าสนใจและ HMM2 สำหรับลำดับการสังเกตที่เหตุการณ์ไม่เกิดขึ้น จากนั้นให้ลำดับการสังเกต $O$ คุณมี

\begin{aligned} P (H H M 1 | O) & = \frac{P (O | H M M 1) P (H M M 1)}{P (O)} \\ α P (O | H M M 1) P (H M M 1) \end{aligned}

$\begin{align*} P(HHM1|O) &= \frac{P(O|HMM1)P(HMM1)}{P(O)} \\ &\varpropto P(O|HMM1)P(HMM1) \end{align*}$ และเช่นเดียวกันสำหรับ HMM2 จากนั้นคุณสามารถคาดการณ์เหตุการณ์ที่จะเกิดขึ้นถ้า

\begin{aligned} P (H M M 1 | O) & > P (H M M 2 | O) \\ ⟹ \frac{P (H M M 1) P (O | H M M 1)}{P (O)} & > \frac{P (H M M 2) P (O | H M M 2)}{P (O)} \\ ⟹ P (H M M 1) P (O | H M M 1) & > P (H M M 2) P (O | H M M 2) . \end{aligned}

$\begin{align*} P(HMM1|O) &> P(HMM2|O) \\ \implies \frac{P(HMM1)P(O|HMM1)}{P(O)} &> \frac{P(HMM2)P(O|HMM2)}{P(O)} \\ \implies P(HMM1)P(O|HMM1) &> P(HMM2)P(O|HMM2). \end{align*}$

ข้อจำกัดความรับผิดชอบ : สิ่งต่อไปนี้ขึ้นอยู่กับประสบการณ์ส่วนตัวของฉันเอง หนึ่งในสิ่งที่ดีเกี่ยวกับ HMM คือพวกมันช่วยให้คุณสามารถจัดการกับลำดับความยาวผันแปรและเอฟเฟกต์ลำดับตัวแปร (ขอบคุณสถานะที่ซ่อนอยู่) บางครั้งสิ่งนี้จำเป็น (เช่นในแอปพลิเคชัน NLP จำนวนมาก) อย่างไรก็ตามดูเหมือนว่าคุณมีข้อสันนิษฐานเบื้องต้นว่ามีเพียงการสังเกต 5 ครั้งล่าสุดเท่านั้นที่เกี่ยวข้องกับการคาดการณ์เหตุการณ์ที่น่าสนใจ หากสมมติฐานนี้เป็นจริงคุณอาจมีโชคมากขึ้นโดยใช้เทคนิคแบบดั้งเดิม (การถดถอยแบบโลจิสติกเบย์ไร้เดียงสา SVM และอื่น ๆ ) และใช้การสังเกต 5 ครั้งล่าสุดเป็นคุณลักษณะ / ตัวแปรอิสระ โดยทั่วไปแล้วประเภทของโมเดลเหล่านี้จะง่ายต่อการฝึกอบรมและ (จากประสบการณ์ของฉัน) ให้ผลลัพธ์ที่ดีกว่า

— อัลโต
แหล่งที่มา

@ อัลโตขอบคุณ อย่างที่คุณพูดฉันจะดู

p = l o g (P (O | h m m))

$p = log(P(O|hmm))$ และค่านิยมเช่น

p_{1} = - 2504, p_{2} = - 2403, p_{3} = - 2450

$p_1 =-2504, p_2 = -2403, p_3= -2450$ ฯลฯ ดังนั้นการเพิ่มขึ้นอย่างมีนัยสำคัญ

p

$p$ อาจเป็นปัญหา ในระหว่างนี้ฉันคิดว่าการฝึกอบรม HMM2 จะยาก จำนวนคะแนนที่ฉันมีสำหรับ HMM2 (ไม่มีเหตุการณ์) จะสูงกว่านี้มากและอาจไม่มีเสียงดังรบกวน แต่เสียงรบกวนเท่านั้น คุณคิดอย่างไร? PS : ฉันเลือก 5 ในเนื่องจากขนาดหน้าต่างของฉันโดยพลการมันมีแนวโน้มที่จะยาวกว่าในการใช้งานจริง

— Zhubarb

@Berkan ฉันไม่คิดว่าปัญหาที่คุณพูดถึง (ไม่มีลำดับเหตุการณ์ใด ๆ มากกว่าลำดับเหตุการณ์และเป็นเพียงเสียงรบกวนสำหรับเหตุการณ์ที่ไม่มี) ควรแยกแยะแนวทาง 2 HMM ถ้าคุณเอามาก่อน

P (H M M 1)

$P(HMM1)$ ในบัญชี (ฉันได้อัปเดตคำตอบดั้งเดิมของฉันในเรื่องนี้) จากนั้นคุณอาจต้องปรับเปลี่ยนสำหรับการกระจายคลาสที่ไม่สมดุล (ไม่มีเหตุการณ์มากกว่าเหตุการณ์) แต่มีหลายวิธีที่จะจัดการกับสิ่งนี้ ดูคำตอบนี้ฉันยกตัวอย่าง

— อัลโต

@Berkan สำหรับขนาดหน้าต่างตามประสบการณ์ส่วนตัวของฉันฉันคาดหวังว่าสิ่งที่ฉันพูดในเรื่องนี้จะถือสำหรับขนาดหน้าต่างคงที่ใด ๆ เห็นได้ชัดว่าทุกสิ่งที่ฉันพูดจะต้องมีการทดสอบเชิงประจักษ์สำหรับปัญหาเฉพาะของคุณ

— อัลโต

ขอบคุณสำหรับการอัปเดตคำตอบของคุณตอนนี้มันชัดเจนมากขึ้น เนื่องจากฉันจะทำงานกับลอการิทึมฉันจะทำการเปรียบเทียบ:

l o g (P (H M M 1)) + l o g (P (O | H M M 1)) > ? l o g (P (H M M 2)) + l o g (P (O | H M M 2))

$log(P(HMM1))+log(P(O|HMM1)) >? log(P(HMM2))+log(P(O|HMM2))$ . ตอนนี้

l o g (P (H M M 1))

$log(P(HMM1))$ มีการคำนวณโดยใช้อัลกอริทึมไปข้างหน้าฉันจะคำนวณได้อย่างไร

l o g (P (H M M 1))

$log(P(HMM1))$ ? เป็นเพียงก่อนที่ฉันจะแต่งตั้งหรือไม่

— Zhubarb

l o g (P (H M M 1)) + l o g (P (O | H M M 1)) > ? l o g (P (H M M 2)) + l o g (P (O | H M M 2))

$log(P(HMM1))+log(P(O|HMM1))>?log(P(HMM2))+log(P(O|HMM2))$ . ตอนนี้

l o g (P (H M M 1))

$log(P(HMM1))$ คำนวณโดยใช้อัลกอริธึมการส่งต่อ ฉันคำนวณ log (P (HMM1)) โดยใช้ MLE แบบง่ายตามความถี่หรือไม่ เช่นสำหรับกรณีที่ได้รับ

H M M 1 = (5 * 2, 000) / 108, 000

$HMM1 = (5 * 2,000) / 108,000$ โดยที่ตัวเศษคือจำนวนคะแนนที่อยู่ภายใต้ HMM1 และตัวส่วนคือขนาดของชุดข้อมูล

— Zhubarb