การฝึกอบรมแบบซ่อนมาร์คอฟโมเดลการฝึกอบรมหลายครั้ง

ฉันใช้งาน HMM แบบแยกตามบทช่วยสอนนี้ http://cs229.stanford.edu/section/cs229-hmm.pdf

บทช่วยสอนนี้และอื่น ๆ พูดถึงการฝึกอบรม HMM ตามลำดับการสังเกตเสมอ

จะเกิดอะไรขึ้นเมื่อฉันมีลำดับการฝึกซ้อมหลายครั้ง ฉันควรเรียกใช้พวกมันตามลำดับหรือไม่

อีกทางเลือกหนึ่งคือการเชื่อมต่อลำดับที่หนึ่งและฝึกบนนั้น แต่ฉันจะมีการเปลี่ยนสถานะจากจุดสิ้นสุดของลำดับหนึ่งไปยังจุดเริ่มต้นของลำดับถัดไปซึ่งไม่ใช่ของจริง

การต่อหรือไม่ใช้การฝึกซ้ำแต่ละครั้งโดยมีลำดับที่แตกต่างกันเป็นสิ่งที่ถูกต้อง วิธีการที่ถูกต้องต้องการคำอธิบายบางอย่าง:

โดยปกติจะฝึกอบรม HMM โดยใช้อัลกอริทึม EM. ประกอบด้วยการวนซ้ำหลายครั้ง การวนซ้ำแต่ละครั้งมี "ประมาณการ" และหนึ่งขั้นตอน "เพิ่ม" สูงสุด ในขั้นตอน "ขยาย" คุณจัดแนวเวกเตอร์การสังเกตแต่ละ x ให้กับสถานะในแบบจำลองของคุณเพื่อให้การวัดความเป็นไปได้สูงสุด ในขั้นตอน "ประมาณ" สำหรับแต่ละสถานะ s คุณประมาณ (a) พารามิเตอร์ของตัวแบบเชิงสถิติสำหรับเวกเตอร์ x ที่สอดคล้องกับ s และ (b) ความน่าจะเป็นการเปลี่ยนสถานะ ในการวนซ้ำต่อไปนี้ขั้นตอนขยายใหญ่สุดจะทำงานอีกครั้งพร้อมกับตัวแบบสถิติที่ได้รับการอัพเดท ฯลฯ กระบวนการนั้นทำซ้ำตามจำนวนครั้งที่กำหนดไว้หรือเมื่อการวัดความน่าจะเป็นหยุดลงอย่างมีนัยสำคัญ สุดท้าย (อย่างน้อยในการรู้จำเสียง) โดยทั่วไปแล้ว HMM จะมี "เริ่มต้น" ที่กำหนดไว้

ดังนั้นหากคุณมีลำดับการฝึกซ้อมหลายขั้นตอนในขั้นตอนการประมาณคุณควรเรียกใช้แต่ละลำดับเพื่อให้เวกเตอร์การสังเกตเริ่มต้นสอดคล้องกับสถานะเริ่มต้น ด้วยวิธีนี้สถิติเกี่ยวกับสถานะเริ่มต้นนั้นจะถูกรวบรวมจากการสังเกตครั้งแรกของลำดับการสังเกตทั้งหมดของคุณและในเวกเตอร์การสังเกตทั่วไปนั้นจะถูกจัดเรียงให้สอดคล้องกับสถานะที่เป็นไปได้มากที่สุดในแต่ละลำดับ คุณจะทำตามขั้นตอนสูงสุด (และการทำซ้ำในอนาคต) หลังจากลำดับทั้งหมดมีไว้สำหรับการฝึกอบรม ในการทำซ้ำครั้งถัดไปคุณต้องทำสิ่งเดียวกัน

ด้วยการจัดจุดเริ่มต้นของแต่ละลำดับการสังเกตให้อยู่ในสถานะเริ่มต้นคุณจะหลีกเลี่ยงปัญหาการเรียงลำดับที่ไม่ถูกต้องซึ่งคุณจะทำการจำลองโมเดลการเปลี่ยนระหว่างจุดสิ้นสุดของลำดับหนึ่งและจุดเริ่มต้นถัดไปอย่างไม่ถูกต้อง และด้วยการใช้ลำดับทั้งหมดในการวนซ้ำแต่ละครั้งคุณหลีกเลี่ยงการให้ลำดับที่แตกต่างกันในแต่ละการวนซ้ำซึ่งตามที่ผู้ตอบกลับกล่าวไว้จะไม่รับประกันการบรรจบกัน

ลอว์เรนซ์ราบิ เนอร์ อธิบายวิธีการทางคณิตศาสตร์ที่ดีขึ้นในการกวดวิชานี้จากอีอีอี 77 บทช่วยสอนนี้เป็นบทที่ 6 ของหนังสือความรู้เบื้องต้นเกี่ยวกับการรู้จำเสียงโดย Rabiner และ Juang

RIA Davis และ อัล ให้คำแนะนำเพิ่มเติมในบทความนี้

ฉันยังไม่ได้ผ่านการเรียนรู้คณิตศาสตร์อย่างถี่ถ้วน แต่สำหรับฉันแล้ววิธีการของราบิเนอร์ฟังดูมีแนวโน้มมากที่สุดในขณะที่วิธีการของเดวิสดูเหมือนจะขาดรากฐานทางคณิตศาสตร์

หากคุณทำตามคณิตศาสตร์การเพิ่มตัวอย่างการฝึกอบรมเพิ่มเติมหมายถึงการคำนวณวิธีการคำนวณความน่าจะเป็น แทนที่จะรวมเป็นมิติคุณยังสรุปตัวอย่างการฝึกอบรม

หากคุณฝึกอบรมนางแบบรุ่นหลังไม่มีการรับประกันว่า EM จะครอบคลุมในทุกตัวอย่างการฝึกอบรมและคุณจะจบลงด้วยการประเมินที่ไม่ดี

นี่คือกระดาษที่ใช้สำหรับตัวกรองคาลมาน (ซึ่งเป็น HMM ที่มีความน่าจะเป็นแบบเกาส์เซียน) มันจะให้รสชาติของวิธีการแก้ไขโค้ดของคุณเพื่อให้คุณสามารถสนับสนุนตัวอย่างเพิ่มเติมได้

http://ntp-0.cs.ucl.ac.uk/staff/S.Prince/4C75/WellingKalmanFilter.pdf

นอกจากนี้เขายังมีการบรรยายเกี่ยวกับ HMM แต่ตรรกะค่อนข้างตรงไปตรงมา

นี้เป็นมากกว่าการแสดงความคิดเห็นบนกระดาษโดย RIA เดวิสอ้างอิงโดยBittenus (ด้านบน) ฉันจะต้องเห็นด้วยกับ Bittenus มีการสนับสนุนทางคณิตศาสตร์ไม่มากนักที่อยู่เบื้องหลังเทคนิคที่เสนอในบทความ - มันเป็นการเปรียบเทียบเชิงประจักษ์มากกว่า

กระดาษพิจารณาเฉพาะกรณีที่ HMM เป็นทอพอโลยีแบบ จำกัด (ส่งต่อ) (ในกรณีของฉันฉันมีโทโพโลยีมาตรฐานและฉันพบผลลัพธ์ที่สอดคล้องกันมากที่สุดโดยใช้ค่าเฉลี่ยที่ไม่ใช่น้ำหนักของแบบจำลองทั้งหมดที่ผ่านการฝึกอบรมกับ Baum-Welch วิธีการนี้จะกล่าวถึงในกระดาษ แต่อ้างถึงผลเล็กน้อย)

ประเภทของการฝึกอบรมแบบเฉลี่ยอีกรายละเอียดโดย RIA เดวิสในบทความวารสารและใช้ Vitterbi ฝึกอบรมแทนการ Baum-Welch เปรียบเทียบและประเมิน HMM ทั้งมวลขั้นตอนวิธีการฝึกอบรมการใช้รถไฟและการทดสอบและเกณฑ์จำนวนสภาพ อย่างไรก็ตามบทความนี้สำรวจ HMM ด้วยโทโพโลยีแบบ จำกัด การส่งต่อเท่านั้น (ฉันวางแผนที่จะสำรวจวิธีนี้และจะอัปเดตโพสต์นี้ด้วยสิ่งที่ฉันค้นพบ)