Hidden Markov Model เทียบกับ Markov Transition Model เทียบกับ State-Space Model …?


18

สำหรับวิทยานิพนธ์ปริญญาโทของฉันฉันกำลังทำงานเพื่อพัฒนาแบบจำลองทางสถิติสำหรับการเปลี่ยนระหว่างสถานะต่าง ๆ ที่กำหนดโดยสถานะทางเซรุ่มวิทยา สำหรับตอนนี้ฉันจะไม่ให้รายละเอียดมากเกินไปในบริบทนี้เนื่องจากคำถามของฉันเป็นเรื่องทั่วไป / ทางทฤษฎี อย่างไรก็ตามปรีชาญาณของฉันคือฉันควรใช้ Hidden Markov Model (HMM); ปัญหาที่ฉันเจอในขณะที่ฉันอ่านวรรณกรรมและการวิจัยพื้นฐานอื่น ๆ ที่จำเป็นในการสร้างแบบจำลองของฉันคือความสับสนเกี่ยวกับคำศัพท์และความแตกต่างที่แน่นอนระหว่างแบบจำลองกระบวนการที่ซ่อนอยู่ประเภทต่างๆ ฉันเพียง แต่ตระหนักถึงสิ่งที่แตกต่างอย่างชัดเจน (ตัวอย่างมา) ยิ่งกว่านั้นฉันคิดว่าอย่างน้อยจากสิ่งที่ฉันได้เห็นในวรรณคดีมีคำศัพท์ที่ไม่ได้มาตรฐานที่สร้างขึ้นจากการสร้างแบบจำลองนี้

ดังนั้นฉันหวังว่าผู้คนจะช่วยให้ฉันเข้าใจคำศัพท์บางส่วนให้ฉันได้ ฉันมีคำถามจำนวนหนึ่ง แต่ฉันเดาว่าเป็นหนึ่งหรือสองคนได้รับคำตอบที่น่าพอใจส่วนที่เหลือจะกลายเป็น disentangled ฉันหวังว่านี่จะไม่ยืดยาวเกินไป หากผู้ดำเนินรายการต้องการให้ฉันแยกส่วนนี้ออกเป็นหลายโพสต์ ไม่ว่าในกรณีใดฉันใส่คำถามตัวหนาแล้วตามด้วยรายละเอียดของคำถามที่ฉันค้นพบระหว่างการค้นหาวรรณกรรม

ดังนั้นในลำดับที่ไม่มี:

1) "รูปแบบกระบวนการที่ซ่อนอยู่" คืออะไร?

ฉันทำงานภายใต้ความประทับใจว่า "แบบจำลองกระบวนการซ่อนเร้น" เป็นคำศัพท์ในร่มที่สามารถใช้อธิบายแบบจำลองทางสถิติหลายประเภทคำอธิบายความน่าจะเป็นทั้งหมดของข้อมูลอนุกรมเวลาที่สร้างขึ้นโดย "ระบบการซ้อนทับกัน" อาจซ่อนกระบวนการเชิงเส้น "([1]) อันที่จริง [2] กำหนด "แบบจำลองกระบวนการซ่อนเร้น" เป็น "คำทั่วไปหมายถึงทั้งแบบพื้นที่รัฐหรือแบบจำลองมาร์คอฟที่ซ่อนอยู่" [1] ดูเหมือนจะอนุมานได้ว่าแบบจำลองของมาร์คอฟที่ซ่อนอยู่เป็นรูปแบบย่อยของแบบจำลองกระบวนการที่ซ่อนไว้ซึ่งมุ่งเน้นไปที่การอนุมานในสถานะไบนารี ความหมายพื้นฐานดูเหมือนว่าสำหรับฉันว่าโมเดลกระบวนการที่ซ่อนอยู่เป็นลักษณะทั่วไปของโมเดลมาร์คอฟที่ซ่อนอยู่ บางครั้งฉันเห็น "แบบจำลองกระบวนการที่ซ่อนอยู่" และวลี "

สัญชาตญาณในส่วนของฉันนี้ถูกต้องหรือไม่? ถ้าไม่มีใครมีการอ้างอิงที่ชัดเจนกว่าวิธีการเหล่านี้หรือไม่

2) อะไรคือความแตกต่างระหว่าง Hidden Markov Model กับแบบจำลองพื้นที่รัฐ?

กลับไปที่ [2] อีกครั้ง (ถ้าเพียงเพราะกระดาษมาพร้อมกับอภิธานศัพท์ที่ชัดเจนไม่ใช่เพราะกระดาษดูเหมือนว่าจะมีอำนาจโดยเฉพาะอย่างยิ่งมันเป็นเพียงแหล่งที่มาสะดวกของคำนิยามหนึ่งประโยค) ความแตกต่างน่าจะเป็นที่ Hidden Markov Model เป็นรูปแบบเฉพาะของแบบจำลองพื้นที่รัฐซึ่งรัฐเป็น Markovian (ดูเหมือนจะไม่มีข้อ จำกัด ที่แน่นอนสำหรับกระบวนการ Markov; เช่นลำดับแรก, ... , ลำดับ kth) ที่นี่แบบจำลองพื้นที่รัฐถูกกำหนดเป็น "แบบจำลองที่รันสองอนุกรมเวลาในแบบคู่ขนานหนึ่งจับภาพแบบไดนามิกของรัฐที่แท้จริง (แฝง) และอื่น ๆ ประกอบด้วยการสังเกตที่ทำจากพื้นฐานเหล่านี้ หากรัฐเหล่านั้นแสดงคุณสมบัติมาร์คอฟแล้วก็เป็นโมเดลมาร์คอฟที่ซ่อนอยู่

อย่างไรก็ตาม [3] กำหนดความแตกต่างระหว่างแบบจำลองพื้นที่รัฐและแบบจำลองซ่อนมาร์คอฟว่าสัมพันธ์กับลักษณะของสถานะแฝง ที่นี่ Hidden Markov Model เกี่ยวข้องกับรัฐที่ไม่ต่อเนื่องในขณะที่โมเดลพื้นที่ของรัฐจัดการกับรัฐต่อเนื่อง มิฉะนั้นพวกเขาจะมีแนวคิดเหมือนกัน

ฉันคิดว่ามันเป็นคำจำกัดความที่แตกต่างกันสองอย่าง ภายใต้หนึ่งรูปแบบที่ซ่อนของมาร์คอฟเป็นรูปแบบย่อยของแบบจำลองพื้นที่รัฐในขณะที่ภายใต้รูปแบบอื่นนั้นทั้งสองเป็นเพียงอินสแตนซ์ที่แตกต่างกันของคลาสที่กว้างขึ้นของโมเดลกระบวนการที่ซ่อน ข้อใดถูกต้อง สัญชาตญาณของฉันชี้ให้ฉันทำตาม [3] ซึ่งตรงข้ามกับ [2] แต่ฉันไม่พบแหล่งข้อมูลที่เชื่อถือได้ซึ่งสนับสนุนสิ่งนี้

3) "โมเดลการเปลี่ยนแปลงของมาร์คอฟ" คืออะไร?

อีกคำที่เกิดขึ้นในหลายแหล่งคือ "โมเดลการเปลี่ยนแปลงของมาร์คอฟ" ฉันไม่สามารถค้นหาวลีนี้ในหนังสือเรียนใด ๆ ได้ แต่มันปรากฏในบทความวารสารมากมาย (เพียงแค่เสียบเข้ากับ Google เพื่อยืนยัน) ฉันไม่สามารถค้นหาคำจำกัดความที่เข้มงวดของกระดาษได้ (กระดาษทุกแผ่นที่ฉันค้นหาอ้างอิงอีกกระดาษหนึ่งซึ่งอ้างอิงอีก ฯลฯ ส่งฉันลงไปที่หลุมกระต่าย PubMed ที่นำไปสู่ไม่มีสติ) ความประทับใจของฉันจากบริบทคือมันเป็นคำทั่วไปมากที่อ้างถึงโมเดลใด ๆ ที่วัตถุของการอนุมานคือการเปลี่ยนระหว่างสถานะที่เป็นไปตามกระบวนการมาร์คอฟและรูปแบบการซ่อนมาร์คอฟอาจได้รับการพิจารณาเป็นรูปแบบเฉพาะของมาร์คอฟ . [4] อย่างไรก็ตามดูเหมือนว่าจะใช้โมเดลการเปลี่ยนแบบซ่อนมาร์คอฟและอีกหลายคำที่คล้ายกันแทนกัน

ในทางกลับกัน [5] พูดถึงโมเดลการเปลี่ยนแปลงของมาร์คอฟและโมเดลมาร์คอฟที่ซ่อนแตกต่างกันเล็กน้อย ผู้เขียนกล่าวว่า: "แบบจำลองการเปลี่ยนผ่านมีวิธีการสรุปการเปลี่ยนแปลงของผู้ตอบซึ่งมีประโยชน์สำหรับการตีความผลลัพธ์จากแบบจำลองมาร์คอฟที่ซับซ้อนยิ่งขึ้น" ฉันไม่เข้าใจว่าพวกเขาหมายถึงอะไรในวลีนี้และไม่สามารถหาข้ออ้างได้ในบทความอื่น อย่างไรก็ตามพวกเขาดูเหมือนว่าโมเดลการเปลี่ยนแปลงของมาร์คอฟใช้เวลาเป็นตัวแปรต่อเนื่องในขณะที่โมเดลมาร์คอฟที่ซ่อนใช้เวลาเป็นตัวแปรที่ไม่ต่อเนื่อง (พวกเขาไม่ได้พูดแบบนี้โดยตรงพวกเขากล่าวว่าพวกเขาใช้ รุ่นและรุ่นที่ใหม่กว่าอธิบายว่า 'msm' เป็นการใช้เวลาอย่างต่อเนื่องในทางตรงกันข้ามกับแพ็คเกจ R สำหรับ HMM)

4) แนวคิดอื่น ๆ เช่น Dynamic Bayesian Networks ตรงกับที่ใด

ตามที่ Wikipedia เครือข่ายแบบไดนามิก Bayesian เป็น "ลักษณะทั่วไปของรุ่นมาร์คอฟที่ซ่อนอยู่และตัวกรองคาลมาน" ที่อื่นฉันได้เห็นแบบจำลองมาร์คอฟที่ซ่อนอยู่ซึ่งถูกกำหนดเป็นกรณีพิเศษของ Dynamic Bayesian Network "ซึ่งรัฐทั้งโลกถูกแทนด้วยตัวแปรสถานะเดียวที่ซ่อนอยู่" ( นิยามของระบบ Bayesian แบบไดนามิกและความสัมพันธ์กับ HMM? ) . ฉันเข้าใจความสัมพันธ์นี้เป็นอย่างดีและอธิบายได้โดย [6]

อย่างไรก็ตามฉันมีเวลายากที่จะเข้าใจว่าความสัมพันธ์นี้เหมาะสมกับภาพของสิ่งต่าง ๆ ได้กว้างขึ้น นั่นคือจากความสัมพันธ์นี้ระหว่าง HMM และ DBNs แบบจำลองพื้นที่ของรัฐและโมเดลกระบวนการที่ซ่อนอยู่เกี่ยวข้องกับทั้งสองได้อย่างไร วิธีการที่แตกต่างกันทั้งหมดเหล่านี้มีความสัมพันธ์กันอย่างไรในเมื่อดูเหมือนจะมี "ภาพรวม" ของโมเดล Markov ที่ซ่อนอยู่หลายตัว


อ้างอิง:

[1] Tom M. Mitchell, รีเบคก้าฮัทชินสัน, Indrayana Rustandi "แบบจำลองกระบวนการซ่อนเร้น" 2549. CMU-CALD-05-116 มหาวิทยาลัยคาร์เนกี้เมลลอน

[2] Oliver Giminez, Jean-Dominique Lebreton, Jean-Michel Gaillard, Remi Choquet, Roger Pradel "การประมาณค่าพารามิเตอร์ทางประชากรโดยใช้ตัวแบบไดนามิกของกระบวนการที่ซ่อนอยู่" ชีววิทยาประชากรทฤษฎี 2555 82 (4): 307-316

[3] บาร์บาร่าเอนเกลฮาร์ด "โมเดลมาร์คอฟที่ซ่อนอยู่และโมเดลอวกาศของรัฐ" STA561: การเรียนรู้ของเครื่องที่น่าจะเป็น มหาวิทยาลัยดุ๊ก http://www.genome.duke.edu/labs/engelhardt/courses/scribe/lec_09_25_2013.pdf

[4] Jeroen K. Vermunt "การสร้างแบบจำลองมาร์คอฟแฝงหลายระดับในเวลาต่อเนื่องกับการประยุกต์ใช้ในการวิเคราะห์ข้อมูลการประเมินอารมณ์ผู้ป่วยนอก" การประชุมเชิงปฏิบัติการสถิติสังคม 2555 มหาวิทยาลัย Tilburg http://www.lse.ac.uk/statistics/events/SpecialEventsandConferences/LSE2013-Vermunt.pdf

[5] Ken Richardson, David Harte, Kristie Carter "การทำความเข้าใจเรื่องสุขภาพและการเปลี่ยนกำลังแรงงาน: การใช้โมเดลของมาร์คอฟกับข้อมูลระยะยาวของ SoFIE" ชุดวิจัยสถิติอย่างเป็นทางการ 2012

[6] Zoubin Ghahramani "บทนำสู่โมเดลมาร์คอฟที่ซ่อนอยู่และเครือข่ายแบบเบย์" วารสารการจดจำรูปแบบและปัญญาประดิษฐ์ 2001. 15 (1): 9-42


คุณอาจต้องการลองใช้เครือข่ายประสาทกำเริบ ในการรู้จำเสียงผู้ใช้บางคนใช้แทน HMM ได้สำเร็จ
อัลเบิร์ต

ขอบคุณสำหรับคำแนะนำ ในขณะนี้ฉันต้องการอธิบายคำถามของฉันเกี่ยวกับเทคนิคเหล่านี้ก่อนที่จะเรียนต่อใหม่
Ryan Simmons

พวกเขาอ้างถึงสิ่งเดียวกัน โปรดดูscholarpedia.org/article/State_space_model Sangdon

2
@ Ryan Simmons ฉันคิดว่ามันเป็นความคิดที่ดีที่จะดูวิดีโอ mathmonk (หรือที่รู้จักในนาม Jeffrey Miller) เกี่ยวกับโซ่มาร์คอฟและโมเดลมาร์คอฟที่ซ่อนอยู่ใน youtube
JimBoy

เนื่องจากคุณอาจส่งวิทยานิพนธ์ของคุณในตอนนี้คุณสนใจที่จะตอบคำถามนี้ด้วยตัวเองหรือไม่? ฉันต้องการคำตอบจากผู้เชี่ยวชาญที่นี่ซึ่งอาจนำไปใช้กับคนอื่นเกือบ 800 คนที่อ่านคำถามนี้
Ulf Aslak

คำตอบ:


4

ข้อความต่อไปนี้มาจากเว็บไซต์ Scholarpedia :

โมเดลสภาวะอวกาศ (SSM) หมายถึงคลาสของโมเดลกราฟิกความน่าจะเป็น (Koller และ Friedman, 2009) ที่อธิบายถึงการพึ่งพาความน่าจะเป็นระหว่างตัวแปรสถานะแฝงและการวัดที่สังเกตได้ สถานะหรือการวัดสามารถเป็นแบบต่อเนื่องหรือไม่ต่อเนื่องก็ได้ คำว่า "พื้นที่ของรัฐ" มีต้นกำเนิดในปี 1960 ในสาขาวิศวกรรมควบคุม (Kalman, 1960) SSM จัดทำกรอบทั่วไปสำหรับการวิเคราะห์ระบบพลวัตที่กำหนดขึ้นและสุ่มสุ่มตัวอย่างที่วัดหรือสังเกตผ่านกระบวนการสุ่ม กรอบ SSM ได้ถูกนำไปใช้อย่างประสบความสำเร็จในงานวิศวกรรมสถิติวิทยาการคอมพิวเตอร์และเศรษฐศาสตร์เพื่อแก้ปัญหาระบบพลวัตที่หลากหลาย คำศัพท์อื่น ๆ ที่ใช้อธิบาย SSM เป็นโมเดล Markov (HMM) ที่ซ่อนอยู่ (Rabiner, 1989) และแบบจำลองกระบวนการซ่อนเร้น SSM ที่มีการศึกษาดีที่สุดคือตัวกรองคาลมาน


3

ฉันและอลันฮอว์คส์ได้เขียนเกี่ยวกับกระบวนการมาร์คอฟที่รวมตัวกันอย่างมากกับสถานะที่ไม่ต่อเนื่องในเวลาต่อเนื่อง สิ่งที่เราได้รับเกี่ยวกับปัญหาการตีความการสังเกตของโมเลกุลช่องทางไอออนเดี่ยวและรวมถึงการรักษาเหตุการณ์สั้นที่ไม่ได้รับแน่นอน ทฤษฎีที่คล้ายกันทำงานในทฤษฎีความน่าเชื่อถือด้วย มันอาจถูกปรับให้เข้ากับปัญหาอื่น ๆ ดูhttp://www.onemol.org.uk/?page_id=175สำหรับการอ้างอิง

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.