ความแตกต่างระหว่างโมเดล Markov ที่ซ่อนอยู่กับตัวกรองอนุภาค (และตัวกรองคาลมาน)


21

นี่คือคำถามเก่าของฉัน

ฉันอยากถามว่ามีใครรู้ถึงความแตกต่าง (ถ้ามีความแตกต่างใด ๆ ) ระหว่าง Hidden Markov models (HMM) และ Particle Filter (PF) หรือไม่และเป็นผลจาก Kalman Filter หรือในกรณีที่เราใช้อัลกอริทึมใด ฉันเป็นนักเรียนและฉันต้องทำโครงการ แต่ก่อนอื่นฉันต้องเข้าใจบางสิ่ง

ดังนั้นตามบรรณานุกรมทั้งสองรัฐอวกาศรุ่นรวมทั้งที่ซ่อนอยู่ (หรือแฝงหรือสังเกต) รัฐ ตามที่ Wikipedia (Hidden_Markov_model)ใน HMM พื้นที่สถานะของตัวแปรที่ซ่อนอยู่นั้นไม่ต่อเนื่องในขณะที่การสังเกตตัวเองสามารถแยกออกจากกัน (โดยทั่วไปจะเกิดจากการกระจายแบบแบ่งหมวดหมู่) หรือต่อเนื่อง (โดยทั่วไปมาจากการแจกแจงแบบเกาส์) โมเดลมาร์คอฟที่ซ่อนยังสามารถวางนัยเพื่ออนุญาตให้มีพื้นที่ของรัฐอย่างต่อเนื่อง ตัวอย่างของแบบจำลองเหล่านั้นคือสิ่งที่กระบวนการมาร์คอฟเหนือตัวแปรที่ซ่อนอยู่เป็นระบบพลวัตเชิงเส้นที่มีความสัมพันธ์เชิงเส้นระหว่างตัวแปรที่เกี่ยวข้องและที่ที่ตัวแปรที่ซ่อนอยู่ ในกรณีง่าย ๆ เช่นระบบพลวัตเชิงเส้นที่กล่าวถึงการอนุมานที่แน่นอนนั้นง่ายต่อการใช้งาน (ในกรณีนี้ใช้ตัวกรองคาลมาน); อย่างไรก็ตามโดยทั่วไปการอนุมานที่แน่นอนใน HMMs ที่มีตัวแปรแฝงต่อเนื่องเป็นไปไม่ได้และต้องใช้วิธีการโดยประมาณ

แต่สำหรับฉันมันค่อนข้างสับสน ... ในคำง่ายๆนี้หมายถึงการติดตาม (จากการวิจัยเพิ่มเติมที่ฉันได้ทำไป):

  • ใน HMM พื้นที่รัฐสามารถเป็นได้ทั้งที่ไม่ต่อเนื่องหรือต่อเนื่อง นอกจากนี้ยังมีข้อสังเกตที่ตัวเองสามารถเป็นได้ทั้งที่ไม่ต่อเนื่องหรือต่อเนื่อง นอกจากนี้ HMM ยังเป็นระบบพลวัตเชิงเส้นและแบบเกาส์เซียน
  • ใน PF พื้นที่รัฐสามารถเป็นได้ทั้งที่ไม่ต่อเนื่องหรือต่อเนื่อง นอกจากนี้ยังมีข้อสังเกตที่ตัวเองสามารถเป็นได้ทั้งที่ไม่ต่อเนื่องหรือต่อเนื่อง แต่ PF เป็นระบบพลวัตที่ไม่ใช่เชิงเส้น (และไม่ใช่แบบเกาส์?) (นั่นคือความแตกต่างหรือไม่?)
  • ตัวกรองคาลมาน (ดูเหมือนว่าเหมือนกันกับฉันอย่าง HMM) จะถูกใช้เมื่อเรามีระบบพลศาสตร์เชิงเส้นและแบบเกาส์เซียน

นอกจากนี้ฉันจะรู้ได้อย่างไรว่าอัลกอริธึมที่จะเลือกเพราะฉันทั้งหมดเหล่านี้ดูเหมือนกัน ... นอกจากนี้ฉันยังพบกระดาษ (ไม่ใช่ภาษาอังกฤษ) ซึ่งบอกว่า PF แม้ว่าจะมีข้อมูลเชิงเส้น (ตัวอย่างเช่นข้อมูลดิบจากเซ็นเซอร์ -chinect ซึ่งรับรู้การเคลื่อนไหว) ระบบพลวัตสามารถไม่ใช่เชิงเส้น เกิดขึ้นได้ไหม? ถูกต้องหรือไม่ อย่างไร?

สำหรับการรู้จำท่าทางผู้วิจัยสามารถใช้ทั้ง HMM หรือ PF แต่พวกเขาไม่ได้อธิบายว่าทำไมพวกเขาเลือกอัลกอริทึมแต่ละอัน ... ไม่มีใครรู้ว่าฉันสามารถช่วยแยกอัลกอริธึมเหล่านี้ให้เข้าใจความแตกต่างของพวกเขาได้อย่างไร

ฉันขอโทษถ้าคำถามของฉันใหญ่เกินไปหรือบางส่วนไร้เดียงสา แต่ฉันไม่พบคำตอบที่น่าเชื่อและเป็นวิทยาศาสตร์ ขอบคุณมากสำหรับเวลาของคุณ!

นี่คือคำถามใหม่ของฉัน (ตามความช่วยเหลือของ @ conjugateprior)

ดังนั้นเมื่ออ่านเพิ่มเติมฉันต้องการอัปเดตบางส่วนของความคิดเห็นก่อนหน้าของฉันและเพื่อให้แน่ใจว่าฉันเข้าใจเพิ่มเติมว่าเกิดอะไรขึ้นอีกเล็กน้อย

  • อีกครั้งในคำง่าย ๆ ร่มคือเครือข่ายแบบไดนามิกเบย์ภายใต้รูปแบบของHMMและพื้นที่ของรัฐจะรวมอยู่ (คลาสย่อย) ( http://mlg.eng.cam.ac.uk.z/zoubin/papers/ijprai.pdf )
  • นอกจากนี้ความแตกต่างครั้งแรกระหว่าง 2 รุ่นคือว่าใน HMM รัฐตัวแปรที่ซ่อนอยู่จะไม่ต่อเนื่องในขณะที่การสังเกตสามารถเป็นได้ทั้งที่ไม่ต่อเนื่องหรือต่อเนื่อง ใน PF ตัวแปรรัฐที่ซ่อนอยู่อย่างต่อเนื่อง (มูลค่าจริงเวกเตอร์รัฐซ่อน) และการสังเกตมีการกระจายแบบเกาส์
  • นอกจากนี้ตาม @conjugateprior แต่ละรุ่นมี 3 งานต่อไปนี้: การกรองการทำให้เรียบและการทำนาย ในการกรองแบบจำลอง HMM ใช้สำหรับตัวแปรสถานะที่ไม่ต่อเนื่องของวิธีการส่งต่ออัลกอริทึมพื้นที่ของรัฐใช้สำหรับตัวแปรต่อเนื่องและระบบไดนามิกเชิงเส้นที่ตัวกรองคาลมานเป็นต้น
  • แต่อืมยังสามารถทั่วไปที่จะอนุญาตให้ช่องว่างของรัฐอย่างต่อเนื่อง
  • ด้วยส่วนขยายของ HMM เหล่านี้ดูเหมือนว่าทั้งสองรุ่นจะมีแนวคิดที่เหมือนกัน (ดังที่กล่าวไว้ในHidden Markov Model และ Markov Transition Model กับ State-Space Model ... ? )

ฉันคิดว่าฉันใช้คำศัพท์ที่แม่นยำกว่านี้เล็กน้อย แต่ทุกอย่างยังไม่ชัดเจนสำหรับฉัน ใครช่วยอธิบายให้ฉันเห็นความแตกต่างระหว่างแบบจำลอง HMM กับ State Spaceคืออะไร

เพราะฉันไม่สามารถหาคำตอบที่ตรงกับความต้องการของฉันจริงๆ

ขอบคุณอีกครั้ง!


1
หากห้องสมุดของโรงเรียนของคุณมีหนังสือเล่มนี้: crcpress.com/Time-Series-Modeling-Computation-and-Inference/ ......ฉันจะดูมัน การอธิบายหัวข้อทั้งสามนั้นทำได้ดีซึ่งฉันอาจกล่าวถึงนั้นเป็นสามหัวข้อที่แตกต่างกันมาก

ฉันเพิ่งตรวจสอบว่าห้องสมุดไม่มีหนังสือเล่มนี้โชคไม่ดี .. ดังนั้นถ้าคุณสามารถส่งส่วนที่คุณเชื่อว่าตอบคำถามของฉันหรือช่วยฉันในการแยกหัวข้อเหล่านี้มันจะดีมาก! :)
user5584748

คำตอบ:


15

มันจะมีประโยชน์ในการแยกแยะรูปแบบจากการอนุมานที่คุณต้องการทำเพราะตอนนี้คำศัพท์มาตรฐานผสมทั้งสอง

รูปแบบที่เป็นส่วนหนึ่งที่คุณระบุลักษณะของ: พื้นที่ที่ซ่อนอยู่ (ไม่ต่อเนื่องหรือต่อเนื่อง), การเปลี่ยนแปลงของรัฐที่ซ่อนอยู่ (เชิงเส้นหรือไม่เชิงเส้น) ลักษณะของการสังเกต (ปกติเงื่อนไขพหุนามหรือปกติ) และรูปแบบการวัดการเชื่อมต่อ สถานะที่ซ่อนอยู่กับข้อสังเกต HMM และโมเดลพื้นที่ของรัฐเป็นข้อมูลจำเพาะของโมเดลสองชุดดังกล่าว

เสื้อเสื้อ

ในสถานการณ์ที่รัฐเป็นแบบต่อเนื่องพลวัตของรัฐและการวัดเชิงเส้นและสัญญาณรบกวนทั้งหมดเป็นปกติตัวกรองคาลมานจะทำงานได้อย่างมีประสิทธิภาพ อะนาล็อกเมื่อสถานะไม่ต่อเนื่องคืออัลกอริทึมการส่งต่อ ในกรณีที่มีความไม่ธรรมดาและ / หรือไม่เป็นเชิงเส้นเรากลับไปที่ตัวกรองโดยประมาณ มีการประมาณค่าที่กำหนดขึ้นเช่นตัวกรองคาลมานแบบขยายหรือไม่กำหนดและมีการประมาณแบบสุ่มซึ่งรู้จักกันดีว่าเป็นตัวกรองอนุภาค

ความรู้สึกทั่วไปน่าจะเป็นที่ไม่สามารถหลีกเลี่ยงเส้นตรงในสถานะหรือชิ้นส่วนการวัดหรือไม่ทั่วไปในการสังเกต (สถานการณ์ปัญหาทั่วไป) หนึ่งพยายามหลีกเลี่ยงการประมาณที่ถูกที่สุดที่เป็นไปได้ ดังนั้น EKF จากนั้น UKF ตามด้วย PF

วรรณกรรมบนตัวกรองคาลมานที่ไม่ได้เซนไทน์มักจะมีการเปรียบเทียบสถานการณ์บางอย่างเมื่อมันอาจทำงานได้ดีกว่าตัวกรองคาลมานแบบขยายเชิงเส้นแบบดั้งเดิม

ตัวกรองอนุภาคมีความสมบูรณ์โดยทั่วไป - ไม่ใช่เชิงเส้นใด ๆ , การกระจายใด ๆ - แต่ในประสบการณ์ของฉันจำเป็นต้องมีการปรับจูนอย่างระมัดระวัง ในหลาย ๆ สถานการณ์มันเป็นตัวเลือกเดียว

สำหรับการอ่านเพิ่มเติม: ฉันชอบ ch.4-7 ของการกรองและการปรับให้เรียบแบบ Bayesian ของSärkkäถึงแม้ว่ามันจะค่อนข้างสั้น ผู้เขียนทำมีสำเนาออนไลน์สำหรับการใช้งานส่วนตัว มิฉะนั้นหนังสือชุดเวลาของรัฐส่วนใหญ่จะครอบคลุมเนื้อหานี้ สำหรับการกรองอนุภาคมี Doucet และคณะ แต่ฉันเดาว่ามันค่อนข้างเก่าแล้ว บางทีคนอื่นอาจชี้ให้เห็นการอ้างอิงที่ใหม่กว่า


ก่อนอื่นขอบคุณมากสำหรับคำตอบของคุณ โปรดตรวจสอบว่าฉันได้แก้ไขคำถามข้างต้นเพื่อให้สอดคล้องและถูกต้องมากขึ้นกับคำศัพท์ ฉันยังใช้ถ้อยคำใหม่ทั้งคำถาม
user5584748

ในการเขียนใหม่ของคุณมันไม่เป็นความจริงเลยที่ "ใน PF ตัวแปรสถานะที่ซ่อนอยู่นั้นมีความต่อเนื่อง (เวกเตอร์สถานะซ่อนเร้นที่มีค่าจริง) และการสังเกตมีการแจกแจงแบบเกาส์" PF เป็นตัวกรอง โมเดลที่เป็นตัวกรองจะต้องมีพื้นที่ของรัฐอย่างต่อเนื่อง (มีโครงสร้าง Markovian บางส่วนหรืออื่น ๆ ) แต่ไม่มีข้อ จำกัด : การกระจายใด ๆ พลศาสตร์ใด ๆ และกระบวนการวัดใด ๆ
ผัน

ตัวอย่างเช่นคุณสามารถใช้ PF เพื่อกรองแบบจำลองพื้นที่รัฐเชิงเส้นเกาส์เชิงเส้นสามัญ มันจะทำงานได้ดี คุณไม่จำเป็นต้องทำเพราะตัวกรองคาลมานนั้นแน่นอน
conjugateprior

4
"ความแตกต่างระหว่างแบบจำลอง HMM กับ State Space คืออะไร" โดยทั่วไป: โดยการประชุม HMM มีสถานะที่ไม่ต่อเนื่อง นอกจากนี้ตามแบบแผนแล้ว 'แบบจำลองพื้นที่ของรัฐ' แสดงถึงสิ่งต่าง ๆ ด้วยสถานะต่อเนื่อง
ผัน

ขอบคุณมาก! ดังนั้นความแตกต่างนี้เกิดขึ้นจากการประชุม (และอ้างอิงจากบรรณานุกรม) แต่โดยทั่วไปเราสามารถเลือกรูปแบบที่เราต้องการ ถูกต้องหรือไม่ แบบจำลองที่ฉันเลือกจะขึ้นอยู่กับว่าฉันจะได้ผลลัพธ์ที่ดีกว่าหรือไม่
user5584748
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.