โซ่มาร์คอฟคืออะไร?

ขณะนี้ฉันกำลังอ่านบทความเกี่ยวกับก้อนลูกโซ่มาร์คอฟและฉันไม่สามารถเห็นความแตกต่างระหว่างลูกโซ่มาร์คอฟและกราฟถ่วงน้ำหนักแบบกำกับ

ตัวอย่างเช่นในบทความการหาพื้นที่รัฐที่เหมาะสมที่สุดในเครือมาร์คอฟพวกเขาให้คำจำกัดความต่อไปนี้ของ CTMC (ห่วงโซ่มาร์คอฟเวลาต่อเนื่อง):

เราพิจารณา CTMC ที่ จำกัด $(\mathcal{S}, Q)$ กับพื้นที่ของรัฐ $\mathcal{S} = \{x_1, x_2, \ldots, x_n\}$ โดยเมทริกซ์อัตราการเปลี่ยนแปลง $Q: \mathcal{S} \times \mathcal{S} \to \mathbb{R}^+$.

พวกเขาไม่ได้พูดถึงคุณสมบัติมาร์คอฟเลยและในความเป็นจริงถ้าน้ำหนักบนขอบแสดงถึงความน่าจะเป็นฉันเชื่อว่าคุณสมบัติมาร์คอฟถือเป็นเรื่องเล็กน้อยเนื่องจากความน่าจะเป็นขึ้นอยู่กับสถานะปัจจุบันของโซ่เท่านั้นและไม่ใช่เส้นทางที่นำไปสู่ เพื่อมัน

ในบทความอื่น ๆเกี่ยวกับคุณสมบัติเชิงสัมพันธ์ของโซ่ของความสามารถมาร์คอฟLumpabilityถูกกำหนดในทำนองเดียวกัน:

ห่วงโซ่มาร์คอฟ $M$ จะแสดงเป็น triplet $(S, P, \pi)$ ที่ไหน $S$ เป็นชุด จำกัด ของรัฐของ $M$, $P$ เมทริกซ์ความน่าจะเป็นช่วงการเปลี่ยนภาพแสดงความน่าจะเป็นที่จะได้รับจากสถานะหนึ่งไปอีกสถานะหนึ่งและ $\pi$ คือการแจกแจงความน่าจะเป็นเบื้องต้นที่แสดงถึงโอกาสที่ระบบจะเริ่มในสถานะที่แน่นอน

อีกครั้งไม่พูดถึงอดีตหรืออนาคตหรือความเป็นอิสระ

มีกระดาษแผ่นที่สามSimple O (m logn) Time Markov Chain ก้อนที่พวกเขาไม่เพียง แต่ไม่เคยระบุว่าน้ำหนักบนขอบเป็นความน่าจะเป็น แต่พวกเขายังพูดว่า:

ในหลายแอพพลิเคชั่นค่านิยม $W(s, s')$ไม่เป็นลบ อย่างไรก็ตามเราไม่ได้ตั้งสมมติฐานนี้เนื่องจากมีแอปพลิเคชันอยู่ด้วย$W(s, s)$ ถูกเลือกโดยเจตนาว่าเป็น $-W(s, S \setminus \{s\})$ทำให้มักเป็นลบ

ยิ่งไปกว่านั้นมีการระบุว่าการจับก้อนก้อนควรเป็นวิธีในการลดจำนวนรัฐในขณะที่ยังคงคุณสมบัติของมาร์คอฟ (โดยการรวมสถานะ "เทียบเท่า" เข้าสู่สถานะที่ใหญ่กว่า) ถึงกระนั้นสำหรับฉันแล้วดูเหมือนว่ามันเป็นเพียงการสรุปความน่าจะเป็นและไม่ควรรับประกันว่าผลลัพธ์ที่เป็นไปได้ของการเปลี่ยนเป็น / จากสถานะรวมจะอยู่ในช่วง$[0,1]$. ก้อนที่เก็บรักษาไว้จริงๆแล้วคืออะไร?

ดังนั้นมีความเป็นไปได้สองอย่างที่ฉันเห็นคือ:

• ฉันไม่เข้าใจว่าห่วงโซ่มาร์คอฟคืออะไรหรือ
• การใช้คำว่ามาร์คอฟเชนในเอกสารเหล่านั้นเป็นการหลอกลวง

มีคนอธิบายสถานการณ์ได้ไหม

ดูเหมือนว่ามีชุมชนที่แตกต่างกันโดยใช้คำนั้นและพวกเขาหมายถึงสิ่งที่แตกต่างกันอย่างกว้างขวาง จากบทความทั้ง 3 ที่ฉันพิจารณาแล้วดูเหมือนว่าคุณสมบัติของมาร์คอฟนั้นไม่สำคัญหรือไร้ประโยชน์ในขณะที่ดูเอกสารประเภทอื่นที่ดูเหมือนพื้นฐาน

อย่างต่อเนื่องเวลา Markov Chainสามารถแสดงเป็นกราฟกำกับที่มีน้ำหนักขอบที่ไม่ใช่เชิงลบอย่างต่อเนื่อง การแทนค่าเท่ากับน้ำหนักขอบคงที่ของกราฟกำกับด้วย$N$ โหนดเป็น $N \times N$มดลูก มาร์คอฟอสังหาริมทรัพย์ (ที่รัฐอนาคตขึ้นอยู่เฉพาะในสถานะปัจจุบัน) เป็นนัยในน้ำหนักขอบคงที่ (หรือรายการอย่างต่อเนื่องในเมทริกซ์) โดยปริยายหมายโดยนัย นักคณิตศาสตร์ใช้มันเป็นความหมายที่ไพเราะ "คุณควรพิสูจน์ด้วยตัวคุณเอง"

แต่กระดาษแผ่นแรกกำหนดสัญกรณ์ที่สอดคล้องกับห่วงโซ่มาร์คอฟต่อเนื่องบางครั้งเรียกว่ากระบวนการมาร์คอฟในขณะที่กระดาษแผ่นที่สองกำหนดสัญกรณ์ที่สอดคล้องกับโซ่มาร์คอฟแบบไม่ต่อเนื่อง พวกเขาพูดว่า

$P$เป็นเมทริกซ์ความน่าจะเป็นการเปลี่ยนแปลงที่แสดงถึงความน่าจะเป็นที่จะได้รับจากสถานะหนึ่งไปสู่อีกสถานะหนึ่งและ$\pi$คือการแจกแจงความน่าจะเป็นเบื้องต้นที่แสดงถึงความเป็นไปได้ที่ระบบจะเริ่มต้นในสถานะที่แน่นอน [เน้นเพิ่ม]

พวกเขากำลังสันนิษฐานว่าเมทริกซ์คงที่ตลอดเวลา (เช่นนี้หมายถึงคุณสมบัติมาร์คอฟ) ความน่าจะเป็นในระยะโดยนัยคือความจริงที่ว่าค่าคงที่แต่ละค่าอยู่ในช่วง$[0,1]$ว่ารายการในทุกคอลัมน์ของ $P$ รวมเป็น $1$และนั่นคือผลรวมของรายการใน $\pi$ รวมเป็น $1$.

ฉันอ่านกระดาษแผ่นที่สามไม่ได้ หากรายการในทุกคอลัมน์ของเมทริกซ์จำเป็นต้องรวมกับ 1 ดังนั้นความน่าจะเป็นและพวกเขากำลังพูดถึงโซ่มาร์คอฟแบบไม่ต่อเนื่อง หากรายการในทุกคอลัมน์สามารถรวมกับจำนวนโดยพลการรายการจะแสดงอัตราที่ไม่น่าจะเป็นและพวกเขากำลังพูดถึงเครือมาร์คอฟแบบต่อเนื่อง

อย่างต่อเนื่องเวลามาร์คอฟโซ่ไม่ได้เช่นเดียวกับการแยกเวลาโซ่มาร์คอฟ ในความต่อเนื่องเวลา Markov Chain น้ำหนักขอบไม่ได้เป็นตัวแทนความน่าจะเป็น แต่อัตราการเปลี่ยนแปลง น้ำหนักของขอบต้องไม่เป็นลบ แต่สามารถมีขนาดใหญ่โดยพลการและน้ำหนักของขอบนอกสามารถรวมกับจำนวนที่ไม่เป็นลบได้ ผลรวมไม่จำเป็นต้องเป็น$1$.

ด้วย Markov Chains ทั้งแบบต่อเนื่องและแบบไม่ต่อเนื่องคุณสมบัติมาร์คอฟจะบอกเป็นนัยโดยน้ำหนักขอบคงที่ (หรือรายการคงที่ในเมทริกซ์ช่วงการเปลี่ยนภาพ)

มาร์คอฟเชนมีสองรสชาติ: เวลาต่อเนื่องและเวลาไม่ต่อเนื่อง

ทั้งโซ่มาร์คอฟเวลาอย่างต่อเนื่อง (CTMC) และโซ่มาร์คอฟเวลาแบบไม่ต่อเนื่อง (DTMC) จะแสดงเป็นกราฟถ่วงน้ำหนักกำกับ

สำหรับ DTMC การเปลี่ยนภาพจะใช้เวลา "หนึ่งหน่วย" เสมอ ดังนั้นจึงไม่มีทางเลือกว่าน้ำหนักของคุณในอาร์คควรเป็นเท่าไหร่ - คุณใส่ความน่าจะเป็นที่จะไปที่ "เจ" เนื่องจากคุณอยู่ที่ "i"

สำหรับ CTMC's ช่วงเวลาการเปลี่ยนภาพระหว่างสองสถานะจำเป็นต้องได้รับจากตัวแปรสุ่มแบบเอ็กซ์โปเนนเชียล นี่คือความแตกต่างที่สำคัญระหว่าง CTMC และ DTMC: DTMC มีเวลาเปลี่ยนหน่วยเสมอ CTMC มีเวลาการเปลี่ยนแปลงแบบสุ่ม

สำหรับ CTMC โดยทั่วไปแล้วการประชุมจะวางน้ำหนักลงบนส่วนโค้งตามอัตราของตัวแปรสุ่มแบบเอ็กซ์โพเนนเชียลจากแหล่งต้นทางไปยังปลายทาง นั่นคือ - การประชุมคือการวางอัตราในส่วนโค้งไม่ใช่ความน่าจะเป็น

อัตราลบ

แม้ว่า CTMC ทั้งหมดที่ฉันจำได้จะแสดงด้วยอัตราบวกบนขอบ แต่อัตราเชิงลบจะเกิดขึ้นในการวิเคราะห์ CTMC

สมมติว่าเรากำลังยืนอยู่ที่สถานะ A ซึ่งเชื่อมต่อกับ B, C และ D ดังนี้

A -> B (อัตราการเข้าสู่ A จาก B เป็นลบ) A -> C (อัตราการเข้าสู่ A จาก C เป็นลบ) D -> A (อัตราการเข้าสู่ A จาก D เป็นค่าบวก)

นี่อาจไม่ใช่สิ่งที่กระดาษของคุณอ้างถึง ฉันนำมาใช้เพื่อแสดงว่าน้ำหนักเชิงลบไม่จำเป็นต้องไร้สาระถ้ามีคนทำงานกับการประชุมที่เหมาะสม

มาร์คอฟคุณสมบัติ

สำหรับ DTMC's- คุณพูดถูก ทรัพย์สินมาร์คอฟมีความพึงพอใจเล็กน้อย สำหรับ CTMC นั้นคุณสมบัติมาร์คอฟนั้นเป็นที่น่าพอใจเพราะช่วงการเปลี่ยนภาพจะได้รับจากตัวแปรสุ่มแบบเอ็กซ์โปเนนเชียล (ซึ่งเป็น "memoryless") ถ้าช่วงการเปลี่ยนภาพไม่ได้รับจากตัวแปรสุ่มแบบเอ็กซ์โพเนนเชียล (พูดแทนพวกมันเหมือนกัน) เราจะพูดถึง "Semi-Markov Chains" หรือ "Semi-Markov Processes"