คุณเห็นโซ่มาร์คอฟลดลงได้อย่างไร?

ฉันมีปัญหาบางอย่างในการทำความเข้าใจกับคุณสมบัติของโซ่มาร์คอฟที่ลดลงไม่ได้

ลดไม่ได้กล่าวกันว่าหมายความว่ากระบวนการสุ่มสามารถ "ไปจากรัฐใด ๆ ไปยังรัฐใด ๆ "

แต่สิ่งที่กำหนดว่ามันจะไปจากรัฐไปยังรัฐหรือไม่ไป?$i$$j$

---

หน้าวิกิพีเดียให้ formalization นี้:

รัฐคือสามารถเข้าถึงได้ (เขียน ) จากรัฐถ้ามีอยู่จำนวนเต็ม ST $j$$i\rightarrow j$$i$$n_{ij}>0$

$$P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0$$

แล้วการสื่อสารคือถ้าและฉัน$i\rightarrow j$$j \rightarrow i$

จากการลดลงไม่ได้ดังต่อไปนี้อย่างใด

ต่อไปนี้เป็นสามตัวอย่างสำหรับเมทริกซ์การเปลี่ยนแปลงสองตัวแรกสำหรับกรณีที่ลดได้และสุดท้ายสำหรับตัวอย่างที่ไม่สามารถลดได้

$$\begin{eqnarray*} P_1 &=& \left( \begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array} \right) \\\\ P_2 &=& \left( \begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1% \end{array} \right) \end{eqnarray*}$$ สำหรับ $P_1$เมื่อคุณอยู่ในสถานะ 3 หรือ 4 คุณจะอยู่ที่นั่นและเหมือนกันสำหรับสถานะ 1 และ 2 ไม่มีวิธีใดที่จะได้รับจากสถานะ 1 ถึงสถานะ 3 หรือ 4 ตัวอย่างเช่น

สำหรับ $P_2$คุณสามารถไปยังสถานะใด ๆ จากสถานะ 1 ถึง 3 แต่เมื่อคุณอยู่ในสถานะ 4 คุณจะอยู่ที่นั่น

$$P_3=\left( \begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0% \end{array} \right)$$ สำหรับตัวอย่างนี้คุณอาจเริ่มต้นในสถานะใดก็ได้และยังสามารถเข้าถึงสถานะอื่น ๆ ได้แม้ว่าจะไม่จำเป็นต้องทำในขั้นตอนเดียว

รัฐ $j$ ถูกกล่าวว่าสามารถเข้าถึงได้จากรัฐ $i$ (แสดงโดยปกติ $i \to j$) หากมีอยู่บ้าง $n\geq 0$ ดังนั้น:

$$p^n_{ij}=\mathbb P(X_n=j\mid X_0=i) > 0$$ นั่นคือหนึ่งสามารถได้รับจากรัฐ $i$ เพื่อรัฐ $j$ ใน $n$ ขั้นตอนที่มีความน่าจะเป็น $p^n_{ij}$.

ถ้าทั้งคู่ $i\to j$ และ $j\to i$ ถือเป็นจริงแล้วรัฐ $i$ และ $j$ สื่อสาร (มักเขียนโดย $i\leftrightarrow j$) ดังนั้นห่วงโซ่มาร์คอฟจึงลดลงไม่ได้หากแต่ละรัฐสื่อสารกัน

ปล่อย $i$ และ $j$เป็นสองสถานะที่แตกต่างของเครือมาร์คอฟ หากมีความเป็นไปได้ในเชิงบวกสำหรับกระบวนการที่จะออกจากรัฐ$i$ เพื่อระบุ $j$ไม่ว่าจะเป็นกี่ก้าวก็ตาม (พูด 1, 2, 3$\cdots$) จากนั้นเราก็บอกว่ารัฐนั้น $j$ สามารถเข้าถึงได้จากรัฐ $i$.

น่าสังเกตเราแสดงสิ่งนี้เป็น $i\rightarrow j$. ในแง่ของความน่าจะเป็นจะแสดงดังต่อไปนี้: สถานะ$j$ สามารถเข้าถึงได้จากรัฐ $i$ถ้ามีจำนวนเต็ม $m>0$ ดังนั้น $p_{ij}^{(m)}>0$.

ในทำนองเดียวกันเราพูดอย่างนั้น $j\rightarrow i$ถ้ามีจำนวนเต็ม $n>0$ ดังนั้น $p_{ji}^{(n)}>0$.

ตอนนี้ถ้าทั้งคู่ $i\rightarrow j$ และ $j\rightarrow i$ เป็นความจริงจากนั้นเราบอกว่ารัฐ $i$ และ $j$ สื่อสารซึ่งกันและกันและจะแสดงออกอย่างไม่เป็นทางการว่า $i \leftrightarrow j$. ในแง่ของความน่าจะเป็นนี่หมายความว่ามีจำนวนเต็มสองตัว$m>0,\;\; n>0$ ดังนั้น $p_{ij}^{(m)}>0$ และ $p_{ji}^{(n)}>0$.

หากทุกรัฐในเครือมาร์คอฟอยู่ในชั้นเรียนการสื่อสารที่ปิดหนึ่งชั้นโซ่นั้นเรียกว่าห่วงโซ่มาร์คอฟที่ลดทอนไม่ได้ การลดทอนไม่ได้เป็นทรัพย์สินของห่วงโซ่

ในกระบวนการมาร์คอฟแบบลดทอนไม่ได้กระบวนการสามารถเปลี่ยนจากสถานะใด ๆ ไปเป็นสถานะใดก็ได้ไม่ว่าจะเป็นจำนวนขั้นตอนที่ต้องการ

คำตอบที่มีอยู่บางส่วนดูเหมือนจะไม่ถูกต้องสำหรับฉัน

ตามที่อ้างถึงในกระบวนการ Stochasticโดย J. Medhi (หน้า 79 ฉบับที่ 4) โซ่มาร์คอฟลดลงถ้าไม่มีส่วนย่อย 'ปิด' ที่เหมาะสมนอกเหนือจากพื้นที่ของรัฐ

ดังนั้นหากในเมทริกซ์ความน่าจะเป็นการเปลี่ยนผ่านของคุณมีสถานะย่อยที่คุณไม่สามารถ 'เข้าถึง' (หรือเข้าถึง) สถานะอื่นใดนอกเหนือจากสถานะเหล่านั้นดังนั้นโซ่มาร์คอฟจึงลดลงได้ มิฉะนั้นโซ่มาร์คอฟจะลดลงไม่ได้

อันดับแรกคำเตือน: อย่าดูเมทริกซ์เว้นแต่คุณจะมีเหตุผลที่จริงจังที่จะทำเช่นนั้นสิ่งเดียวที่ฉันคิดได้คือตรวจสอบตัวเลขที่พิมพ์ผิดหรืออ่านในตำราเรียน

ถ้า $P$ เป็นเมทริกซ์การเปลี่ยนแปลงของคุณคำนวณ $\exp(P)$. หากรายการทั้งหมดไม่ใช่ศูนย์ดังนั้นเมทริกซ์จะลดลงไม่ได้ มิฉะนั้นมันลดได้ ถ้า$P$ ใหญ่เกินไปคำนวณ $P^n$ กับ $n$มีขนาดใหญ่เท่าที่คุณสามารถ การทดสอบเดียวกันมีความแม่นยำน้อยกว่าเล็กน้อย

การลดทอนไม่ได้หมายถึง: คุณสามารถไปจากรัฐใด ๆ ไปยังรัฐอื่น ๆ ในจำนวนขั้นตอนที่แน่นอน

ในตัวอย่างของ Christoph Hanck $P_3$คุณไม่สามารถไปโดยตรงจากสถานะ 1 ถึงสถานะ 6 แต่คุณสามารถไป 1 -> 2 -> 6