คำอธิบายง่าย ๆ สำหรับช่วงเวลาในโซ่มาร์คอฟ

ใครช่วยอธิบายฉันด้วยวิธีที่เข้าใจง่ายว่าช่วงเวลาของห่วงโซ่มาร์คอฟคืออะไร?

มันถูกกำหนดไว้ดังนี้:

สำหรับทุกรัฐที่อยู่ใน$i$$S$

$d_i$ = gcd$\{n \in \mathbb{N} | p_{ii}^{(n)} > 0\} =1$

Thank you for your effort!

First of all, your definition is not entirely correct. Here is the correct definition from wikipedia, as suggested by Cyan.

Periodicity (source: wikipedia)

A state i has period k if any return to state i must occur in multiples of k time steps. Formally, the period of a state is defined as

k = $gcd\{ n: \Pr(X_n = i | X_0 = i) > 0\}$

(where "gcd" is the greatest common divisor). Note that even though a state has period k, it may not be possible to reach the state in k steps. For example, suppose it is possible to return to the state in {6, 8, 10, 12, ...} time steps; k would be 2, even though 2 does not appear in this list.

If k = 1, then the state is said to be aperiodic: returns to state i can occur at irregular times. In other words, a state i is aperiodic if there exists n such that for all n' ≥ n,

$Pr(X_{n'} = i | X_0 = i) > 0.$

Otherwise (k > 1), the state is said to be periodic with period k. A Markov chain is aperiodic if every state is aperiodic.

My Explanation

The term periodicity describes whether something (an event, or here: the visit of a particular state) is happening at a regular time interval. Here time is measured in the number of states you visit.

First Example:

Now imagine that the clock represents a markov chain and every hour mark a state, so we got 12 states. Every state is visted by the hour hand every 12 hours (states) with probability=1, so the greatest common divisor is also 12.

So every (hour-)state is periodic with period 12.

Second example:

Imagine a graph describing a sequence of coin tosses, starting at state $start$ and state $heads$ and $tails$ representing the outcome of the last coin toss.

The transition probability is 0.5 for every pair of states (i,j), except $heads$ -> $start$ and $tails$ -> $start$ where it is 0.

Now imagine you are in state $heads$. The number of states you have to visit before you visit $heads$ again could be 1,2,3 etc.. It will happen, so the probability is greater 0, but it is not exactly predictable when. So the greatest common divisior of all possible number of visits which could occur before you visit $heads$ again is 1. This means that $heads$ is aperiodic.

The same applies for $tails$. Since it does not apply for $start$, the whole graph is not aperiodic. If we remove $start$, it would be.

หลายครั้งที่เราต้องการทราบว่ามีโอกาสที่ไม่เป็นศูนย์ที่เราจะติดอยู่ในสถานะของห่วงโซ่ของฉัน สถานะดังกล่าวเรียกว่า 'aperiodic' มันง่ายต่อการหาปริมาณ: ถ้ามี$n \gt 0$ฉันไม่เข้าใจ $P^n_{ii} = 0$ฉันอ้างว่ารัฐดังกล่าวเป็นช่วง ๆ ($P_{ii}$ เป็นโอกาสที่จะอยู่ในสถานะ $i$) สถานะที่ไม่ได้เป็นระยะคือช่วงเวลา แต่คำศัพท์นั้นค่อนข้างโชคร้ายเพราะตามระยะเวลาที่เรามักจะหมายถึงค่าคงที่หลังจากที่ระบบทำซ้ำตัวเอง

ในห่วงโซ่มาร์คอฟเราไม่ได้มี 'ค่าคงที่เสมอ' สำหรับช่วงเวลา เราอาจกลับสู่สถานะเป็นช่วง ๆ ก็ได้$> 1$จำนวนขั้นตอน เราใช้สายโซ่และจดตัวเลขและจดgcdจำนวนเหล่านี้ อาจนิยามนี้มีข้อได้เปรียบในการพิสูจน์ทฤษฎีบทอื่น ๆ ; ฉันไม่รู้เลยเกี่ยวกับมัน หากคุณไม่ต้องการจำลองลูกโซ่โน้ตลงตัวเลขคุณสามารถจดบันทึกพลังงานลง$n$ เมทริกการเปลี่ยนผ่านตัวใด $P$ ถูกยกขึ้นเช่นนั้น $P^n_{ii}=0$และรับgcdตัวเลขเหล่านั้น