เมื่อพิจารณาจากโซ่มาร์คอฟสองอันที่ดูดซับได้ความน่าจะเป็นที่จะสิ้นสุดก่อนที่อื่นจะเป็นเท่าไหร่

ฉันมีโซ่มาร์คอฟที่แตกต่างกันสองโซ่แต่ละอันมีสถานะการดูดซับที่หนึ่งและตำแหน่งเริ่มต้นที่รู้จัก ฉันต้องการกำหนดความน่าจะเป็นที่เชน 1 จะถึงสถานะดูดซับในขั้นตอนน้อยกว่าเชน 2

ฉันคิดว่าฉันสามารถคำนวณความน่าจะเป็นในการเข้าถึงสถานะการดูดซับในห่วงโซ่หนึ่งหลังจากขั้นตอน n: เนื่องจากเมทริกซ์การเปลี่ยนแปลงความน่าจะเป็นที่จะถูกดูดซึมหลังจากขั้นตอนคือโดยที่คือสถานะเริ่มต้นและคือ รัฐดูดซับ $P$ $n$ $P^n_{ij}$ $i$ $j$

ฉันไม่แน่ใจว่าจะไปจากที่นี่ ปัญหาที่คล้ายคลึงกันที่ฉันเคยเห็นเกี่ยวข้องกับลูกเต๋า (เช่นการหมุนผลรวมของ 7 ก่อนผลรวมของ 8) แต่นั่นง่ายกว่าที่จะแก้เพราะความน่าจะเป็นในการกลิ้งผลรวมนั้นคงที่และไม่ขึ้นกับจำนวนขั้นตอนที่ดำเนินการ

probability markov-chain transition-matrix

— เจฟฟ์
แหล่งที่มา

ใช้โซ่ในแบบคู่ขนาน กำหนดสามสถานะการดูดซับในห่วงโซ่ผลิตภัณฑ์ที่ได้:

ห่วงโซ่แรกมาถึงสถานะที่น่าสนใจ แต่ที่สองไม่ได้
ห่วงโซ่ที่สองถึงสถานะที่น่าสนใจ แต่ครั้งแรกไม่ได้
โซ่ทั้งสองพร้อมกันถึงสถานะที่น่าสนใจ

ความน่าจะเป็นที่ จำกัด ของทั้งสามสถานะในห่วงโซ่ผลิตภัณฑ์ให้โอกาสในการสนใจ

การแก้ปัญหานี้เกี่ยวข้องกับการก่อสร้าง (ง่าย) บางส่วน ในฐานะที่เป็นคำถามที่ให้เป็นเมทริกซ์การเปลี่ยนแปลงสำหรับห่วงโซ่P เมื่อห่วงโซ่อยู่ในสถานะที่ ,ให้ความน่าจะเป็นของการเปลี่ยนแปลงไปยังรัฐเจรัฐดูดซับทำให้การเปลี่ยนแปลงตัวเองด้วยความน่าจะเป็นที่ 1 $\mathbb{P} = P_{ij}, 1 \le i,j\le n$ $\mathcal P$ $i$ $P_{ij}$ $j$ $1$

รัฐใด ๆ ที่สามารถทำให้น่าสนใจเมื่อเปลี่ยนแถวโดยเวกเตอร์ตัวบ่งชี้กับในฐานะที่ฉัน $i$ $\mathbb{P}_{i} = (P_{ij}, j=1, 2, \ldots,n)$ $(0,0,\ldots,0,1,0,\ldots,0)$ $1$ $i$
ใด ๆ ชุดการดูดซับรัฐสามารถรวมโดยการสร้างห่วงโซ่ใหม่ที่มีรัฐเป็น\} เมทริกซ์การเปลี่ยนแปลงได้รับจาก $A$ $\mathcal{P}/A$ $\{i\,|\, i\notin A\}\cup \{A\}$

$(P / A)_{i j} = \begin{array}{ll} {\begin{cases} P_{i j} & i \notin A, j \notin A \\ \sum_{k \in A} P_{i k} & i \notin A, j = A \\ 0 & i = A, j \notin A \\ 1 & i = j = A . \end{cases} \end{array}$ $(\mathbb{P}/A)_{ij} = \begin{array}{ll} \left\{ \begin{array}{ll} P_{ij} & i \notin A,\, j \notin A\\ \sum_{k\in A} P_{ik} & i\notin A, j=A \\ 0 & i=A, j\notin A \\ 1 & i = j = A. \end{array}\right. \end{array}$
จำนวนนี้จะรวมคอลัมน์ของสอดคล้องกับและแทนที่แถวนั้นให้สอดคล้องกับด้วยแถวเดียวที่ทำให้เกิดการเปลี่ยนแปลงในตัวเอง $\mathbb{P}$ $A$ $A$
สินค้าของสองโซ่ในรัฐและในรัฐกับการเปลี่ยนแปลงการฝึกอบรมและตามลำดับเป็นห่วงโซ่มาร์คอฟในรัฐด้วยเมทริกซ์การเปลี่ยนแปลง $\mathcal{P}$ $S_P$ $\mathcal{Q}$ $S_Q$ $\mathbb{P}$ $\mathbb{Q}$ $S_P\times S_Q = \{(p,q)\,|\, p\in S_P, q\in S_Q\}$

$(P \otimes Q)_{(i, j), (k, l)} = P_{i k} Q_{j l} .$ $(\mathbb{P} \otimes \mathbb{Q})_{(i,j),(k,l)} = P_{ik}Q_{jl}.$
ห่วงโซ่ผลิตภัณฑ์จะเรียกใช้สองโซ่ขนานกันแยกกันติดตามว่าแต่ละตำแหน่งนั้นอยู่ที่ใดและทำให้ช่วงการเปลี่ยนภาพเป็นอิสระ

ตัวอย่างง่ายๆอาจอธิบายสิ่งปลูกสร้างเหล่านี้ สมมติว่าพอลลี่จะพลิกเหรียญที่มีโอกาสของหัวเชื่อมโยงไปถึง เธอวางแผนที่จะทำเช่นนั้นจนกระทั่งสังเกตหัว สถานะของกระบวนการพลิกเหรียญคือแสดงผลลัพธ์ของการพลิกครั้งล่าสุด:สำหรับก้อย,สำหรับหัว เมื่อวางแผนที่จะหยุดที่หัวพอลลี่จะใช้สิ่งก่อสร้างแรกโดยทำให้เป็นสถานะที่น่าสนใจ เมทริกซ์การเปลี่ยนแปลงที่เกิดขึ้นคือ $p$ $S_P = \{\text{T},\text{H}\}$ $\text{T}$ $\text{H}$ $\text H$

P = (\begin{matrix} 1 - p & p \\ 0 & 1 \end{matrix}) .

$\mathbb{P} = \pmatrix{1-p & p \\ 0 & 1}.$

มันเริ่มต้นในสถานะสุ่มกำหนดโดยการโยนครั้งแรก $(1-p,p)$

ทันเวลากับพอลลี่ควินซีจะโยนเหรียญที่ยุติธรรม เขาวางแผนที่จะหยุดเมื่อเขาเห็นหัวสองหัวติดต่อกัน ลูกโซ่มาร์คอฟของเขาจึงต้องติดตามผลลัพธ์ก่อนหน้าเช่นเดียวกับผลลัพธ์ปัจจุบัน มีการรวมกันสองชุดของสองหัวและสองก้อยซึ่งฉันจะย่อว่า " " ตัวอย่างเช่นที่ตัวอักษรตัวแรกคือผลลัพธ์ก่อนหน้าและตัวอักษรตัวที่สองคือผลลัพธ์ปัจจุบัน Quincy ใช้โครงสร้าง (1) เพื่อทำให้เป็นสถานะที่น่าสนใจ หลังจากทำเช่นนั้นเขาตระหนักว่าเขาไม่ต้องการสี่สถานะจริง ๆ : เขาสามารถทำให้ห่วงโซ่ของเขาง่ายขึ้นเป็นสามสถานะ:หมายถึงผลลัพธ์ในปัจจุบันคือก้อยหมายถึงผลลัพธ์ในปัจจุบันเป็นหัวและ $\text{TH}$ $\text{HH}$ $\text{T}$ $\text{H}$ $\text{X}$ หมายถึงผลลัพธ์สองรายการสุดท้ายเป็นทั้งสองหัว - นี่คือสถานะที่น่าสนใจ เมทริกซ์การเปลี่ยนแปลงคือ

Q = (\begin{matrix} \frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1 \end{matrix}) .

$\mathbb{Q} = \pmatrix{\frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1}.$

ห่วงโซ่ผลิตภัณฑ์ทำงานในหกสถานะ:X) เมทริกซ์การเปลี่ยนแปลงเป็นผลิตภัณฑ์เทนเซอร์ของและและคำนวณได้ง่าย ตัวอย่างเช่นเป็นโอกาสที่พอลลี่เปลี่ยนจากเป็นและที่ ในเวลาเดียวกัน (และเป็นอิสระ), ควินซีทำให้การเปลี่ยนแปลงจากเพื่อHอดีตมีโอกาสของและโอกาสหลังของ1/2เนื่องจากโซ่มีการทำงานอย่างอิสระโอกาสเหล่านั้นทวีคูณให้ $(T,T), (T,H), (T,X); (H,T), (H,H), (H,X)$ $\mathbb{P}$ $\mathbb{Q}$ $(\mathbb{P}\otimes\mathbb{Q})_{(T,T),(T,H)}$ $\text T$ $\text T$ $\text T$ $\text H$ $1-p$ $1/2$ $(1-p)/2$ 2 เมทริกซ์การเปลี่ยนแปลงแบบเต็มคือ

P \otimes Q = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1 - p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1-p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 }.$

It is in block matrix form with blocks corresponding to the second matrix $\mathbb Q$ :

P \otimes Q = (\begin{matrix} P_{11} Q & P_{12} Q \\ P_{21} Q & P_{22} Q \end{matrix}) = (\begin{matrix} (1 - p) Q & p Q \\ 0 & Q \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ P_{11}\mathbb Q & P_{12}\mathbb Q \\ P_{21}\mathbb Q & P_{22}\mathbb Q } = \pmatrix{ (1-p)\mathbb Q & p\mathbb Q \\ \mathbb 0 & \mathbb Q }.$

Polly and Quincy compete to see who will achieve their goal first. The winner will be Polly whenever a transition is first made to $(\text{H},\text{*})$ where $\text{*}$ is not $\text X$ ; the winner will be Quincy whenever a transition is first made to $(\text{T},\text{X})$ ; and if before either of those can happen a transition is made to $(\text{H},\text{X})$ , the result will be a draw. To keep track, we will make the states $(\text{H},\text{T})$ and $(\text{H},\text{H})$ both absorbing (via construction (1)) and then merge them (via construction (2)). The resulting transition matrix, ordered by the states $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ is

R = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & p & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{R} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & p & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 }.$

The results of the simultaneous first throw by Polly and Quincy will be the states $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ with probabilities $\mu = ((1-p)/2, (1-p)/2, 0, p, 0)$ , respectively: this is the initial state at which to start the chain.

In the limit as $n\to \infty$ ,

μ \cdot R^{n} \to \frac{1}{1 + 4 p - p^{2}} (0, 0, (1 - p)^{2}, p (5 - p), p (1 - p)) .

$\mu \cdot \mathbb{R}^n \to \frac{1}{1+4p-p^2}(0, 0, (1-p)^2, p(5-p), p(1-p)).$

Thus the relative chances of the three absorbing states $(T,X), \{(H,T), (H,H)\}, (H,X)$ (representing Quincy wins, Polly wins, they draw) are $(1-p)^2:p(5-p):p(1-p)$ .

As a function of $p$ (the chance that any one of Polly's throws will be heads), the red curve plots Polly's chance of winning, the blue curve plots Quincy's chance of winning, and the gold curve plots the chance of a draw.

— whuber
แหล่งที่มา

Very neat example, thanks for this. I'm still working out the details to see them for myself. Just a question: here we assumed the two events (Polly and Quincy throws) were happening simultaneously, how much of a difference would it make if we made them sequential, or even chose at random each time who'd throw next?

— user929304

@user929304 You would get different answers, possibly substantially so. For instance, suppose P and Q are running a chain in which the states are partitioned into subsets A and B where all transitions from A go to B and all from B go to A. Let P and Q both start at states in A. In the product chain they both simultaneously alternate between A and B, but the sequential and random-choice chains break that invariant pattern.

— whuber