ค่า Worm และ Apple ที่คาดหวัง

แอปเปิ้ลตั้งอยู่ที่จุดสุดยอดของเพนตากอนและหนอนตั้งอยู่สองจุดอยู่ห่างออกไปที่Cทุกวันหนอนจะคลานด้วยความน่าจะเป็นที่เท่ากันของหนึ่งในสองจุดยอดที่อยู่ติดกัน ดังนั้นหลังจากที่วันหนึ่งหนอนที่จุดสุดยอดหรือแต่ละคนมีความน่าจะเป็น1/2หลังจากสองวันหนอนอาจกลับมาที่อีกครั้งเนื่องจากไม่มีหน่วยความจำของตำแหน่งก่อนหน้า เมื่อถึงจุดสุดยอดมันจะหยุดรับประทานอาหาร$A$$ABCDE$$C$$B$$D$$1/2$$C$$A$

(a) จำนวนวันจนกระทั่งอาหารค่ำคืออะไร?

(b) ให้ p เป็นความน่าจะเป็นที่จำนวนวันเป็นหรือมากกว่า ความไม่เท่าเทียมของมาร์คอฟพูดถึงอย่างไร$100$$p$

สำหรับ (a) ให้เป็นตัวแปรสุ่มที่กำหนดโดยจำนวนวันจนกระทั่งอาหารเย็น ดังนั้นP (X = 0) = 0 \\ P (X = 1) = 0 \\ P (X = 2) = \ frac {1} {\ binom {5} {2}} \\ \ vdots$X$

$$P(X = 0) = 0 \\ P(X=1) = 0 \\ P(X=2) = \frac{1}{\binom{5}{2}} \\ \vdots$$

อะไรคือการกระจายทั่วไป

สำหรับ (b) ถ้าเรารู้ (ก) จากนั้นเรารู้ว่า

$$P(X \geq 100) \leq \frac{E(X)}{100}$$

ในคำตอบที่ยอดเยี่ยมโดยGlen_bเขาแสดงให้เห็นว่าคุณสามารถคำนวณค่าที่คาดหวังได้โดยใช้ระบบสมการเชิงเส้นอย่างง่าย ตามวิธีการวิเคราะห์นี้คุณสามารถตรวจสอบว่าจำนวนการย้ายที่คาดหวังไปยังแอปเปิ้ลคือหก คำตอบที่ยอดเยี่ยมอีกคำตอบโดยwhuberแสดงให้เห็นว่าจะได้รับฟังก์ชั่นมวลความน่าจะเป็นสำหรับกระบวนการหลังจากจำนวนการเคลื่อนไหวใด ๆ ที่กำหนดและวิธีนี้ยังสามารถใช้เพื่อรับโซลูชันการวิเคราะห์สำหรับค่าที่คาดหวัง หากคุณต้องการดูข้อมูลเชิงลึกเพิ่มเติมเกี่ยวกับปัญหานี้คุณควรอ่านเอกสารบางส่วนเกี่ยวกับการเดินสุ่มแบบวงกลม (ดูเช่นStephens 1963 )

เพื่อให้มุมมองทางเลือกของปัญหาฉันจะแสดงให้คุณเห็นว่าคุณจะได้รับผลลัพธ์เดียวกันโดยใช้วิธีการเดรัจฉานบังคับเพียงแค่การคำนวณห่วงโซ่มาร์คอฟโดยใช้การคำนวณทางสถิติ วิธีนี้ด้อยกว่าการตรวจสอบวิเคราะห์ในหลาย ๆ ด้าน แต่มันมีข้อดีที่จะช่วยให้คุณสามารถจัดการกับปัญหาโดยไม่ต้องมีความเข้าใจทางคณิตศาสตร์ที่สำคัญ

---

วิธีการคำนวณแรงแบบเดรัจฉาน:จดสถานะตามลำดับ , ช่วงการเปลี่ยนภาพเชนมาร์คอฟของคุณตามเมทริกซ์การเปลี่ยนแปลงต่อไปนี้:$A,B,C,D,E$

$$\mathbf{P} = \begin{bmatrix} 1 & 0 & 0 & 0 & 0 \\[6pt] \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 & 0 \\[6pt] 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 \\[6pt] 0 & 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} \\[6pt] \tfrac{1}{2} & 0 & 0 & \tfrac{1}{2} & 0 \\[6pt] \end{bmatrix}$$

สถานะแรกคือสถานะการดูดซับที่หนอนอยู่ที่แอปเปิ้ล ให้เป็นจำนวนของการเคลื่อนไหวจนหนอนได้รับไปยังแอปเปิ้ลจากรัฐCจากนั้นสำหรับทั้งหมดความน่าจะเป็นที่เวิร์มอยู่ที่แอปเปิลหลังจากจำนวนการเคลื่อนไหวนี้คือและจำนวนที่คาดว่าจะได้รับจากแอปเปิ้ลคือ:$A$$T_C$$C$$n \in \mathbb{N}$$\mathbb{P}(T_C \leqslant n) = \{ \mathbf{P}^n \}_{C,A}$

$$\mathbb{E}(T_C) = \sum_{n=0}^\infty \mathbb{P}(T_C > n) = \sum_{n=0}^\infty (1-\{ \mathbf{P}^n \}_{C,A}).$$

คำศัพท์ในผลรวมลดลงแบบทวีคูณสำหรับขนาดใหญ่เพื่อให้เราสามารถคำนวณค่าที่คาดหวังในระดับความถูกต้องที่ต้องการโดยตัดทอนผลรวมด้วยจำนวนเทอมที่ จำกัด (การสลายตัวแบบเอ็กซ์โพเนนเชียลของเงื่อนไขทำให้แน่ใจว่าเราสามารถ จำกัด ขนาดของคำที่ถูกลบให้ต่ำกว่าระดับที่ต้องการ) ในทางปฏิบัติมันง่ายที่จะรับจำนวนมากของคำจนกระทั่งขนาดของคำที่เหลืออยู่มีขนาดเล็กมาก$n$

---

การเขียนโปรแกรมนี้ใน R:คุณสามารถโปรแกรมนี้เป็นฟังก์ชั่นในการRใช้รหัสด้านล่าง รหัสนี้ได้รับการเวกเตอร์เพื่อสร้างอาเรย์พลังของเมทริกซ์การเปลี่ยนแปลงสำหรับลำดับการเคลื่อนที่ที่แน่นอน นอกจากนี้เรายังสร้างพล็อตความน่าจะเป็นที่แอปเปิ้ลยังไม่ถึงแสดงให้เห็นว่าสิ่งนี้ลดลงอย่างมาก

#Create function to give n-step transition matrix for n = 1,...,N
#N is the last value of n
PROB <- function(N) { P <- matrix(c(1, 0, 0, 0, 0, 
                                    1/2, 0, 1/2, 0, 0, 
                                    0, 1/2, 0, 1/2, 0,
                                    0, 0, 1/2, 0, 1/2,
                                    1/2, 0, 0, 1/2, 0),
                                  nrow = 5, ncol = 5, 
                                  byrow = TRUE);
                      PPP <- array(0, dim = c(5,5,N));
                      PPP[,,1] <- P;
                      for (n in 2:N) { PPP[,,n] <- PPP[,,n-1] %*% P; } 
                      PPP }

#Calculate probabilities of reaching apple for n = 1,...,100
N  <- 100;
DF <- data.frame(Probability = PROB(N)[3,1,], Moves = 1:N);

#Plot probability of not having reached apple
library(ggplot2);
FIGURE <- ggplot(DF, aes(x = Moves, y = 1-Probability)) +
          geom_point() +
          scale_y_log10(breaks = scales::trans_breaks("log10", function(x) 10^x),
                        labels = scales::trans_format("log10", 
                                 scales::math_format(10^.x))) +
          ggtitle('Probability that worm has not reached apple') +
          xlab('Number of Moves') + ylab('Probability');
FIGURE;

#Calculate expected number of moves to get to apple
#Calculation truncates the infinite sum at N = 100
#We add one to represent the term for n = 0
EXP <- 1 + sum(1-DF$Probability);
EXP;

[1] 6

อย่างที่คุณเห็นจากการคำนวณนี้จำนวนการย้ายที่คาดหวังเพื่อไปยังแอปเปิ้ลคือหก การคำนวณนี้เป็นไปอย่างรวดเร็วมากโดยใช้รหัส vectorised ด้านบนสำหรับห่วงโซ่มาร์คอฟ

เพียงแค่ต้องการแสดงวิธีง่ายๆในการดูส่วน (a) โดยไม่ต้องผ่านรูทีนลูกโซ่มาร์คอฟทั้งหมด มีสองสถานะของอเมริกาที่ต้องกังวล: อยู่ห่างออกไปหนึ่งก้าวและอยู่ห่างออกไปสองก้าว (C และ D เหมือนกันในแง่ของขั้นตอนที่คาดไว้จนกว่าจะถึง A และ B และ E เหมือนกัน) ให้ " " แทนจำนวนขั้นตอนที่ใช้จากจุดยอดและอื่น ๆ$S_B$$B$

$E(S_C) = 1+\frac12[E(S_B)+E(S_D)] = 1+ \frac12[E(S_B)+E(S_C)]$

ในทำนองเดียวกันเขียนสมการสำหรับการคาดการณ์สำหรับ(S_B)$E(S_B)$

แทนค่าที่สองลงในแรก (และเพื่อความสะดวกในการเขียนสำหรับ ) และคุณจะได้คำตอบสำหรับในสองสามบรรทัด$c$$E(S_C)$$c$

ปัญหา

ลูกโซ่มาร์คอฟนี้มีสามสถานะโดยแยกได้ว่าเวิร์มคือหรือเว้นวรรคจาก ปล่อยให้เป็นตัวแปรสุ่มที่ให้จำนวนขั้นตอนที่เวิร์มจะไปถึงจากสถานะฟังก์ชันสร้างความน่าจะเป็น ของพวกเขาเป็นวิธีพีชคณิตที่สะดวกในการเข้ารหัสความน่าจะเป็นของตัวแปรเหล่านี้ มันไม่จำเป็นต้องกังวลเกี่ยวกับปัญหาการวิเคราะห์เช่นลู่: เพียงแค่ดูพวกเขาเป็นชุดไฟอย่างเป็นทางการในสัญลักษณ์ที่กำหนดโดย$0,$ $1,$$2$$C.$$X_i$$C$$i\in\{0,1,2\}.$$t$

$$f_i(t) = \Pr(X_i=0) + \Pr(X_i=1)t^1 + \Pr(X_i=2)t^2 + \cdots + \Pr(X_i=n)t^n + \cdots$$

ตั้งแต่มันเป็นเรื่องเล็กน้อยที่ เราจำเป็นต้องค้นหา$\Pr(X_0=0)=1,$$f_0(t)=1.$$f_2.$

การวิเคราะห์และการแก้ปัญหา

จากรัฐหนอนมีโอกาสที่เท่าเทียมกันของของย้ายกลับไปยังรัฐหรือถึงCการบัญชีสำหรับการทำหนึ่งขั้นตอนนี้จะเพิ่มให้กับพลังทั้งหมดของ , เท่ากับการคูณ pgf ด้วย , ให้$1,$$1/2$$2$$C$$1$$t$$t$

$$f_1 = \frac{1}{2}t\left(f_2 + f_0\right).$$

ในทำนองเดียวกันจากสถานะเวิร์มจะมีโอกาสเท่ากันในการอยู่ในสถานะหรือเข้าถึงสถานะดังนั้น$2$$2$$1,$

$$f_2 = \frac{1}{2}t\left(f_2 + f_1\right).$$

การปรากฏตัวของแสดงให้เห็นว่างานของเราจะง่ายขึ้นโดยการแนะนำตัวแปรให้$t/2$$x=t/2,$

$$f_1(x) = x(f_2(x) + f_0(x));\quad f_2(x) = x(f_2(x) + f_1(x)).$$

แทนเป็นครั้งแรกที่สองและนึกถึงจะช่วยให้$f_0=1$

$$f_2(x) = x(f_2(x) + x(f_2(x) + 1))\tag{*}$$

ซึ่งโซลูชันที่ไม่เหมือนใครคือ

$$f_2(x) = \frac{x^2}{1 - x - x^2}.\tag{**}$$

ฉันเน้นสมการ เพื่อเน้นความเรียบง่ายพื้นฐานและความคล้ายคลึงกันอย่างเป็นทางการกับสมการที่เราจะได้รับโดยการวิเคราะห์เฉพาะค่าที่คาดหวังมีผลสำหรับปริมาณงานเดียวกันที่ใช้เพื่อค้นหาหมายเลขนี้ เราได้รับการแจกแจงทั้งหมด$(*)$$E[X_i]:$

ความหมายและการทำให้เข้าใจง่าย

เท่ากันเมื่อถูกเขียนออกมาเป็นระยะโดยเทอมและพลังของถูกจับคู่มันอ้างว่าสำหรับ$(*)$$t$$n\ge 4,$

$$2^n\Pr(X_2=n) = 2^{n-1}\Pr(X_2=n-1) + 2^{n-2}\Pr(X_2=n-2).$$

นี่คือการเกิดซ้ำของลำดับฟีโบนักชีที่มีชื่อเสียง

$$(F_n) = (1,1,2,3,5,8,13,21,34,55,89,144,\ldots)$$

(จัดทำดัชนีจาก ) การจับคู่โซลูชันคือลำดับนี้เลื่อนโดยสองตำแหน่ง (เนื่องจากไม่มีความน่าจะเป็นที่หรือและง่ายต่อการตรวจสอบว่า )$n=0$$(**)$$X_2=0$$X_2=1$$2^2\Pr(X_2=2)=1=2^3\Pr(X_2=3)$

ดังนั้น

$$\Pr(X_2 = n) = 2^{-n-2}F_{n-2}.$$

โดยเฉพาะอย่างยิ่ง,

$$\eqalign{ f_2(t) &= 2^{-2}F_0t^2 + 2^{-3}F_1 t^3 + 2^{-4} F_2 t^4 + \cdots \\ &= \frac{1}{4}t^2 + \frac{1}{8}t^3 + \frac{2}{16}t^4 + \frac{3}{32}t^5 + \frac{5}{64}t^6 + \frac{8}{128}t^7 +\frac{13}{256}t^8 + \cdots. }$$

---

ความคาดหวังของพบได้อย่างง่ายดายโดยการประเมินอนุพันธ์แทนเพราะ (ความแตกต่างของอำนาจของระยะโดยระยะ) นี้จะช่วยให้สูตร$X_2$$f^\prime$$t=1,$$t$

$$f^\prime(1) = \Pr(X_2=0)(0) + \Pr(X_2=1)(1)1^0 + \cdots + \Pr(X_2=n)(n)1^{n-1} + \cdots$$

ซึ่งเป็นผลรวมของความน่าจะเป็นคูณด้วยค่าของนั่นคือนิยามของอย่างแม่นยำ การหาอนุพันธ์โดยใช้สร้างสูตรอย่างง่ายสำหรับการคาดการณ์$X_2,$$E[X_2].$$(**)$

---

ความเห็นสั้น ๆ

โดยการขยายเป็นเศษส่วนบางส่วนสามารถเขียนเป็นผลรวมของอนุกรมเรขาคณิตสองชุด นี่แสดงให้เห็นน่าจะเป็นจะลดลงอย่างรวดเร็ว นอกจากนี้ยังให้รูปแบบปิดสำหรับความน่าจะเป็นหาง การใช้สิ่งนั้นเราสามารถคำนวณได้อย่างรวดเร็วว่าน้อยกว่า$(**)$$f_2$$\Pr(X_2=n)$$\Pr(X_2 \gt n).$$\Pr(X_2 \ge 100)$$10^{-9}.$

ในที่สุดสูตรเหล่านี้เกี่ยวข้องกับอัตราส่วนทองคำ หมายเลขนี้คือความยาวของคอร์ดรูปห้าเหลี่ยมปกติ (ของหน่วยด้านข้าง) ซึ่งให้การเชื่อมต่อที่น่าประทับใจระหว่างห่วงโซ่มาร์คอฟแบบ combinatorial อย่างหมดจดบนรูปห้าเหลี่ยม (ซึ่ง "ไม่รู้" เกี่ยวกับเรขาคณิตแบบยุคลิด) และเรขาคณิตของรูปห้าเหลี่ยมปกติ ระนาบแบบยุคลิด$\phi = (1 + \sqrt{5})/2.$

สำหรับจำนวนวันเฉลี่ยจนถึงอาหารเย็นให้ระบุเงื่อนไขตามขั้นตอนในวันแรก ให้เป็นจำนวนวันจนกว่าหนอนจะได้รับแอปเปิ้ล ให้เป็นก้าวแรก$X$$F$

ถ้าอย่างนั้นเราก็มี

$$E[X]=E[X|F=B] \ [P(F=B)]+E[X|F=D] \ P[F=D]$$

หากขั้นตอนแรกคือถึงเวิร์มได้รับแอปเปิลในวันที่ 2 โดยมีความน่าจะเป็นครึ่งเดียวหรือกลับไปที่จุดยอดมีความน่าจะเป็นครึ่งหนึ่งและเริ่มต้นใหม่ เราสามารถเขียนสิ่งนี้เป็น$B,$$C$

$$E[X|F=B]=2 \left( \frac{1}{2} \right) + \left(2+E[X] \right) \left( \frac{1}{2} \right)=2+\frac{E[X]}{2}$$

หากขั้นตอนแรกคือจากนั้นโดยสมมาตรนี่จะเหมือนกับอยู่ที่จุดยอดยกเว้นเวิร์มได้ดำเนินการในขั้นตอนเดียวดังนั้น$D,$$C$

$$E[X|F=D]=1+E[X]$$

เรารวบรวมทุกอย่างเข้าด้วยกัน

$$E[X] = \left( 2+\frac{E[X]}{2} \right)\left( \frac{1}{2} \right) + \left( 1 + E[X] \right)\left( \frac{1}{2} \right)$$

การแก้หาให้ผลตอบแทน$E[X]$

$$E[X] = 6$$