วิธีสร้าง Bernoulli ต่อเนื่องไม่สำเร็จเป็นจำนวนเท่าใด?

ได้รับ:

1. เหรียญกับที่ไม่รู้จักอคติ$p$ (หัวหน้า)
2. บวกอย่างเคร่งครัดจริง > 0$a > 0$

ปัญหา:

สร้างตัวแปร Bernoulli สุ่มที่มีอคติ$p^{a}$

ไม่มีใครรู้วิธีการทำเช่นนี้? ตัวอย่างเช่นเมื่อเป็นจำนวนเต็มบวกแล้วหนึ่งสามารถพลิกเหรียญครั้งและดูว่าผลลัพธ์ทั้งหมดเป็นหัว: ถ้าพวกเขาอยู่แล้วปัญหา '0' มิฉะนั้นปัญหา '1' ความยากลำบากอยู่ในความจริงที่ว่าไม่จำเป็นต้องเป็นจำนวนเต็ม นอกจากนี้ถ้าฉันรู้อคติpฉันก็สามารถสร้างเหรียญอื่นด้วยอคติที่ต้องการ $a$$a$$a$$p$

เราสามารถแก้ปัญหานี้ได้ด้วย "ลูกเล่น" และคณิตศาสตร์เล็กน้อย

นี่คืออัลกอริทึมพื้นฐาน:

1. สร้างตัวแปรสุ่มเรขาคณิตที่มีความน่าจะเป็นของความสำเร็จของพี$p$
2. ผลของตัวแปรสุ่มนี้จะกำหนดค่าที่รู้จักกันคง$f_n \in [0,1]$ ]
3. สร้างตัวแปรสุ่ม$\mathrm{Ber}(f_n)$โดยใช้การโยนเหรียญยุติธรรมที่สร้างขึ้นจากการพลิกคู่ที่ถูกบล็อกคู่ของเหรียญ$\mathrm{Ber}(p)$
4. ผลที่เกิดจะเป็น$\mathrm{Ber}(p^a)$สำหรับการใด ๆ∈ ( 0 , 1 )ซึ่งเป็นสิ่งที่เราต้องการ$a \in (0,1)$

เพื่อให้สิ่งต่าง ๆ ย่อยง่ายขึ้นเราจะแบ่งข้าวของออกเป็นชิ้น ๆ

ชิ้นส่วนที่ 1 : โดยไม่ต้องสูญเสียของทั่วไปคิดว่า$0 < a < 1$ 1

หาก≥ 1แล้วเราสามารถเขียนหน้า = P n P ขสำหรับบางจำนวนเต็มบวกnและบาง0 ≤ ข< 1 แต่สำหรับ Bernoulli สองคนที่เป็นอิสระเรามี P ( X 1 = X 2 = 1 ) = p 1 p 2$a \geq 1$$p^a = p^n p^b$$n$$0 \leq b < 1$

$$\renewcommand{\Pr}{\mathbb P} \Pr(X_1 = X_2 = 1) = p_1 p_2 \>.$$ เราสามารถสร้าง$p^n$ Bernoulli จากเหรียญของเราได้อย่างชัดเจน ดังนั้นเราต้องกังวลเท่านั้นตัวเองด้วยการสร้าง$\mathrm{Ber}(p^a)$เมื่อ ∈ ( 0 , 1 )$a \in (0,1)$

ชิ้นที่ 2 : รู้วิธีการสร้างโดยพล$\mathrm{Ber}(q)$จากพลิกเหรียญยุติธรรม

มีวิธีมาตรฐานในการทำเช่นนี้ ขยายในการขยายตัวไบนารีแล้วใช้เหรียญที่เหมาะสมของเราที่จะพลิก "จับคู่" ตัวเลขของคิว นัดแรกกำหนดว่าเราประกาศความสำเร็จ ("หัว") หรือล้มเหลว ("ก้อย") ถ้า q n = 1และการพลิกเหรียญของเราคือหัวประกาศหัวถ้า q n = 0และการพลิกเหรียญของเราคือก้อยให้ประกาศก้อย มิฉะนั้นให้พิจารณาตัวเลขที่ตามมากับการพลิกเหรียญใหม่$q = 0.q_1 q_2 q_3 \ldots$$q$$q_n = 1$$q_n = 0$

ส่วนที่ 3 : รู้วิธีสร้างเหรียญที่ยุติธรรมจากผู้ไม่ยุติธรรมที่มีอคติไม่ทราบ

สิ่งนี้เสร็จสิ้นสมมติว่าโดยการโยนเหรียญเป็นคู่ ถ้าเราได้รับ H Tให้ประกาศหัว หากเราได้รับ T Hให้ประกาศก้อยและทำซ้ำการทดลองจนกว่าจะมีผลลัพธ์หนึ่งในสองข้อดังกล่าวเกิดขึ้น พวกเขามีความน่าจะเป็นอย่างเท่าเทียมกันดังนั้นจะต้องมีความน่าจะเป็น 1 / 2$p \in (0,1)$$HT$$TH$$1/2$

ส่วนที่ 4 : คณิตศาสตร์บางอย่าง (เทย์เลอร์เพื่อช่วยเหลือ)

ด้วยการขยายประมาณp 0 = 1ทฤษฎีบทของเทย์เลอร์ยืนยันว่า p a = 1 - a ( 1 - p ) - a ( 1 - a $h(p) = p^a$$p_0 = 1$ โปรดทราบว่าเนื่องจาก 0 < a < 1แต่ละเทอมหลังจากเทอมแรกเป็นลบเราจึงมี p a = 1 - ∞ ∑ n = 1 b n ( 1 - p )

$$p^a = 1 - a(1-p) - \frac{a(1-a)}{2!} (1-p)^2 - \frac{a(1-a)(2-a)}{3!} (1-p)^3 \cdots \>.$$ $0 < a < 1$ ที่ 0 ≤ ขn ≤ 1เป็นที่รู้จักกันเบื้องต้น ดังนั้น 1 - p a = ∞ ∑ n = 1 b n ( 1 - p ) n = ∞ ∑ n = 1 b n P ( G ≥ n ) = ∞ ∑ n = 1 f n P ( G = n ) = $$p^a = 1 - \sum_{n=1}^\infty b_n (1-p)^n \>,$$ $0 \leq b_n \leq 1$ ที่ G ~ จีอีo เมตร $$1 - p^a = \sum_{n=1}^{\infty} b_n (1-p)^n = \sum_{n=1}^\infty b_n \Pr(G \geq n) = \sum_{n=1}^\infty f_n \Pr(G = n) = \mathbb E f(G),$$ ,ฉ0 = 0และฉn = Σ n k = 1ขkสำหรับ n ≥ 1$G \sim \mathrm{Geom}(p)$$f_0 = 0$$f_n = \sum_{k=1}^n b_k$$n \geq 1$

และเรารู้อยู่แล้วว่าวิธีการใช้เหรียญของเราในการสร้างตัวแปรสุ่มเรขาคณิตที่มีความน่าจะเป็นของความสำเร็จของพี$p$

ส่วนที่ 5 : เคล็ดลับ Monte Carlo

ให้เป็นตัวแปรสุ่มต่อเนื่องการค่าใน[ 0 , 1 ]ด้วยP ( X = x n ) = P n Let U | X ~ B อีอาร์ ( X ) แล้ว P ( U = 1 ) = Σ n x n P$X$$[0,1]$$\Pr(X = x_n) = p_n$$U \mid X \sim \mathrm{Ber}(X)$

$$\Pr(U = 1) = \sum_n x_n p_n.$$

แต่เมื่อใช้และx n = f nเราจะเห็นวิธีสร้างB e r ( 1 - p $p_n = p(1-p)^n$$x_n = f_n$ตัวแปรสุ่ม )และนี่เป็นการเทียบเท่ากับการสร้าง B e r ( p ก )หนึ่ง$\mathrm{Ber}(1-p^a)$$\mathrm{Ber}(p^a)$

คำตอบต่อไปนี้โง่หรือเปล่า?

ถ้าเป็นอิสระB e r ( p )และY nมีการกระจายB e r ( ( ∑ n i = 1 X i / n ) a )จากนั้นY nจะถูกกระจายโดยประมาณเป็นB e r ( p a$X_1,\dots,X_n$$\mathrm{Ber}(p)$$Y_n$$\mathrm{Ber}\left(\left(\sum_{i=1}^n X_i/n \right)^a\right)$$Y_n$$\mathrm{Ber}(p^a)$เมื่อ ∞$n\to\infty$

ดังนั้นหากคุณไม่รู้จักแต่คุณสามารถโยนเหรียญนี้ได้หลายครั้งคุณสามารถสุ่มตัวอย่าง (โดยประมาณ) จากB $p$ตัวแปรสุ่ม r ( p a$\mathrm{Ber}(p^a)$

Rรหัสตัวอย่าง:

n <- 1000000
p <- 1/3 # works for any 0 <= p <= 1
a <- 4
x <- rbinom(n, 1, p)
y <- rbinom(n, 1, mean(x)^a)
cat("p^a =", p^a, "\n")
cat("est =", mean(y))

ผล:

p^a = 0.01234568 
est = 0.012291 

ฉันโพสต์คำอธิบายต่อไปนี้ของคำถามนี้และคำตอบของพระคาร์ดินัลต่อฟอรัมสนทนาทั่วไปของคลาส Analytic Combinatorics ปัจจุบันใน Coursera "การประยุกต์ใช้ชุดพลังงานเพื่อสร้างตัวแปรสุ่ม" ฉันโพสต์สำเนาไว้ที่นี่เป็นวิกิชุมชนเพื่อเผยแพร่ต่อสาธารณะและถาวรมากขึ้น

---

มีคำถามและคำตอบที่น่าสนใจใน stat.stackexchange.com ที่เกี่ยวข้องกับซีรีย์พาวเวอร์: "จะสร้างความสำเร็จของเบอร์นูลลีต่อเนื่องได้อย่างไร?" ฉันจะถอดความคำถามและคำตอบโดยที่สำคัญ

สมมติว่าเรามีเหรียญอาจจะไม่เป็นธรรมซึ่งเป็นหัวด้วยความน่าจะและเป็นบวกจำนวนจริงα เราจะสร้างเหตุการณ์ที่มีความน่าจะเป็นp αได้อย่างไร$p$$\alpha$$p^\alpha$

$\alpha$$\alpha$$\alpha$$1/2$$0 \lt \alpha \lt 1$$p^{3.5}$$p^3$$p^{0.5}$ 0.5

$p' \in [0,1]$$HT$$1$$TH$ as $0$, and ignoring $HH$ and $TT$. We compare this stream with the binary expansion of $p' = 0.a_1a_2a_3..._2$. The event that the first disagreement is where $a_i=1$ has probability $p'$. We don't know $p^\alpha$, so we can't use this directly, but it will be a useful tool.

The main idea is that we would like to use the power series for $p^\alpha = (1-q)^\alpha = 1 - \alpha q - \frac{\alpha(1-\alpha)}{2} q^2 - \frac{\alpha (1-\alpha)(2-\alpha)}{3!}q^3 -...$ where $p=1-q$. We can construct events whose probabilities are $q^n$ by flipping the coin $n$ times and seeing if they are all tails, and we can produce an event with probability $p' q^n$ by comparing the binary digits of $p'$ with a fair bit stream as above and checking whether $n$ tosses are all tails.

Construct a geometric random variable $G$ with parameter $p$. This is the number of tails before the first head in an infinite sequence of coin tosses. $P(G=n) = (1-p)^np = q^n p$. (Some people use a definition which differs by $1$.)

Given a sequence $t_0, t_1, t_2, ...$, we can produce $t_G$: Flip the coin until the first head, and if there are $G$ tails before the first head, take the element of the sequence of index $G$. If each $t_n \in [0,1]$, we can compare $t_G$ with a uniform random variable in $[0,1]$ (constructed as above) to get an event with probability $E[t_G] = \sum_n t_n P(G=n) = \sum_n t_n q^n p$.

This is almost what we need. We would like to eliminate that $p$ to use the power series for $p^\alpha$ in $q$.

$$1 = p + qp + q^2p + q^3p + ...$$

$$q^n = q^np + q^{n+1}p + q^{n+2}p + ...$$

$$\begin{eqnarray} \sum_n s_n q^n & = & \sum_n s_n (q^n p + q^{n+1}p + q^{n+2}p + ...) \newline & = & \sum_n (s_0 + s_1 + ... + s_n) q^n p \end{eqnarray}$$

Consider $1-p^\alpha = \alpha q + \frac{\alpha(1-\alpha)}{2} q^2 + ...$. Let $t_n$ be the sum of the coefficients of $q$ through $q^n$. Then $1-p^\alpha = \sum_n t_n q^n p$. Each $t_n\in [0,1]$ since the coefficients are positive and sum to $1-0^\alpha = 1$, so we can construct an event with probability $1-p^\alpha$ by comparing a fair bit stream with the binary expansion of $t_G$. The complement has probability $p^\alpha$ as required.

---

Again, the argument is due to cardinal.

The very complete answer by cardinal and subsequent contributions inspired the following remark/variant.

Let PZ stand "Probability of Zero" and $q:=1-p$. If $X_n$ is an iid Bernoulli sequence with PZ $q$, then $M_n := \max(X_1,\,X_2,\,\dots, X_n)$ is a Bernoulli r.v. with PZ $q^n$. Now making $n$ random i.e., replacing it by an integer rv $N \geq 1$ leads to Bernoulli rv $M_N$ with

$$\mathrm{Pr}\{M_N =0\} = \sum_{n=1}^\infty \mathrm{Pr}\{M_N =0 \,\vert\, N =n\} \mathrm{Pr}\{N =n\} = \sum_{n=1}^\infty \mathrm{Pr}\{N =n\} \, q^n.$$ So if $0 < a < 1$ and if we take $\mathrm{Pr}\{N =n\} =b_n$ from cardinal's answer, we find $\mathrm{Pr}\{M_N =0\} = 1- p^a$ and $1-M_N$ is $\mathrm{Ber}(p^a)$ as wanted. This is indeed possible since the coefficients $b_n$ satisfy $b_n \geqslant 0$ and they sum to $1$.

The discrete distribution of $N$ depends only on $a$ with $0 < a < 1$, recall

$$\mathrm{Pr}\{N =n\} = \frac{a}{n}\,\prod_{k=1}^{n-1}\left(1 - a/k\right) \qquad (n \geq 1).$$ It has interesting features. It turns out to have an infinite expectation and an heavy tail behaviour $n \,b_n \sim c/n^a$ with $c = -1/\Gamma(-a) >0$.

Though $M_N$ is the maximum of $N$ rvs, its determination needs a number of $X_k$ which is $\leq N$ since the result is known as soon as one $X_k$ is $1$. The number of computed $X_k$ is geometrically distributed.