ความสัมพันธ์ระหว่างการแจกแจงแบบทวินามและเบต้า

ฉันเป็นโปรแกรมเมอร์มากกว่านักสถิติดังนั้นฉันหวังว่าคำถามนี้จะไร้เดียงสาเกินไป

มันเกิดขึ้นในการสุ่มตัวอย่างการประมวลผลโปรแกรมในเวลาสุ่ม ถ้าฉันใช้เวลาสุ่มตัวอย่าง N = 10 ของสถานะของโปรแกรมฉันจะเห็นฟังก์ชั่น Foo ที่กำลังทำงานอยู่ตัวอย่างเช่น I = 3 ของตัวอย่างเหล่านั้น ฉันสนใจในสิ่งที่บอกฉันเกี่ยวกับเวลาจริง ๆ ที่ Foo กำลังดำเนินการ

ฉันเข้าใจว่าฉันกระจายแบบทวินามด้วยค่าเฉลี่ย F * N ฉันก็รู้ว่าเนื่องจาก I และ N เป็น F ตามการแจกแจงแบบเบต้า อันที่จริงฉันได้ตรวจสอบแล้วโดยโปรแกรมความสัมพันธ์ระหว่างการแจกแจงสองอย่างนั่นคือ

cdfBeta(I, N-I+1, F) + cdfBinomial(N, F, I-1) = 1

ปัญหาคือฉันไม่มีความรู้สึกที่เข้าใจได้ง่ายสำหรับความสัมพันธ์ ฉันไม่สามารถ "รูป" ทำไมจึงเป็นไปได้

แก้ไข: คำตอบทั้งหมดเป็นสิ่งที่ท้าทายโดยเฉพาะอย่างยิ่ง @ whuber ซึ่งฉันยังคงต้องห้อมล้อม แต่การนำสถิติในการสั่งซื้อเป็นประโยชน์มาก อย่างไรก็ตามฉันได้ตระหนักว่าฉันควรถามคำถามพื้นฐานเพิ่มเติม: เมื่อให้ฉันกับ N การกระจายตัวของ F คืออะไร ทุกคนได้ชี้ให้เห็นว่ามันเป็นเบต้าซึ่งฉันรู้ ในที่สุดผมก็คิดออกจากวิกิพีเดีย ( Conjugate ก่อน ) Beta(I+1, N-I+1)ว่ามันดูเหมือนจะเป็น หลังจากสำรวจด้วยโปรแกรมก็ดูเหมือนจะเป็นคำตอบที่ถูกต้อง ดังนั้นฉันต้องการทราบว่าฉันผิด และฉันยังคงสับสนเกี่ยวกับความสัมพันธ์ระหว่างสอง cdf ที่แสดงด้านบนทำไมพวกเขารวมถึง 1 และถ้าพวกเขามีอะไรเกี่ยวข้องกับสิ่งที่ฉันอยากรู้

พิจารณาสถิติการสั่งซื้อ$x_{[0]} \le x_{[1]} \le \cdots \le x_{[n]}$ของ$n+1$เป็นอิสระจากการแจกแจงแบบเดียวกัน เนื่องจากสถิติการสั่งซื้อมีการแจกแจงแบบเบต้าโอกาสที่$x_{[k]}$ไม่เกิน$p$จะได้รับจากอินทิกรัลเบต้า

$$\Pr[x_{[k]} \le p] = \frac{1}{B(k+1, n-k+1)} \int_0^p{x^k(1-x)^{n-k}dx}.$$

(ทำไมนี่คืออะไรนี่คือการสาธิตที่ไม่เข้มงวด แต่น่าจดจำโอกาสที่$x_{[k]}$อยู่ระหว่าง$p$และ$p + dp$คือโอกาสที่ค่า$n+1$สม่ำเสมอซึ่ง$k$อยู่ระหว่าง$0$ถึง$p$อย่างน้อยหนึ่งของพวกเขาอยู่ระหว่าง$p$และ$p + dp$และโกหกที่เหลือระหว่าง$p + dp$และ$1$ . ในการสั่งซื้อครั้งแรกในเล็ก$dp$เราจะต้องพิจารณากรณีที่ว่าหนึ่งค่า (คือ$x_{[k]}$เอง) อยู่ระหว่าง$p$และ$p + dp$และดังนั้นจึง$n - k$ค่าเกิน$p + dp$พี เนื่องจากค่ามีความเป็นอิสระและชุดนี้น่าจะเป็นสัดส่วนกับ$p^k (dp) (1 - p - dp)^{n-k}$ k ลำดับแรกใน$dp$นี่เท่ากับ , การรวมและการกระจายเบต้าอย่างแม่นยำ คำศัพท์$p^k(1-p)^{n-k}dp$สามารถคำนวณได้โดยตรงจากการโต้แย้งนี้เป็นสัมประสิทธิ์ multinomial ( n + $\frac{1}{B(k+1, n-k+1)}$หรือมาทางอ้อมว่าค่าคงที่ normalizing ของอินทิกรัล)${n+1}\choose{k,1, n-k}$

ตามคำนิยามเหตุการณ์เป็นที่k + 1 เซนต์มูลค่าไม่เกินหน้า เท่าเทียมกันอย่างน้อยk + 1ของค่าไม่เกินp : การยืนยันที่ง่าย (และฉันหวังว่าชัดเจน) นี้ให้สัญชาตญาณที่คุณต้องการ ความน่าจะเป็นของข้อความเทียบเท่านั้นได้จากการแจกแจงแบบทวินาม$x_{[k]} \le p$$k+1^\text{st}$$p$ $k+1$$p$

$$\Pr[\text{at least }k+1\text{ of the }x_i \le p] = \sum_{j=k+1}^{n+1}{{n+1}\choose{j}} p^j (1-p)^{n+1-j}.$$

โดยสรุปเบต้าอินทิกรัลแบ่งการคำนวณเหตุการณ์เป็นชุดการคำนวณ: ค้นหาค่าอย่างน้อยในช่วง[ 0 , p ]ซึ่งความน่าจะเป็นที่เรามักจะคำนวณด้วย Binomial cdf ถูกแบ่งออกเป็นสองฝ่ายร่วมกัน กรณีพิเศษที่ว่าkค่าอยู่ในช่วง[ 0 , x ]และ 1 คุ้มค่าอยู่ในช่วง[ x , x + d x ]สำหรับเป็นไปได้ทั้งหมดx , 0 ≤ x < $k+1$$[0, p]$ $k$$[0, x]$$[x, x+dx]$$x$$0 \le x \lt p$และเป็นความยาวน้อยที่สุด ข้อสรุปของ "windows" ดังกล่าวทั้งหมด[ x , x + d x ] -นั่นคือการบูรณาการ - ต้องให้ความน่าจะเป็นเช่นเดียวกับ cdf แบบทวินาม$dx$$[x, x+dx]$

ดูไฟล์ pdf ของ Binomial เป็นฟังก์ชั่นของ : f ( x ) = ($x$และ pdf ของเบต้าเป็นฟังก์ชันของp:g(p)=Γ(a+b

$$f(x) = {n\choose{x}}p^{x}(1-p)^{n-x}$$ $p$ คุณอาจเห็นว่ามีตัวเลือก (จำนวนเต็ม) ที่เหมาะสมสำหรับaและbเหล่านี้เหมือนกัน เท่าที่ฉันสามารถบอกได้นั่นคือทั้งหมดที่มีกับความสัมพันธ์นี้: วิธีที่pเข้าสู่ทวินามแบบ pdf เพิ่งเกิดขึ้นที่เรียกว่าการกระจายแบบเบต้า $$g(p)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}p^{a-1}(1-p)^{b-1}$$ $a$$b$$p$

$F$$I$

$$P(F \le \frac {i+1} n)+P(I \le fn-1)=1$$ $$P(Fn \le i+1)+P(I+1 \le fn)=1$$ $$P(Fn \le i+1)=P(fn<I+1)$$ That is, the likelihood that the observation plus one is greater than the expectation of the observation is the same as the likelihood that the observation plus one is greater than the expectation of the observation.

I admit that this may not help intuit the original formulation of the problem, but maybe it helps to at least see how the two distributions use the same underlying model of repeated Bernoulli trials to describe the behavior of different parameters.

In Bayesian land, the Beta distribution is the conjugate prior for the p parameter of the Binomial distribution.

Can't comment on other answers, so i have to create my own answer.

Posterior = C * Likelihood * Prior (C is a constant that makes Posterior integrated to 1)

Given a model that uses Binomial distribution for likelihood, and Beta distribution for Prior. The product of the two which generates the Posterior is also a Beta distribution. Since the Prior and Posterior are both Beta, and thus they are conjugate distributions. the Prior (a Beta) is called conjugate prior for the likelihood (a Binomial). For example, if you multiply a Beta with a Normal, the Posterior is no longer a Beta. In summary, Beta and Binomial are two distributions that are frequently used in Bayesian inference. Beta is Conjugate Prior of Binomial, but the two distributions are not a subset or superset of the other.

The key idea of Bayesian inference is we are treating the parameter p as a random variable that ranges from [0,1] which is contrary to frequentist inference approach where we are treating parameter p as fixed. If you look closely to the properties of Beta distribution, you will see its Mean and Mode are solely determined by $\alpha$ and $\beta$ irrelevant to the parameter p . This, coupled with its flexibility, is why Beta is usually used as a Prior.

Summary: It is often said that Beta distribution is a distribution on distributions! But what is means?

It essentially means that you may fix $n,k$ and think of $\mathbb P[Bin(n,p)\geqslant k]$ as a function of $p$. What the calculation below says is that the value of $\mathbb P[Bin(n,p)\geqslant k]$ increases from $0$ to $1$ when you tune $p$ from $0$ to $1$. The increasing rate at each $p$ is exactly $\beta(k,n-k+1)$ at that $p$.

---

Let $Bin(n,p)$ denote a Binomial random variable with $n$ samples and the probability of success $p$. Using basic algebra we have

$$\frac d{dp}\mathbb P[Bin(n,p)=i]=n\Big(\mathbb P[Bin(n-1,p)=i-1]-\mathbb P[Bin(n-1,p)=i]\Big).$$

It has also some nice combinatorial proof, think of it as an exercise!

So, we have:

$$\frac d{dp}\mathbb P[Bin(n,p)\geqslant k]=\frac d{dp}\sum_{i=k}^{n}\mathbb P[Bin(n,p)=i]=n\Big(\sum_{i=k}^{n}\mathbb P[Bin(n-1,p)=i-1]-\mathbb P[Bin(n-1,p)=i]\Big)$$ which is a telescoping series and can be simplified as

$$\frac d{dp}\mathbb P[Bin(n,p)\geqslant k]=n\mathbb P[Bin(n-1,p)=k-1]=\frac{n!}{(k-1)!(n-k)!}p^{k-1}(1-p)^{n-k}=\beta(k,n-k+1).$$

---

Remark To see an interactive version of the plot look at this. You may download the notebook or just use the Binder link.