การกระจายปัวซองแตกต่างจากการแจกแจงแบบปกติอย่างไร

ฉันสร้างเวกเตอร์ที่มีการแจกแจงปัวซงดังนี้:

x = rpois(1000,10)

ถ้าฉันใช้ฮิสโตแกรมhist(x)การแจกแจงนั้นดูเหมือนการแจกแจงปกติแบบรูประฆังที่คุ้นเคย อย่างไรก็ตามการทดสอบ Kolmogorov-Smirnoff ที่ใช้ks.test(x, 'pnorm',10,3)บอกว่าการกระจายนั้นแตกต่างจากการแจกแจงแบบปกติอย่างมีนัยสำคัญเนื่องจากมีpค่าน้อยมาก

ดังนั้นคำถามของฉันคือ: การแจกแจงปัวซองนั้นแตกต่างจากการแจกแจงแบบปกติอย่างไรเมื่อฮิสโตแกรมมีลักษณะคล้ายกับการแจกแจงแบบปกติ

1. การแจกแจงปัวซงนั้นไม่ต่อเนื่องในขณะที่การแจกแจงแบบปกตินั้นต่อเนื่องและตัวแปรสุ่มปัวซองนั้นอยู่เสมอ> = 0 ดังนั้นการทดสอบ Kolgomorov-Smirnov มักจะสามารถบอกความแตกต่างได้

2. เมื่อค่าเฉลี่ยของการแจกแจงปัวซงมีขนาดใหญ่มันจะคล้ายกับการแจกแจงแบบปกติ อย่างไรก็ตามrpois(1000, 10)อย่ามองว่ามันคล้ายกับการแจกแจงแบบปกติ (มันหยุดสั้นที่ 0 และหางขวายาวเกินไป)

3. ทำไมคุณกำลังเปรียบเทียบกับks.test(..., 'pnorm', 10, 3)มากกว่าks.test(..., 'pnorm', 10, sqrt(10))? ความแตกต่างระหว่าง 3 และมีขนาดเล็ก แต่จะสร้างความแตกต่างเมื่อเปรียบเทียบการแจกแจง แม้ว่าการแจกแจงเป็นเรื่องปกติอย่างแท้จริงคุณจะต้องจบลงด้วยการแจกแจงค่า p-อนุรักษ์นิยม:$\sqrt{10}$

   set.seed(1)
   
   hist(replicate(10000, ks.test(rnorm(1000, 10, sqrt(10)), 'pnorm', 10, 3)$p.value))
   

นี่เป็นวิธีที่เข้าใจง่ายกว่ามาก:

คุณสามารถดูการแจกแจงแบบทวินามว่าเป็น "แม่" ของการแจกแจงส่วนใหญ่ การแจกแจงแบบปกติเป็นเพียงการประมาณของการแจกแจงแบบทวินามเมื่อ n มีขนาดใหญ่พอ ในความเป็นจริง Abraham de Moivre ค้นพบการแจกแจงแบบปกติเป็นหลักในขณะที่พยายามประมาณการแจกแจงแบบทวินามเพราะมันออกไปจากมืออย่างรวดเร็วในการคำนวณการแจกแจงแบบทวินามเมื่อเติบโตขึ้นโดยเฉพาะเมื่อคุณไม่มีคอมพิวเตอร์ ( อ้างอิง )

การกระจายปัวซองเป็นเพียงการประมาณค่าอีกอย่างหนึ่งของการแจกแจงแบบทวินาม แต่มันก็ยังดีกว่าการแจกแจงแบบปกติเมื่อ n มีขนาดใหญ่และ p มีขนาดเล็กหรือแม่นยำมากขึ้นเมื่อค่าเฉลี่ยใกล้เคียงกับความแปรปรวน (จำไว้ว่าสำหรับการแจกแจงแบบทวินาม np (1-p)) ( ข้อมูลอ้างอิง ) เหตุใดสถานการณ์นี้จึงสำคัญมาก เห็นได้ชัดว่ามันปรากฏขึ้นมากมายในโลกแห่งความเป็นจริงและนั่นเป็นสาเหตุที่เรามีการประมาณ "พิเศษ" ตัวอย่างด้านล่างแสดงให้เห็นถึงสถานการณ์ที่การประมาณ Poisson นั้นยอดเยี่ยมมาก

ตัวอย่าง

เรามีดาต้าเซ็นเตอร์ 100,000 เครื่อง ความน่าจะเป็นของคอมพิวเตอร์เครื่องใดก็ตามที่ล้มเหลวในวันนี้คือ 0.001 ดังนั้นโดยเฉลี่ย np = 100 คอมพิวเตอร์จึงล้มเหลวในดาต้าเซ็นเตอร์ ความน่าจะเป็นที่คอมพิวเตอร์ 50 เครื่องจะล้มเหลวในวันนี้คืออะไร?

Binomial: 1.208E-8
Poisson: 1.223E-8
Normal: 1.469E-7

ในความเป็นจริงคุณภาพการประมาณค่าสำหรับการแจกแจงแบบปกติจะลดลงเมื่อเราไปถึงปลายหางของการกระจายตัว แต่ปัวซองยังคงอยู่ในสภาพที่ดีมาก ในตัวอย่างข้างต้นลองพิจารณาว่าความน่าจะเป็นที่คอมพิวเตอร์ 5 เครื่องจะล้มเหลวในวันนี้เป็นอย่างไร

Binomial: 2.96E-36 
Poisson: 3.1E-36
Normal: 9.6E-22

หวังว่านี่จะช่วยให้คุณเข้าใจได้ง่ายขึ้นเกี่ยวกับการแจกแจงทั้งสามนี้

$\lambda$$n$$p_n$$p_n = \lambda / n$

หนึ่งการพัฒนาค่อนข้างยาวสามารถพบได้ในบล็อกนี้

$X_n \sim \mathrm{Binomial}(n,\lambda/n)$ $k$

$$\begin{align} \mathbb P(X_n = k) &= \frac{n!}{k!(n-k)!} \left(\frac{\lambda}{n}\right)^k \left(1-\frac{\lambda}{n}\right)^{n-k} \\ &= \underbrace{\frac{n! n^{-k}}{(n-k)!}}_{\to 1} \frac{\lambda^k}{k!}\underbrace{(1-\lambda/n)^n}_{\to e^{-\lambda}} \cdot \underbrace{(1-\lambda/n)^{-k}}_{\to 1} \>. \end{align}$$

$n \to \infty$$k$

$$\mathbb P(X_n = k) \to \frac{e^{-\lambda} \lambda^k}{k!} \,,$$ $n \to \infty$$(1-\lambda/n)^n \to e^{-\lambda}$

$n$$p$$\approxeq^d \mathcal N(np, np(1-p))$$n \rightarrow \infty$$p$$p_n = \lambda / n \rightarrow 0$$\lambda$$n$