การประมาณแบบง่ายของการแจกแจงแบบปัวซองในหางยาว?

ฉันต้องการตัดสินใจความจุของตารางเพื่อให้มีราคาต่อรองเหลือน้อยกว่าเพื่อล้นสำหรับโดยสมมติว่าจำนวนรายการตามกฎหมายปัวซองที่กำหนด ความคาดหวังใน{12}] $C$ $2^{-p}$ $p\in[40\dots 120]$ $E\in[10^3\dots 10^{12}]$

เป็นการดีที่ฉันต้องการจำนวนเต็มต่ำสุดCเช่นที่1-CDF[PoissonDistribution[E],C] < 2^-pได้รับpและE; แต่ฉันพอใจกับบางอย่างที่Cสูงกว่านั้นเล็กน้อย Mathematica นั้นใช้ได้กับการคำนวณแบบแมนนวล แต่ฉันต้องการคำนวณCจากpและEณ เวลารวบรวมซึ่ง จำกัด ฉันเป็นเลขจำนวนเต็ม 64 บิต

ปรับปรุง: ใน Mathematica (รุ่น 7) e = 1000; p = 40; c = Quantile[PoissonDistribution[e], 1 - 2^-p]เป็น1231และดูเหมือนว่าถูกต้อง (ขอบคุณ @Procrastinator); อย่างไรก็ตามผลลัพธ์สำหรับทั้งสองp = 50และp = 60เป็น1250สิ่งที่ผิดในด้านที่ไม่ปลอดภัย (และมีความสำคัญ: การทดสอบของฉันซ้ำเช่นครั้งหรือมากกว่าและฉันต้องการความล้มเหลวโดยรวมน้อยกว่าโดยรวม) ฉันต้องการการประมาณคร่าวๆ แต่ปลอดภัยโดยใช้เลขจำนวนเต็ม 64 บิตเท่านั้นซึ่งมีให้ใน C (++) ณ เวลารวบรวม $2^{25}$ $2^{-30}$

poisson-distribution

— fgrieu
แหล่งที่มา

แล้วไงC = Quantile[PoissonDistribution[E],1-2^p]ล่ะ

ศัพท์นำของฟังก์ชันความน่าจะเป็นมวลของปัวซองนั้นอยู่ในหาง

— พระคาร์ดินัล

@Procrastinator: ใช่ที่ใช้งานได้ใน Mathematica (ยกเว้นเครื่องหมายpและปัญหาความแม่นยำและชื่อEและCที่สงวนไว้) แต่ฉันต้องการการประมาณอย่างง่ายของที่อาจหยาบ (แต่ในด้านความปลอดภัย) โดยใช้ arityhmetic จำนวนเต็ม 64- บิตเท่านั้น!

— fgrieu

Re ปรับปรุง: Mathematica 8 ผลตอบแทนที่ 1262 สำหรับและ 1290 สำหรับpการประมาณปกติอีกครั้ง (@Proc): สิ่งนี้ไม่สามารถคาดได้ว่าจะทำงานได้ดีในก้อยซึ่งมีความสำคัญต่อการคำนวณ

p = 50

$p=50$

p = 60

$p=60$

— whuber

บางทีคุณควรถาม stackoverflow ฉันไม่คุ้นเคยกับข้อ จำกัด ที่คุณมี ฉันไม่ทราบว่าจะห้ามไม่ให้คุณใช้การจัดสรรหน่วยความจำแบบไดนามิกหรือว่าคุณสามารถใช้การแยกสาขาเพื่อตัดสินใจขนาดของอาร์เรย์หรือค่าใช้จ่ายในการกำหนดอาร์เรย์ซึ่งมีขนาดใหญ่เป็นสองเท่าของขนาดที่คุณต้องการ ของมัน) หากฟังก์ชั่นบางอย่างเช่น (เป็นตัวอย่าง) คุณคำตอบที่แน่นอนคุณจะสามารถดำเนินการประมาณภายใต้ข้อ จำกัด ของคุณหรือไม่? ดูเหมือนว่าปัญหาการเขียนโปรแกรมในขณะนี้

μ + \sqrt{\log \log μ} \log μ \sqrt{μ} + p \frac{\sqrt{μ}}{\log μ}

$\mu + \sqrt{\log\log \mu} \log \mu \sqrt \mu + p \frac{\sqrt{\mu}} {\log \mu}$

— Douglas Zare

คำตอบ:

การกระจายปัวซงที่มีค่าเฉลี่ยขนาดใหญ่นั้นเป็นเรื่องปกติ แต่คุณต้องระวังว่าคุณต้องการหางที่ถูกผูกไว้และการประมาณปกตินั้นมีความแม่นยำน้อยกว่าตามสัดส่วนใกล้กับก้อย

วิธีการหนึ่งที่ใช้ในคำถาม MOและด้วยการแจกแจงทวินามคือการรับรู้ว่าหางลดลงอย่างรวดเร็วกว่าชุดรูปทรงเรขาคณิตดังนั้นคุณสามารถเขียนขอบเขตบนอย่างชัดเจนเป็นชุดรูปทรงเรขาคณิต

\begin{array}{rcl} \sum_{k = D}^{\infty} \exp (- μ) \frac{μ^{k}}{k!} & < & \sum_{k = D}^{\infty} \exp (- μ) \frac{μ^{D}}{D!} (\frac{μ}{D + 1})^{k - D} \\ = & \exp (- μ) \frac{μ^{D}}{D!} \frac{1}{1 - \frac{μ}{D + 1}} \\ < & \exp (- μ) \frac{μ^{D}}{\sqrt{2 π D} (D / e)^{D}} \frac{1}{1 - \frac{μ}{D + 1}} \\ = & \exp (D - μ) (\frac{μ}{D})^{D} \frac{D + 1}{\sqrt{2 π D} (D + 1 - μ)} \end{array}

$\begin{eqnarray}\sum_{k=D}^\infty \exp(-\mu)\frac{\mu^k}{k!} & \lt & \sum_{k=D}^\infty \exp(-\mu) \frac{\mu^D}{D!}\bigg(\frac \mu{D+1}\bigg)^{k-D} \\ & = & \exp(-\mu)\frac{\mu^D}{D!}\frac{1}{1-\frac{\mu}{D+1}} \\ & \lt & \exp(-\mu) \frac{\mu^D}{\sqrt{2\pi D}(D/e)^D} \frac{1}{1-\frac{\mu}{D+1}} \\ & = & \exp(D-\mu) \bigg(\frac{\mu}{D}\bigg)^D \frac{D+1}{\sqrt{2\pi D} (D+1-\mu)}\end{eqnarray}$

บรรทัดที่ 2บรรทัดที่ 3 เกี่ยวข้องกับสูตรของสเตอร์ลิง ในทางปฏิบัติฉันคิดว่าคุณต้องการแก้เป็นตัวเลขโดยใช้การค้นหาแบบไบนารี วิธีการของนิวตันเริ่มต้นด้วยการเดาเริ่มต้นของควรทำงานเช่นกัน $\to$ $-p \log 2 = \log(\text{bound})$ $D = \mu + c \sqrt \mu.$

ตัวอย่างเช่นด้วยและโซลูชันตัวเลขที่ฉันได้คือ 1384.89 การแจกแจงปัวซงที่มีค่าเฉลี่ยนำค่าจากถึงด้วยความน่าจะเป็นค่าถึงเกิดขึ้นกับความน่าจะเป็น $p=100$ $\mu = 1000$ $1000$ $0$ $1384$ $1-1/2^{100.06}.$ $0$ $1383$ $1-1/2^{99.59}.$

— ดักลาสแซร์
แหล่งที่มา

+1 อีกวิธีที่เกี่ยวข้องกับความน่าจะเป็นหางปัวซอง (ทางด้านขวา) กับความน่าจะเป็นหางของการแจกแจงแกมม่า (ทางซ้าย) ซึ่งใกล้เคียง (เหนือ) ประมาณด้วยอานประมาณ

— whuber

มีทางยาวไปถึงสิ่งที่ จำกัด เลขคณิตจำนวนเต็ม 64 บิต (ไม่มี exp, log, sqrt .. ) แต่ฉันจะทำงานกับมัน; ขอบคุณทุกคน!

— fgrieu

(1) ถึงการภาวนาของการประมาณของสเตอร์ลิง (ซึ่งเป็นที่ไม่เกี่ยวข้อง) นี้เป็นว่าผูกพันฉันเป็น (opaquely) อ้างอิงในความคิดเห็นของฉันไปที่สหกรณ์ (ตัวอย่างเช่นดูที่นี่ )

— พระคาร์ดินัล

คุณอาจจะเห็นพีHarremoës: ชาร์ปขอบเขตบนน่าจะเป็นหางสำหรับตัวแปรสุ่ม Poisson https://helda.helsinki.fi/bitstream/handle/10138/229679/witmse_proc_17.pdf ไม่เท่าเทียมกันหลักมีดังต่อไปนี้ Letเป็นตัวแปรสุ่ม Poisson กับพารามิเตอร์\ใส่ ให้แสดงถึงฟังก์ชันการแจกแจงสะสมสำหรับกฎหมายปกติมาตรฐาน จากนั้นสำหรับจำนวนเต็มทั้งหมด , ซึ่งเทียบเท่ากับ สำหรับจำนวนเต็มทั้งหมด $Y$ $\lambda$

G (x) = \sqrt{2 (x \ln \frac{x}{λ} + λ - x)} s i g n (x - λ) .

$G(x)= \sqrt{2\left(x\ln \frac{x}{\lambda} +\lambda-x\right)} \ \ {\rm sign} \left(x-\lambda\right).$

Φ

$\Phi$

k \geq 0

$k\ge 0$

P (Y < k) \leq Φ (G (k)) \leq P (Y \leq k),

${\bf P}(Y<k)\le \Phi(G(k)) \le {\bf P}(Y\le k),$

Φ (G (k - 1)) \leq P (Y < k) \leq Φ (G (k))

$\Phi(G(k-1)) \le {\bf P}(Y<k)\le \Phi(G(k))$

k > 0

$k>0$ . ยิ่งกว่านั้นซึ่งหมายความว่า สำหรับทุกจำนวนเต็ม 0

Φ (G (k + (1 / 2))) \leq P (Y \leq k)

$\Phi(G(k+(1/2))) \le {\bf P}(Y\le k)$

Φ (G (k - 1 / 2)) \leq P (Y < k) \leq Φ (G (k))

$\Phi(G(k-1/2)) \le {\bf P}(Y<k)\le \Phi(G(k))$

k > 0

$k>0$

— Pavel Ruzankin
แหล่งที่มา

หากคุณสามารถเขียนสมการหลัก (สมมติว่ามีเพียงหนึ่งหรือสอง) ที่จะช่วยในกรณีที่ลิงค์จะตายในบางครั้ง

— jbowman