เปลี่ยนจากการทำแบบจำลองกระบวนการโดยใช้การกระจายแบบปัวซงเพื่อใช้การกระจายแบบลบแบบทวินาม?

$\newcommand{\P}{\mathbb{P}}$ เรามีขั้นตอนการสุ่มที่อาจจะหรืออาจจะไม่เกิดขึ้นหลายครั้งในระยะเวลาที่กำหนดของเวลาTเรามีฟีดข้อมูลจากรูปแบบที่มีอยู่ก่อนของกระบวนการนี้ที่ให้ความน่าจะเป็นของจำนวนของเหตุการณ์ที่เกิดขึ้นในช่วงเวลาที่<T โมเดลที่มีอยู่นี้เก่าและเราจำเป็นต้องเรียกใช้การตรวจสอบสดกับข้อมูลฟีดสำหรับข้อผิดพลาดในการประเมิน รุ่นเก่าผลิตข้อมูลฟีด (ซึ่งจะให้ความน่าจะเป็นของเหตุการณ์ที่เกิดขึ้นในเวลาที่เหลืออีก ) จะอยู่ที่ประมาณ Poisson กระจาย $T$ $0 \leq t < T$ $n$ $t$

ดังนั้นเพื่อตรวจสอบความผิดปกติ / ข้อผิดพลาดเราปล่อยให้ $t$ เป็นเวลาที่เหลืออยู่และ $X_t$ เป็นจำนวนรวมของเหตุการณ์ที่จะเกิดขึ้นในระยะเวลาที่เหลือที $t$ รุ่นเก่าหมายถึงการประมาณการ $\P(X_t \leq c)$ ค) ดังนั้นภายใต้สมมติฐานของเรา $X_t\sim \operatorname{Poisson}(\lambda_{t})$ เรามี:

P (X_{t} \leq c) = e^{- λ} \sum_{k = 0}^{c} \frac{λ_{t}^{k}}{k!} .

$\P(X_t \leq c) = e^{-\lambda}\sum_{k=0}^c\frac{\lambda_t^k}{k!}\,.$ เพื่อให้ได้อัตราการจัดกิจกรรมของเรา

λ_{t}

$\lambda_t$ จากเอ้าท์พุทของโมเดลเก่า (การสังเกต

y_{t}

$y_{t}$ ) เราใช้วิธีพื้นที่ของรัฐและสร้างแบบจำลองความสัมพันธ์ของรัฐเป็น:

y_{t} = λ_{t} + ε_{t} (ε_{t} \sim N (0, H_{t})) .

$y_t = \lambda_t + \varepsilon_t\quad (\varepsilon_t \sim N(0, H_t))\,.$ เรากรองการสังเกตจากแบบจำลองเก่าโดยใช้แบบจำลองพื้นที่รัฐ [การสลายตัวด้วยความเร็วคงที่] สำหรับการวิวัฒนาการของ

λ_{t}

$\lambda_t$ เพื่อรับสถานะการกรอง

E (λ_{t} | Y_{t})

$E(\lambda_t|Y_t)$ และตั้งค่าสถานะความผิดปกติ / ความผิดพลาดในความถี่เหตุการณ์โดยประมาณจาก ที่ฟีดข้อมูลหาก

E (λ_{t} | Y_{t}) < y_{t}

$E(\lambda_t|Y_t) < y_t$ <y_t

วิธีการนี้ใช้งานได้ดีในการรับข้อผิดพลาดในเหตุการณ์ที่คาดการณ์นับในช่วงเวลาเต็มรูปแบบ $T$ แต่ไม่ดีถ้าเราต้องการทำเช่นเดียวกันสำหรับช่วงเวลาอื่น $0 \leq t < \sigma$ โดยที่ $\sigma < \frac{2}{3} T$ T ในการหลีกเลี่ยงสิ่งนี้เราได้ตัดสินใจแล้วว่าตอนนี้เราต้องการเปลี่ยนไปใช้การแจกแจงลบแบบทวินามเพื่อที่เราจะได้สมมติว่าตอนนี้ $X_t\sim NB(r, p)$ และเรามี:

P (X_{t} \leq c) = p^{r} \sum_{k = 0}^{c} (1 - p)^{k} (\binom{k + r - 1}{r - 1}),

$\P(X_{t} \leq c) = p^{r}\sum_{k = 0}^c (1 - p)^{k}\binom{k + r -1}{r - 1},$ ซึ่งตอนนี้พารามิเตอร์

λ

$\lambda$ ถูกแทนที่ด้วย

r

$r$ และ

p

$p$ . สิ่งนี้ควรตรงไปตรงมาเพื่อนำไปใช้ แต่ฉันมีปัญหากับการตีความและทำให้ฉันมีคำถามบางอย่างที่ต้องการให้คุณช่วย:

1.เราสามารถตั้งค่า $p = \lambda$ ในการแจกแจงแบบทวินามลบได้ไหม? ถ้าไม่ทำไมไม่

2.สมมติว่าเราสามารถตั้งค่า $p = f(\lambda)$ โดยที่ $f$ คือฟังก์ชั่นบางอย่างเราจะตั้งค่าอย่างถูกต้องได้ $r$ อย่างไร (เราจำเป็นต้องพอดีกับ $r$ โดยใช้ชุดข้อมูลที่ผ่านมา)?

3.คือ $r$ ขึ้นอยู่กับจำนวนของเหตุการณ์ที่เกิดขึ้นเราคาดว่าจะเกิดขึ้นในระหว่างขั้นตอนที่กำหนดหรือไม่

ภาคผนวกเพื่อแยกการประมาณสำหรับ $r$ (และ $p$ ):

ฉันรู้ว่าถ้าเราในความเป็นจริงมีปัญหานี้กลับและเรามีจำนวนเหตุการณ์สำหรับแต่ละกระบวนการที่เราสามารถนำมาใช้ประมาณการโอกาสสูงสุดสำหรับและPแน่นอนน่าจะเป็นประมาณการสูงสุดอยู่เพียงตัวอย่างที่ความแปรปรวนของกลุ่มตัวอย่างมีขนาดใหญ่กว่าค่าเฉลี่ยของกลุ่มตัวอย่าง แต่ถ้าเรื่องนี้เป็นกรณีที่เราสามารถตั้งค่าฟังก์ชั่นความน่าจะเป็นสำหรับอิสระสังเกตกันกระจายเป็น: ซึ่งเราสามารถเขียนฟังก์ชันบันทึกความเป็นไปได้ดังนี้: $r$ $p$ $N$ $k_1, k_2, \ldots, k_{N}$

L (r, p) = \prod_{i = 1}^{N} P (k_{i}; r, p),

$L(r, p) = \prod_{i = 1}^{N}\P(k_i; r, p),$

l (r, p) = \sum_{i = 1}^{N} \ln (Γ (k_{i} + r)) - \sum_{i = 1}^{N} \ln (k_{i}!) - N \ln (Γ (r)) + \sum_{i = 1}^{N} k_{i} \ln (p) + N r \ln (1 - p) .

$l(r, p) = \sum_{i = 1}^{N} \ln(\Gamma(k_i + r)) - \sum_{i = 1}^{N} \ln(k_{i}!) - N\ln(\Gamma(r)) + \sum_{i = 1}^{N} k_i \ln(p) + N r\ln(1 - p).$ เพื่อหาค่าสูงสุดเราหาอนุพันธ์ย่อยบางส่วนเทียบกับและแล้วตั้งค่าเป็นศูนย์: การตั้งค่าและการตั้งค่าเราพบ:

r

$r$

p

$p$

\begin{aligned} \partial_{r} l (r, p) & = \sum_{i = 1}^{N} ψ (k_{i} + r) - N ψ (r) + N \ln (1 - p), \\ \partial_{p} l (r, p) & = \sum_{i = 1}^{N} k_{i} \frac{1}{p} - N r \frac{1}{1 - p} . \end{aligned}

$\begin{align*} \partial_{r} l(r, p) &= \sum_{i = 1}^{N} \psi(k_i + r) - N\psi(r) + N\ln(1 - p), \\ \partial_{p} l(r, p) &= \sum_{i = 1}^{N} k_i\frac{1}{p} - N r \frac{1}{1 - p} \enspace . \end{align*}$

\partial_{r} l (r, p) = \partial_{p} l (r, p) = 0

$\partial_{r} l(r, p) = \partial_{p} l(r, p) = 0$

p = \sum_{i = 1}^{N} \frac{k_{i}}{(N r + \sum_{i = 1}^{N} k_{i})},

$p = \displaystyle\sum_{i = 1}^{N} \displaystyle\frac{k_i} {(N r + \sum_{i = 1}^{N} k_i)},$

\partial_{r} l (r, p) = \sum_{i = 1}^{N} ψ (k_{i} + r) - N ψ (r) + N \ln (\frac{r}{r + \sum_{i = 1}^{N} \frac{k_{i}}{N}}) = 0.

$\partial_{r} l(r, p) = \sum_{i = 1}^{N} \psi(k_i + r) - N \psi(r) + N\ln\left(\frac{r}{r + \sum_{i = 1}^{N} \frac{k_i}{N}}\right) = 0.$ สมการนี้ไม่สามารถแก้ไขได้สำหรับ r ในรูปแบบปิดโดยใช้นิวตันหรือแม้แต่ EM อย่างไรก็ตามนี่ไม่ใช่กรณีในสถานการณ์นี้ แม้ว่าเราจะสามารถใช้ข้อมูลที่ผ่านมาเพื่อรับค่าคงที่และนี่ไม่ใช่การใช้งานจริงสำหรับกระบวนการของเรา แต่เราต้องปรับพารามิเตอร์เหล่านี้ในเวลาเช่นเดียวกับที่เราใช้ปัวซอง

r

$r$

p

$p$

— moonknight
แหล่งที่มา

ทำไมไม่เพียงแค่เสียบข้อมูลของคุณเข้ากับโมเดลการถดถอยแบบปัวซองหรือเนกาทีฟทวินาม?

— StatsStudent

ผมไม่รู้สึกว่ามันควรจะมีที่จะนำมาใช้ โปรดจำไว้ว่าปัวซงเป็นกรณี จำกัด ของเนกาทีฟบิโอเมียลควรจะมีวิธีการตั้งค่าพารามิเตอร์ปัญหานี้ในลักษณะที่ฉันได้ทำเพื่อปัวซอง นอกจากนี้กระบวนการนี้เกิดขึ้นพร้อมกันสำหรับกระบวนการที่แตกต่างกันหลายพันกระบวนการและไม่มีใครมี "อัตราเหตุการณ์" เดียวกันซึ่งหมายความว่าการวิเคราะห์การถดถอยสำหรับพารามิเตอร์เหล่านี้จะต้องทำในทุกการสังเกตใหม่สำหรับกระบวนการที่มีชีวิตทั้งหมด สิ่งนี้ไม่สามารถทำได้ ขอบคุณมากที่สละเวลาในการอ่านคำถามและความคิดเห็นของฉันมันเป็นที่นิยมมากที่สุด ...

— MoonKnight

ในแง่ของการเชื่อมโยงปัวซองกับ NB หากคุณมีกับตัวแปรการกระจายที่ซ่อนอยู่ดังนั้นและ1} นี้จะช่วยให้การกระจาย NB ร่อแร่เมื่อการบูรณาการออกg_tคุณสามารถใช้สิ่งนี้เพื่อช่วย

(X_{t} | λ_{t}, r_{t}, g_{t}) \sim P o i s (λ_{t} g_{t})

$(X_t|\lambda_t,r_t,g_t)\sim Pois (\lambda_tg_t)$

(g_{t} | r_{t}) \sim G a m m a (r_{t}, r_{t})

$(g_t|r_t)\sim Gamma (r_t,r_t)$

E (g_{t}) = 1

$E (g_t)=1$

v a r (g_{t}) = r_{t}^{- 1}

$var(g_t)=r_t^{-1}$

g_{t}

$g_t$

— ความน่าจะเป็นทางการ

นั่นเป็นความช่วยเหลือที่ดี แต่คุณสามารถเพิ่มรายละเอียดและให้รายละเอียดที่ชัดเจนได้หรือไม่? ขอบคุณมากสำหรับเวลาของคุณ ...

— MoonKnight

แล้วการใช้ทวินามมากกว่าการลบทวินามล่ะ? นั่นอาจจะง่ายกว่าที่จะทำ Anscombe FJ การแปลงข้อมูลปัวซอง, ทวินามและลบทวินาม Biometrika 1948; 35: 246-54

— คาร์ล

การแจกแจงทวินามลบนั้นคล้ายกันมากกับตัวแบบความน่าจะเป็นทวินาม มันสามารถใช้งานได้เมื่อสมมติฐาน (เงื่อนไข) ดังต่อไปนี้ดี 1) การทดลองใด ๆ จะดำเนินการภายใต้เงื่อนไขเดียวกันจนกว่าจะมีจำนวนของความสำเร็จคงที่กล่าวว่า C คือบรรลุ 2) ผลของการทดสอบแต่ละครั้งสามารถแบ่งออกเป็นหนึ่งในสองประเภท ความสำเร็จหรือความล้มเหลว 3) ความน่าจะเป็น P ของความสำเร็จนั้นเท่ากันสำหรับการทดสอบแต่ละครั้ง 40 การทดสอบแต่ละครั้งนั้นไม่ขึ้นกับสิ่งอื่นใด เงื่อนไขแรกเป็นเพียงปัจจัยสำคัญที่สร้างความแตกต่างระหว่างทวินามและทวินามลบ

— Vishwa Dharma
แหล่งที่มา

การแจกแจงปัวซองนั้นสามารถประมาณค่าทวินามได้อย่างสมเหตุสมผลภายใต้เงื่อนไขบางประการเช่น 1) ความน่าจะเป็นที่จะประสบความสำเร็จสำหรับการทดลองแต่ละครั้งนั้นน้อยมาก P -> 0 2) np = m (พูด) เป็น finete กฎที่ใช้บ่อยที่สุดโดยนักสถิติคือปัวซองเป็นค่าประมาณที่ดีของทวินามเมื่อ n เท่ากับหรือมากกว่า 20 และ p เท่ากับหรือน้อยกว่า 5 %

— Vishwa Dharma
แหล่งที่มา