จะสร้างแบบจำลองผลรวมของตัวแปรสุ่มของเบอร์นูลลี่สำหรับข้อมูลที่ต้องพึ่งพาได้อย่างไร

ฉันมีคำถามเกือบเหมือนกัน: ฉันจะสร้างแบบจำลองผลรวมของตัวแปรสุ่มของเบอร์นูลลี่ได้อย่างมีประสิทธิภาพได้อย่างไร

แต่การตั้งค่าแตกต่างกันมาก:

1. $S=\sum_{i=1,N}{X_i}$, $P(X_{i}=1)=p_i$, $N$~ 20 $p_i$~ 0.1

2. เรามีข้อมูลสำหรับผลลัพธ์ของตัวแปรสุ่มของ Bernoulli: $X_{i,j}$ , $S_j=\sum_{i=1,N}{X_{i,j}}$

3. ถ้าเราประเมิน $p_i$ ด้วยการประเมินความเป็นไปได้สูงสุด (และรับ $\hat p^{MLE}_i$) ปรากฎว่า $\hat P\{S=3\} (\hat p^{MLE}_i)$ มีขนาดใหญ่กว่าเกณฑ์อื่นที่คาดไว้: $\hat P\{S=3\} (\hat p^{MLE}_i) - \hat P^{expected} \{S=3\}\approx 0.05$

4. ดังนั้น, $X_{i}$ และ $X_{j}$ $(j>k)$ ไม่สามารถถือว่าเป็นอิสระได้ (มีการพึ่งพาอาศัยกันเล็กน้อย)

5. มีข้อ จำกัด บางประการดังนี้: $p_{i+1} \ge p_i$ และ $\sum_{s \le 2}\hat P\{S=s\}=A$ (ทราบ) ซึ่งควรช่วยในการประมาณ $P\{S\}$.

เราจะลองจำลองผลรวมของตัวแปรสุ่มของเบอร์นูลลี่ในกรณีนี้ได้อย่างไร

วรรณกรรมประเภทใดที่มีประโยชน์ในการแก้ปัญหา?

ปรับปรุง

มีความคิดเพิ่มเติม:

(1) มีความเป็นไปได้ที่จะสันนิษฐานว่าการพึ่งพาอาศัยกันระหว่าง ${X_i}$เริ่มหลังจาก 1 หรือมากกว่าความสำเร็จในซีรีส์ ดังนั้นเมื่อ$\sum_{i=1,K}{X_i} > 0$, $p_{K+1} \to p'_{K+1}$ และ $p'_{K+1} < p_{K+1}$.

(2) ในการใช้ MLE เราจำเป็นต้องมีแบบจำลองที่น่าสงสัยน้อยที่สุด นี่คือตัวแปร:

$P\{X_1,...,X_k\}= (1-p_1) ... (1-p_k)$ ถ้า $\sum_{i=1,k}{X_i} = 0$ สำหรับ k ใด ๆ $P\{X_1,...,X_k,X_{k+1},...,X_N\}= (1-p_1) ... p_k P'\{X_{k+1},...,X_N\}$ ถ้า $\sum_{i=1,k-1}{X_i} = 0$ และ $X_k = 1$และ $P'\{X_{k+1}=1,X_{k+2}=1,...,X_N=1\} \le p_{k+1} p_{k+2} ... p_N$ สำหรับ k ใด ๆ

(3) เนื่องจากเราสนใจเท่านั้น $P\{S\}$ เราสามารถตั้งค่า $P'\{X_{k+1},...,X_N\} \approx P''\{\sum_{i=1,k}{X_i}=s' ; N-(k+1)+1=l\}$ ความน่าจะเป็นของ $\sum_{i=k+1,N}{X_i}$ความสำเร็จสำหรับ N- (k + 1) +1 เรียกจากหาง) และใช้พารามิเตอร์$P''\{\sum_{i=k,N}{X_i}=s' ; N-k+1=l\}= p_{s',l}$

(4) ใช้ MLE สำหรับรุ่นตามพารามิเตอร์ $p_1,...,p_N$ และ $p_{0,1}, p_{1,1}; p_{0,2}, p_{1,2}, p_{2,2};...$ กับ $p_{s',l}=0$ สำหรับ $s' \ge 6$ (และใด ๆ $l$) และข้อ จำกัด อื่น ๆ

ทุกอย่างโอเคกับแผนนี้หรือไม่

อัปเดต 2

ตัวอย่างของการกระจายเชิงประจักษ์ $P\{S\}$ (สีแดง) เปรียบเทียบกับการแจกแจงแบบปัวซง (สีน้ำเงิน) (ค่าปัวส์หมายถึง 2.22 และ 2.45 ขนาดตัวอย่าง 332 และ 259):

สำหรับตัวอย่าง (A1, A2) ที่มีค่าปัวซงหมายถึง 2.28 และ 2.51 (ขนาดตัวอย่างคือ 303 และ 249):

สำหรับ samlpe ที่เข้าร่วม A1 + A2 (ขนาดตัวอย่างคือ 552):

ดูเหมือนว่าการแก้ไข Poisson ควรเป็นโมเดลที่ดีที่สุด :)

แนวทางหนึ่งคือการสร้างแบบจำลอง $X$ด้วยโมเดลเชิงเส้นทั่วไป (GLM) ที่นี่คุณจะกำหนด$p_i$ความน่าจะเป็นที่จะประสบความสำเร็จใน $i$'การทดลองใช้เป็นฟังก์ชั่นเชิงเส้นตรงของประวัติการสังเกตการณ์ ดังนั้นคุณควรปรับค่า GLM แบบตอบรับอัตโนมัติให้เหมาะสมโดยที่เสียงนั้นคือเบอร์นูลลีและฟังก์ชั่นการเชื่อมโยงเป็น logit การตั้งค่าคือ:

$p_i = f(b + a_1 X_{i-1} + a_2 X_{i-2} + \ldots a_k X_{i-k})$ที่ไหน

$f(x) = \frac{1}{1+\exp(x)}$และ

$X_i \sim Bernoulli(p_i)$

พารามิเตอร์ของโมเดลคือ $\{b, a_1, \ldots a_k\}$ซึ่งสามารถประมาณได้โดยการถดถอยโลจิสติก (สิ่งที่คุณต้องทำคือตั้งค่าเมทริกซ์การออกแบบของคุณโดยใช้ส่วนที่เกี่ยวข้องของประวัติการสังเกตในแต่ละการทดลองและส่งผ่านไปยังฟังก์ชันการประมาณการถดถอยแบบโลจิสติก หากผลลัพธ์มีความเป็นอิสระแน่นอนแล้ว$a_i$จะถูกตั้งค่าเป็นศูนย์ บวก$a_i$หมายความว่าตามมา $p_i$เพิ่มขึ้นเมื่อใดก็ตามที่สังเกตเห็นความสำเร็จ

แบบจำลองไม่ได้ให้การแสดงออกอย่างง่ายสำหรับความน่าจะเป็นเหนือผลรวมของ$X_i$แต่สิ่งนี้ง่ายต่อการคำนวณโดยการจำลอง (การกรองอนุภาคหรือ MCMC) เนื่องจากตัวแบบมีโครงสร้างของ Markovian ง่าย

แบบจำลองชนิดนี้ถูกนำมาใช้กับความสำเร็จอย่างยิ่งใหญ่ในการสร้างแบบจำลองการพึ่งพาชั่วคราวระหว่าง "spikes" ของเซลล์ประสาทในสมองและมีวรรณกรรมที่ครอบคลุมเกี่ยวกับแบบจำลองกระบวนการชี้จุดอัตโนมัติ ดูตัวอย่างTruccolo et al 2005 (แม้ว่าบทความนี้ใช้ปัวซองแทนความเป็นไปได้ของเบอร์นูลลี แต่การทำแผนที่จากที่หนึ่งไปอีกที่หนึ่งเป็นเรื่องตรงไปตรงมา)

หากการพึ่งพาอาศัยกันเกิดจากการรวมกลุ่มแบบปัวซองแบบผสมอาจเป็นคำตอบของแบบจำลอง $S_j$. การอ้างอิงแบบสุ่มค่อนข้างเป็นสิ่งนี้โดย Barbour และ Chryssaphinou

ในทิศทางที่แตกต่างอย่างสิ้นเชิงเนื่องจากคุณระบุว่า $N$ คือ 20 และค่อนข้างเล็กสามารถสร้างแบบจำลองกราฟิกของ $X_{ij}$แต่ฉันไม่ทราบว่าการตั้งค่าและข้อมูลของคุณทำให้เป็นไปได้หรือไม่ ในฐานะที่เป็นความคิดเห็น @chl มันจะมีประโยชน์ถ้าคุณอธิบายสิ่งที่$X_{i,j}$คือ

หากว่า $X_{i,j}$เป็นตัวแทนของการวัดตามลำดับเช่นเมื่อเวลาผ่านไปและการพึ่งพาเกี่ยวข้องกับสิ่งนี้ความเป็นไปได้ครั้งที่สาม - และเพื่อเพิ่มการประนีประนอมระหว่างคำแนะนำสองข้อด้านบน - คือการใช้โมเดลของมาร์คอฟที่ซ่อนอยู่ $X_{i,j}$'s