การถดถอยปัวซองด้วยข้อมูลขนาดใหญ่: การเปลี่ยนหน่วยการวัดเป็นความผิดหรือไม่?

เนื่องจากแฟกทอเรียลในการแจกแจงปัวส์ซองมันไม่น่าเป็นไปได้ที่จะประเมินโมเดลปัวซอง (ตัวอย่างเช่นการใช้โอกาสสูงสุด) เมื่อการสังเกตมีขนาดใหญ่ ตัวอย่างเช่นถ้าฉันพยายามประเมินแบบจำลองเพื่ออธิบายจำนวนการฆ่าตัวตายในปีที่กำหนด (มีข้อมูลรายปีเท่านั้น) และพูดว่ามีการฆ่าตัวตายหลายพันคนทุกปีมันผิดหรือไม่ที่จะแสดงการฆ่าตัวตายเป็นร้อย ๆ ดังนั้น 2998 จะเป็น 29.98 ~ = 30? กล่าวอีกนัยหนึ่งการเปลี่ยนหน่วยการวัดเพื่อให้สามารถจัดการข้อมูลได้เป็นความผิดหรือไม่?

เมื่อคุณจัดการกับการแจกแจงปัวซงด้วยค่าขนาดใหญ่ \ lambda (พารามิเตอร์ของมัน) มันเป็นเรื่องธรรมดาที่จะใช้การประมาณปกติเพื่อการแจกแจงปัวซอง

เมื่อไซต์นี้กล่าวถึงคุณสามารถใช้การประมาณปกติเมื่อ \ lambda ได้รับมากกว่า 20 และการปรับปรุงจะดีขึ้นเมื่อ \ lambda สูงขึ้น

การแจกแจงปัวซองนั้นถูกกำหนดไว้เฉพาะในพื้นที่ของรัฐซึ่งประกอบด้วยจำนวนเต็มไม่เป็นลบดังนั้นการลดทอนและปัดเศษจะนำสิ่งแปลกประหลาดเข้าสู่ข้อมูลของคุณ

ใช้ประมาณปกติ สำหรับสถิติปัวซองขนาดใหญ่เป็นเรื่องธรรมดามาก

ในกรณีของปัวซองมันไม่ดีเนื่องจากนับเป็นจำนวน - หน่วยของพวกเขาคือความสามัคคี ในทางกลับกันหากคุณใช้ซอฟต์แวร์ขั้นสูงบางอย่างเช่น R ฟังก์ชันการจัดการ Poisson ของมันจะรับรู้จำนวนมากเช่นนั้นและจะใช้เทคนิคตัวเลขเพื่อจัดการกับมัน

เห็นได้ชัดว่าฉันยอมรับว่าการประมาณค่าปกติเป็นอีกวิธีที่ดี

แพคเกจสถิติส่วนใหญ่มีฟังก์ชันในการคำนวณลอการิทึมธรรมชาติของแฟคทอเรียลโดยตรง (เช่นฟังก์ชัน lfactorial () ใน R, ฟังก์ชัน lnfactorial () ใน Stata) สิ่งนี้อนุญาตให้คุณรวมคำที่คงที่ในความเป็นไปได้ในการบันทึกหากคุณต้องการ

ฉันเกรงว่าคุณจะทำอย่างนั้นไม่ได้ ในฐานะ @Baltimark สหรัฐฯด้วยแลมบ์ดาขนาดใหญ่การกระจายจะมีรูปร่างปกติมากขึ้น (สมมาตร) และการลดขนาดลงมันจะไม่เป็นการรบกวนแบบปัวซองอีกต่อไป ลองใช้รหัสต่อไปนี้ใน R:

poi1 = rpois(100000, lambda = 5)  # poisson
poi2 = rpois(100000, lambda = 100)/20 # scaled-down poisson
poi2_dens = density(poi2)

hist(poi1, breaks = 0:30, freq = F, ylim = range(poi2_dens$y))
lines(poi2_dens, col = "red")

ผลลัพธ์อยู่ด้านล่าง:

คุณจะเห็นว่าปัวซองที่ลดระดับลง (เส้นสีแดง) นั้นแตกต่างจากการกระจายตัวปัวซองอย่างสิ้นเชิง

คุณสามารถละเว้น 'แฟคทอเรียล' เมื่อใช้ความน่าจะเป็นสูงสุด นี่คือเหตุผลสำหรับตัวอย่างการฆ่าตัวตายของคุณ ปล่อย:

λ: เป็นจำนวนที่คาดว่าจะฆ่าตัวตายต่อปี

k _i : เป็นจำนวนการฆ่าตัวตายในปีที่ฉัน

จากนั้นคุณจะเพิ่มความน่าจะเป็นบันทึก:

LL = ∑ (k _ฉันบันทึก (λ) - λ - k _i !)

การเพิ่มดังกล่าวข้างต้นนั้นเทียบเท่ากับการเพิ่มดังต่อไปนี้เป็น k _i ! เป็นค่าคงที่:

LL ^' = ∑ (k _iบันทึก (λ) - λ)

สามารถอธิบายได้ว่าทำไมแฟคทอเรียลจึงมีปัญหา ฉันพลาดอะไรไปรึเปล่า?