ปัวซองและการถดถอยทวินามลบเมื่อใดจะพอดีกับค่าสัมประสิทธิ์เดียวกัน

ฉันสังเกตเห็นว่าใน R, Poisson และการถดถอยแบบทวินามลบ (NB) ดูเหมือนจะเหมาะสมกับค่าสัมประสิทธิ์เดียวกันสำหรับการจัดหมวดหมู่ แต่ไม่ต่อเนื่องทำนาย

ตัวอย่างเช่นนี่คือการถดถอยด้วยตัวพยากรณ์หมวดหมู่:

data(warpbreaks)
library(MASS)

rs1 = glm(breaks ~ tension, data=warpbreaks, family="poisson")
rs2 = glm.nb(breaks ~ tension, data=warpbreaks)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

นี่คือตัวอย่างที่มีตัวทำนายอย่างต่อเนื่องโดยที่ปัวซองและ NB มีค่าสัมประสิทธิ์ต่างกัน:

data(cars)
rs1 = glm(dist ~ speed, data=cars, family="poisson")
rs2 = glm.nb(dist ~ speed, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

(แน่นอนว่าสิ่งเหล่านี้จะไม่นับข้อมูลและตัวแบบนั้นไม่มีความหมาย ... )

จากนั้นฉันจะคำนวณตัวทำนายอีกครั้งเป็นปัจจัยและทั้งสองรุ่นก็มีค่าสัมประสิทธิ์เท่าเดิม:

library(Hmisc)
speedCat = cut2(cars$speed, g=5) 
#you can change g to get a different number of bins

rs1 = glm(cars$dist ~ speedCat, family="poisson")
rs2 = glm.nb(cars$dist ~ speedCat)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

อย่างไรก็ตามการถดถอยแบบลบของโจเซฟฮิลเบให้ตัวอย่าง (6.3, pg 118-119) ซึ่งเป็นตัวทำนายแบบแบ่งเพศมีความสัมพันธ์กับสัมประสิทธิ์ที่แตกต่างกันเล็กน้อยโดยปัวซอง ( ) และ NB ( b = 0.881 ) เขากล่าวว่า: "อัตราส่วนอัตราอุบัติการณ์ระหว่างแบบจำลอง Poisson และ NB นั้นค่อนข้างคล้ายคลึงกัน ไม่น่าแปลกใจเลยที่ความใกล้ชิดของα [สอดคล้องกับ1 / θ in R] ถึงศูนย์”$b=0.883$$b=0.881$$\alpha$$1/\theta$

summary(rs2)$\theta$

แล้วทำไมค่าสัมประสิทธิ์มีค่าเท่ากันทุกประการ? และทำไมสำหรับนักทำนายเชิงหมวดหมู่เท่านั้น?

---

แก้ไข # 1

นี่คือตัวอย่างที่มีตัวทำนายสองมุมที่ไม่เป็นแบบมุมฉาก แท้จริงสัมประสิทธิ์ไม่เหมือนกันอีกต่อไป:

data(cars)

#make random categorical predictor
set.seed(1); randomCats1 = sample( c("A","B","C"), length(cars$dist), replace=T)
set.seed(2); randomCats2 = sample( c("C","D","E"), length(cars$dist), replace=T)

rs1 = glm(dist ~ randomCats1 + randomCats2, data=cars, family="poisson")
rs2 = glm.nb(dist ~ randomCats1 + randomCats2, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

และรวมถึงตัวทำนายอื่นทำให้แบบจำลองมีค่าสัมประสิทธิ์ต่างกันแม้ว่าตัวทำนายใหม่จะต่อเนื่อง ดังนั้นมันเป็นเรื่องเกี่ยวกับ orthogonality ของตัวแปรจำลองที่ฉันสร้างขึ้นในตัวอย่างดั้งเดิมของฉัน

rs1 = glm(dist ~ randomCats1 + speed, data=cars, family="poisson")
rs2 = glm.nb(dist ~ randomCats1 + speed, data=cars)

#compare coefficients
cbind("Poisson"=coef(rs1), "NB"=coef(rs2))

คุณได้ค้นพบที่ใกล้ชิด แต่ทั่วไปทรัพย์สินของ GLMs พอดีโดยโอกาสสูงสุด ผลที่ออกมาเมื่อพิจารณาหนึ่งกรณีที่ง่ายที่สุดของทั้งหมด: การติดตั้งพารามิเตอร์เดียวกับการสังเกตเพียงครั้งเดียว !

$\hat\mu_j = \bar y_j$$j$

$\log$

เมื่อเรามีความสนใจในการสร้างตัวแปรที่มีโครงสร้างมากขึ้นหรือที่ขึ้นอยู่กับตัวทำนายอย่างต่อเนื่องแล้วโครงสร้างข้อผิดพลาดที่สันนิษฐานนั้นจะเกี่ยวข้องเนื่องจากความสัมพันธ์เฉลี่ยความแปรปรวนของการแจกแจงเนื่องจากเกี่ยวข้องกับพารามิเตอร์และฟังก์ชันที่ไม่ใช่เชิงเส้น วิธี

GLMs และตระกูลการกระจายแบบเลขชี้กำลัง: ความผิดพลาด

$$\log f(y;\,\theta,\nu) = \frac{\theta y - b(\theta)}{\nu} + a(y,\nu) \>.$$

$\theta$$\nu$$\nu$

$\theta$$y = b'(\hat\theta)$$\nu$$\bar y = b'(\hat\theta)$

$\theta$

$$\frac{\partial}{\partial \theta} \mathbb E \log f(Y;\theta,\nu) = \mathbb E \frac{\partial}{\partial \theta} \log f(Y;\theta,\nu) = 0 \>.$$ $b'(\theta) = \mathbb E Y = \mu$

$\bar y = \hat\mu$

$\mu_i$$\mu_i = g^{-1}(\mathbf x_i^T \beta)$$g$$\mathbf x_i$$j$$\mu_i = g(\beta_j)$$\beta_j$

อะไรคือความแตกต่างของการทำนายต่อเนื่อง

เมื่อตัวทำนายนั้นต่อเนื่องหรือมีการจัดหมวดหมู่ แต่ไม่สามารถลดให้อยู่ในรูปแบบมุมฉากได้ดังนั้นความน่าจะเป็นไม่ได้อยู่ในเงื่อนไขของแต่ละคำศัพท์อีกต่อไปโดยมีค่าเฉลี่ยแยกต่างหากขึ้นอยู่กับพารามิเตอร์ที่แยกต่างหาก ณ จุดนี้โครงสร้างข้อผิดพลาดและฟังก์ชั่นการเชื่อมโยงไม่เข้ามาเล่น

$$\sum_{i=1}^n \frac{(y_i - \mu_i)x_{ij}}{\sigma_i^2}\frac{\partial \mu_i}{\partial \lambda_i} = 0\>,$$ $j = 1,\ldots,p$$\lambda_i = \mathbf x_i^T \beta$$\beta$$\nu$$\mu_i = g(\lambda_i) = g(\mathbf x_i^T \beta)$$\sigma_i^2$

ด้วยวิธีนี้ฟังก์ชั่นลิงค์และตัวแบบข้อผิดพลาดสันนิษฐานว่ามีความเกี่ยวข้องกับการประมาณ

ตัวอย่าง: โมเดลข้อผิดพลาด (เกือบ) ไม่สำคัญ

$k = 6$

$\log$

จากตารางเราจะเห็นว่าการประมาณการพารามิเตอร์เหมือนกันแม้ว่า GLM บางตัวจะใช้สำหรับข้อมูลที่ไม่ต่อเนื่องและอื่น ๆ นั้นมีไว้เพื่อการต่อเนื่องและบางส่วนนั้นสำหรับการลบข้อมูล

      negbin  poisson gaussian invgauss    gamma
XX1 4.234107 4.234107 4.234107 4.234107 4.234107
XX2 4.790820 4.790820 4.790820 4.790820 4.790820
XX3 4.841033 4.841033 4.841033 4.841033 4.841033

$0$

ตัวอย่าง: ฟังก์ชั่นลิงค์ (เกือบ) ไม่สำคัญ

$\log$$\log(\hat \beta)$$\log(\hat \beta^2)$$\hat\beta$

> coefs.po
         log       id     sqrt
XX1 4.234107 4.234107 4.234107
XX2 4.790820 4.790820 4.790820
XX3 4.841033 4.841033 4.841033

ข้อแม้ในหัวเรื่องนั้นอ้างถึงข้อเท็จจริงที่ว่าการประมาณการแบบดิบจะแตกต่างกันไปตามฟังก์ชันลิงก์ แต่การประมาณค่าพารามิเตอร์โดยนัยจะไม่

รหัส R

# Warning! This code is a bit simplified for compactness.
library(MASS)
n <- 5
m <- 3
set.seed(17)
b <- exp(5+rnorm(m))
k <- 6

# Random negbin data; orthogonal factors
y <- rnbinom(m*n, size=k, mu=rep(b,each=n))
X <- factor(paste("X",rep(1:m,each=n),sep=""))

# Fit a bunch of GLMs with a log link
con <- glm.control(maxit=100)
mnb <- glm(y~X+0, family=negative.binomial(theta=2))
mpo <- glm(y~X+0, family="poisson")
mga <- glm(y~X+0, family=gaussian(link=log), start=rep(1,m), control=con)
miv <- glm(y~X+0, family=inverse.gaussian(link=log), start=rep(2,m), control=con)
mgm <- glm(y~X+0, family=Gamma(link=log), start=rep(1,m), control=con)    
coefs <- cbind(negbin=mnb$coef, poisson=mpo$coef, gaussian=mga$coef
                   invgauss=miv$coef, gamma=mgm$coef)

# Fit a bunch of Poisson GLMs with different links.
mpo.log  <- glm(y~X+0, family=poisson(link="log"))
mpo.id   <- glm(y~X+0, family=poisson(link="identity"))
mpo.sqrt <- glm(y~X+0, family=poisson(link="sqrt"))   
coefs.po <- cbind(log=mpo$coef, id=log(mpo.id$coef), sqrt=log(mpo.sqrt$coef^2))

เพื่อดูว่าเกิดอะไรขึ้นที่นี่จะมีประโยชน์ก่อนที่จะทำการถดถอยโดยไม่มีการสกัดกั้นเนื่องจากการสกัดกั้นในการถดถอยเชิงหมวดหมู่ที่มีตัวทำนายเพียงตัวเดียวไม่มีความหมาย:

> rs1 = glm(breaks ~ tension-1, data=warpbreaks, family="poisson")
> rs2 = glm.nb(breaks ~ tension-1, data=warpbreaks)

เนื่องจากปัวซองและการถดถอยแบบทวินามลบระบุบันทึกของพารามิเตอร์เฉลี่ยจากนั้นสำหรับการถดถอยเชิงหมวดหมู่การแจกแจงค่าสัมประสิทธิ์จะอธิบายพารามิเตอร์เฉลี่ยที่แท้จริงสำหรับแต่ละหมวดหมู่:

>  exp(cbind("Poisson"=coef(rs1), "NB"=coef(rs2)))
          Poisson       NB
tensionL 36.38889 36.38889
tensionM 26.38889 26.38889
tensionH 21.66667 21.66667

พารามิเตอร์เหล่านี้สอดคล้องกับวิธีการจริงมากกว่าค่าหมวดหมู่ที่แตกต่างกัน:

> with(warpbreaks,tapply(breaks,tension,mean))
       L        M        H 
36.38889 26.38889 21.66667 

$\lambda$

$\lambda$

$\lambda$$\theta$$\theta$$\lambda$

$$\begin{align} L(X,\lambda,\theta) &= \prod \left(\frac{\theta}{\lambda+\theta}\right)^\theta \frac{\Gamma(\theta + x_i)}{x_i!\Gamma(\theta)}\left(\frac{\lambda}{\lambda+\theta}\right)^{x_i}\\ \log L(X,\lambda,\theta) &= \sum\theta\left(\text{log}\theta-\text{log}(\lambda+\theta)\right) +x_i\left(\text{log}\lambda-\text{log}(\lambda+\theta)\right) +\log\left(\frac{\Gamma(\theta + x_i)}{x_i!\Gamma(\theta)}\right)\\ \frac{d}{d\lambda}\log L(X,\lambda,\theta) &= \sum \frac{x_i}{\lambda}-\frac{\theta+x_i}{\lambda+\theta} =n\left(\frac{\bar{x}}{\lambda}-\frac{\bar{x}+\theta}{\lambda+\theta}\right), \end{align}$$ $\lambda=\bar{x}$

$\text{log}(\lambda)$$\lambda$

$\lambda$$\lambda$$2$$5$$10$$5*5=25$$\lambda$$11$