ความสัมพันธ์ระหว่างการแจกแจงเบต้าและรูปแบบการถดถอยโลจิสติกคืออะไร?

คำถามของฉันคืออะไรความสัมพันธ์ทางคณิตศาสตร์ระหว่างการแจกแจงเบต้าและสัมประสิทธิ์ของตัวแบบการถดถอยโลจิสติกคืออะไร?

เพื่อแสดงให้เห็นถึง:ฟังก์ชันลอจิสติก (sigmoid) ได้รับจาก

f (x) = \frac{1}{1 + \exp (- x)}

$f(x) = \frac{1}{1+\exp(-x)}$

และมันถูกใช้เพื่อสร้างโมเดลความน่าจะเป็นในโมเดลการถดถอยโลจิสติก ให้ $A$ เป็น dichotomous $(0,1)$ ทำคะแนนผลลัพธ์และ $X$ a matrix ออกแบบ แบบจำลองการถดถอยโลจิสติกจะได้รับจาก

P (A = 1 | X) = f (X β) .

$P(A=1|X) = f(X \beta).$

หมายเหตุ $X$ มีคอลัมน์แรกของค่าคงที่ $1$ (สกัดกั้น) และ $\beta$ เป็นคอลัมน์เวกเตอร์ของสัมประสิทธิ์การถดถอย ตัวอย่างเช่นเมื่อเรามีหนึ่ง regressor (ปกติมาตรฐาน) $x$ และเลือก $\beta_0=1$ (สกัดกั้น) และ $\beta_1=1$ เราสามารถจำลองผลลัพธ์ 'การแจกแจงความน่าจะเป็น'

พล็อตนี้จะแจ้งเตือนของการกระจายเบต้า (เช่นการทำแปลงสำหรับทางเลือกอื่น ๆ ของ $\beta$ ) ที่มีความหนาแน่นจะได้รับจาก

g (y; p, q) = \frac{Γ (p) Γ (q)}{Γ (p + q)} y^{(p - 1)} (1 - y)^{(q - 1)} .

$g(y;p,q) = \frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)} y^{(p-1)} (1-y)^{(q-1)}.$

ใช้โอกาสสูงสุดหรือวิธีการในช่วงเวลาที่มันเป็นไปได้ที่จะประเมินและจากการกระจายของ )ดังนั้นคำถามของฉันลงมาที่: ความสัมพันธ์ระหว่างตัวเลือกของและและคืออะไร? สิ่งนี้เพื่อเริ่มต้นด้วยที่อยู่กรณี bivariate ที่ระบุไว้ข้างต้น $p$ $q$ $P(A=1|X)$ $\beta$ $p$ $q$

— Tomka
แหล่งที่มา

ฉันเพิ่งสงสัยเมื่อ 3 ชั่วโมงที่แล้วในชั้นเรียนสถิติแบบเบย์

— นักเล่นแร่แปรธาตุ

คำตอบ:

Beta คือการแจกแจงค่าในช่วงที่มีความยืดหยุ่นสูงในรูปของมันดังนั้นสำหรับการกระจายค่าเชิงประจักษ์แบบ unimodal ใด ๆในคุณสามารถค้นหาพารามิเตอร์ของการแจกแจงแบบเบต้าที่มีลักษณะคล้ายกับรูปร่าง ของการกระจาย $(0,1)$ $(0,1)$

ขอให้สังเกตว่าการถดถอยโลจิสติกให้คุณมีความน่าจะเป็นเงื่อนไขในขณะที่พล็อตของคุณคุณจะนำเสนอให้เรากระจายร่อแร่ของความน่าจะเป็นที่คาดการณ์ไว้ นี่เป็นสองสิ่งที่แตกต่างกันในการพูดคุย $\Pr(Y=1\mid X)$

ไม่มีความสัมพันธ์โดยตรงระหว่างพารามิเตอร์การถดถอยโลจิสติกและพารามิเตอร์ของการแจกแจงเบต้าเมื่อมองหาการกระจายของการทำนายจากแบบจำลองการถดถอยโลจิสติก ด้านล่างคุณสามารถดูข้อมูลที่จำลองโดยใช้การแจกแจงแบบปกติเลขชี้กำลังและการแจกแจงแบบสม่ำเสมอโดยใช้ฟังก์ชันโลจิสติก นอกจากการใช้พารามิเตอร์เดียวกันของการถดถอยโลจิสติก (เช่น ) การแจกแจงความน่าจะเป็นที่คาดการณ์แตกต่างกันมาก ดังนั้นการกระจายความน่าจะเป็นที่คาดการณ์ไม่ได้ขึ้นอยู่กับพารามิเตอร์ของการถดถอยโลจิสติกเท่านั้น แต่ยังรวมถึงการแจกแจงของและไม่มีความสัมพันธ์อย่างง่ายระหว่างพวกเขา $\beta_0 = 0, \beta_1 = 1$ $X$

เนื่องจากเบต้าเป็นการกระจายของค่าในดังนั้นจึงไม่สามารถใช้ในการสร้างแบบจำลองข้อมูลไบนารีได้เนื่องจากการถดถอยแบบโลจิสติกส์ มันสามารถใช้ในการจำลองความน่าจะเป็นในลักษณะที่เราใช้การถดถอยเบต้า (ดูที่นี่และที่นี่ ) ดังนั้นหากคุณสนใจความน่าจะเป็น (เข้าใจว่าเป็นตัวแปรสุ่ม) คุณสามารถใช้การถดถอยเบต้าสำหรับวัตถุประสงค์ดังกล่าว $(0,1)$

— ทิม
แหล่งที่มา

ดังนั้นถ้าเบต้าสามารถประมาณการกระจายตัวใด ๆ ได้ควรมีความสัมพันธ์ระหว่างพารามิเตอร์กับ

หรือไม่?

β

$\beta$

— tomka

@ Tomka แต่การกระจายขึ้นอยู่กับการกระจายข้อมูลของคุณและพารามิเตอร์ดังนั้นแม้จะมีความสัมพันธ์ดังกล่าวอยู่มันเป็นเรื่องที่ซับซ้อนมาก เห็นได้ชัดว่าไม่มีความสัมพันธ์โดยตรงระหว่างพารามิเตอร์การถดถอยและพารามิเตอร์ของการแจกแจงเบต้า ลองจำลองการทำนายการถดถอยโลจิสติกภายใต้พารามิเตอร์เดียวกันโดยใช้การแจกแจงที่แตกต่างกันสำหรับ

การกระจายที่ขอบจะแตกต่างกันในแต่ละกรณี

X

$X$

— ทิม

การแจกแจงแบบเบต้านั้นไม่ยืดหยุ่น - ไม่สามารถประมาณการกระจายตัวแบบหลายค่าได้

— มาร์คัส PS

@ MarcusPS ฉันทำให้มันชัดเจนยิ่งขึ้น

— ทิม

@MarcusPS ยกเว้นกรณีพิเศษของการแจกแจงแบบหลายรูปแบบด้วยโหมดที่ 0 และ 1 ...

— Ben Bolker

การถดถอยโลจิสติกเป็นกรณีพิเศษของโมเดลเชิงเส้นทั่วไป (GLM) ในกรณีพิเศษนี้ของข้อมูลไบนารีฟังก์ชันลอจิสติกคือฟังก์ชันcanonical linkที่แปลงปัญหาการถดถอยแบบไม่เป็นเชิงเส้นในมือให้เป็นปัญหาเชิงเส้น GLM นั้นค่อนข้างพิเศษในแง่ที่ว่ามันใช้กับการแจกแจงในตระกูลเอ็กซ์โพเนนเชียลเท่านั้น (เช่นการแจกแจงแบบทวินาม)

ในการประมาณค่าแบบเบส์การแจกแจงแบบเบต้าคือคอนจูเกตก่อนการแจกแจงแบบทวินามซึ่งหมายความว่าการอัปเดตแบบเบย์เป็นรุ่นเบต้าก่อนหน้านี้พร้อมกับการสังเกตแบบทวินาม ดังนั้นหากคุณนับการสังเกตข้อมูลไบนารี่คุณสามารถรับการประมาณค่าแบบเบย์วิเคราะห์ของพารามิเตอร์ของการแจกแจงทวินามโดยใช้เบต้าก่อนหน้านี้

ดังนั้นตามแนวของสิ่งที่คนอื่นพูดฉันไม่คิดว่ามีความสัมพันธ์โดยตรง แต่ทั้งการแจกแจงแบบเบต้าและการถดถอยโลจิสติกมีความสัมพันธ์ใกล้ชิดกับการประมาณค่าพารามิเตอร์ของสิ่งที่ตามมาด้วยการแจกแจงแบบทวินาม

— Marcus PS
แหล่งที่มา

ฉัน +1 แล้วสำหรับการพูดถึงมุมมองแบบเบย์ แต่สังเกตว่าในกรณีของแบบจำลองการถดถอยเราไม่ได้ใช้รูปแบบเบต้าทวินามและการแจกแจงแบบเบต้าโดยทั่วไปไม่ได้ใช้เป็นพารามิเตอร์ก่อนหน้า - อย่างน้อยในกรณีของแบบโลจิสติกแบบเบย์ทั่วไป การถอยหลัง ดังนั้นนี่ไม่ได้แปลโดยตรงกับรุ่นเบต้า - ทวินาม

— ทิม

$P(A=1|X)$ $X$ $X$ $N(0,1)$ $\exp(-X\beta)$ $\mu=-1$ $\beta_0=\beta_1=1$ $P(A=1|X)$

F (x) = 1 - Φ [\ln (\frac{1}{x} - 1) + 1],

$F(x)=1-\Phi\left[\ln\left(\frac{1}{x}-1\right)+1\right],$

Q (x) = \frac{1}{1 + \exp (Φ^{- 1} (1 - x) - 1)},

$Q(x)=\frac{1}{1+\exp(\Phi^{-1}(1-x)-1)},$

f (x) = \frac{1}{x (1 - x) \sqrt{2 π}} \exp (- \frac{(\ln (1 / x - 1) + 1)^{2}}{2}),

$f(x)=\frac{1}{x(1 - x)\sqrt{2\pi}}\exp\left(-\frac{(\ln(1/x-1)+1)^2}{2}\right),$

คุณสามารถตรวจสอบผลลัพธ์ที่ได้รับข้างต้นในR :

n = 100000

X = cbind(rep(1, n), rnorm(n)) # simulate design matrix
Y = 1 / (exp(-X %*% c(1,1)) + 1) # P(A=1|X)

Z1 = 1 / (rlnorm(n, -1, 1) + 1) # simulate from lognormal directly
Z2 = 1 / (1 + exp(qnorm(runif(n)) - 1)) # simulate with inverse CDF

# Kolmogorov–Smirnov test
ks.test(Y, Z1)
ks.test(Y, Z2)

# plot fitted density
new.pdf = function(x) {
  1 / (x * (1 - x) * sqrt(2 * pi)) * exp(-0.5 * (log(1 / x - 1) + 1)^2)
}
hist(Y, breaks = "FD", probability = T)
curve(new.pdf, col = 4, add = T)

— ฟรานซิส
แหล่งที่มา

x

$x$

f (x)

$f(x)$

[- inf, inf]

$[-\inf, \inf]$

P (A | X)

$P(A|X)$

[0, 1]

$[0,1]$

f (x)

$f(x)$

P (A | X)

$P(A|X)$

1 / x - 1 > 0

$1/x-1>0$

x \in (0, 1)

$x\in(0,1)$

f

$f$

X

$X$

@whuber: ดูเหมือนว่าฉันเข้าใจผิดบางอย่างฉันก็ลบส่วนนั้นออก

— ฟรานซิส