อะไรคือความแตกต่างระหว่าง "ฟังก์ชั่นลิงค์" และ "ฟังก์ชั่นลิงก์แบบบัญญัติ" สำหรับ GLM

65

ความแตกต่างระหว่างคำว่า 'ฟังก์ชั่นการเชื่อมโยง' และ 'ฟังก์ชั่นการเชื่อมโยงแบบบัญญัติ' คืออะไร? นอกจากนี้ยังมีข้อดี (ทางทฤษฎี) ของการใช้อย่างใดอย่างหนึ่งมากกว่าที่อื่น ๆ ?

ตัวอย่างเช่นตัวแปรการตอบสนองแบบไบนารีสามารถสร้างแบบจำลองโดยใช้ฟังก์ชั่นลิงค์จำนวนมากเช่นlogit , probitเป็นต้น แต่logitที่นี่ถือเป็นฟังก์ชันลิงก์ "canonical"

logistic generalized-linear-model link-function

— steadyfish
แหล่งที่มา

10

ฉันพูดคุยเกี่ยวกับฟังก์ชั่นการเชื่อมโยงอย่างกว้างขวางที่นี่: ความแตกต่างระหว่างรุ่น logit และ probitโดยมุ่งเน้นที่การถดถอยสำหรับตัวแปรตอบกลับแบบไบนารี่ แม้ว่าการสนทนาเพียงเล็กน้อยเท่านั้นจะมุ่งเน้นไปที่ความหมายของฟังก์ชั่นลิงค์ว่าเป็น 'บัญญัติ' แต่ก็อาจเป็นประโยชน์ในการอ่าน โปรดทราบว่าการเข้าใจความแตกต่าง b / t & ข้อดีของฟังก์ชันลิงก์แบบ canonical vs non-canonical นั้นจำเป็นต้องมีความลึกลงไปในคณิตศาสตร์พื้นฐานของ GLiM

— gung - Reinstate Monica

68

คำตอบข้างต้นนั้นใช้งานได้ง่ายขึ้นดังนั้นฉันจึงพยายามอย่างเข้มงวดมากขึ้น

GLM คืออะไร

$Y=(y,\mathbf{x})$ $y$ $p$ $\mathbf{x}=(x_1,\dots,x_p)$ $E(y)=\mu$ $i=1,\dots,n$ $y_i$

f (y_{i}; θ_{i}, ϕ) = \exp {[y_{i} θ_{i} - γ (θ_{i})] / ϕ + τ (y_{i}, ϕ)}

$f(y_i;\theta_i,\phi)=\exp\{[y_i\theta_i-\gamma(\theta_i)]/\phi+\tau(y_i,\phi)\}$

θ_{i}

$\theta_i$

ϕ

$\phi$

γ

$\gamma$

τ

$\tau$

n

$n$

p

$p$ การอธิบายตัวแปรจะแสดงด้วย

พี

เราสมมติว่าอินพุตเวกเตอร์มีอิทธิพลต่อ (1) ผ่านฟังก์ชันเชิงเส้นเท่านั้น, ตัวทำนายเชิงเส้น,

ตามที่

ขึ้นอยู่กับ ในขณะที่มันสามารถแสดงให้เห็นว่า

x_{1}, \dots, x_{p}

$\mathbf{x}_1,\dots,\mathbf{x}_p$

η_{i} = β_{0} + β_{1} x_{i 1} + \dots + β_{p} x_{i p}

$\eta_i=\beta_0+\beta_1x_{i1}+\dots+\beta_px_{ip}$

θ_{i}

$\theta_i$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$ การพึ่งพานี้ถูกสร้างขึ้นโดยการเชื่อมต่อตัวทำนายเชิงเส้น

และ

ผ่านค่าเฉลี่ย โดยเฉพาะอย่างยิ่งค่าเฉลี่ย

ถูกมองว่าเป็นฟังก์ชั่นกลับด้านและเรียบของตัวทำนายเชิงเส้นคือ

ตอนนี้เพื่อตอบคำถามของคุณ:

η

$\eta$

θ

$\theta$

μ

$\mu$

g (μ) = η or μ = g^{- 1} (η)

$g(\mu)=\eta\ \textrm{or}\ \mu=g^{-1}(\eta)$

$g(\cdot)$ $\mu$ $\eta$ $\theta$ $\eta \equiv\theta$ $g=(\gamma')^{-1}$

$X'y$ $\sum_i x_{ij} y_i$ $j = 1, \dots, p$ $\mu$

ดังนั้นพวกเขามักจะใช้โดยค่าเริ่มต้น อย่างไรก็ตามโปรดทราบว่าไม่มีเหตุผลเบื้องต้นว่าทำไมเอฟเฟกต์ในโมเดลควรเพิ่มขึ้นในสเกลที่กำหนดโดยลิงก์นี้หรือลิงก์อื่นใด

— Momo
แหล่งที่มา

5

+1 นี่เป็นคำตอบที่ดีจริงๆ @Momo ฉันพบว่าสมการบางอันยากที่จะอ่านเมื่อถูกฝังไว้ในย่อหน้าดังนั้นฉันจึง 'ปิดกั้น' พวกเขาโดยใช้เครื่องหมายดอลลาร์สองครั้ง (เช่น$ $) ฉันหวังว่าไม่เป็นไร (ถ้าไม่คุณสามารถย้อนกลับด้วยคำขอโทษของฉัน)

— gung - Reinstate Monica

1

@ โมโมคำถามดั้งเดิมที่นี่อย่างไรรวมถึงสิ่งที่ Wei ถามเกี่ยวกับดังนั้นจึงเป็นมูลค่าชี้ให้เห็นว่ายังไม่ได้รับคำตอบอย่างชัดเจน

— Glen_b

1

θ

$\theta$

η = θ

$\eta=\theta$

g (μ) = θ

$g(\mu)=\theta$

θ = (γ^{'})^{- 1} (μ)

$\theta=(\gamma')^{-1}(\mu)$

θ

$\theta$

θ \equiv μ

$\theta \equiv \mu$

g (.) = (γ^{'})^{- 1} (.)

$g(.)=(\gamma')^{-1}(.)$

1

γ^{'} (θ) = π = \frac{e x p (θ)}{1 + e x p (θ)}

$\gamma'(\theta) = \pi = \frac{exp(\theta)}{1+exp(\theta)}$

(γ^{'})^{- 1} (.) = logit(.)

$(\gamma')^{-1}(.) = \text{logit(.)}$

η = θ

$\eta = \theta$

g (.)

$g(.)$

θ = l o g i t (π) = η

$\theta = logit(\pi) = \eta$

θ

$\theta$

η

$\eta$ มีอยู่ถ้าเราใช้ฟังก์ชันลิงก์แบบบัญญัติ

— Druss2k

2

μ

$\mu$

θ

$\theta$

η \equiv θ

$\eta \equiv \theta$

16

gung อ้างถึงคำอธิบายที่ดี: ลิงก์แบบบัญญัติมีคุณสมบัติทางทฤษฎีพิเศษของความพอเพียงน้อยที่สุด ซึ่งหมายความว่าคุณสามารถกำหนดโมเดล logit แบบมีเงื่อนไข (ซึ่งนักเศรษฐศาสตร์เรียกว่าโมเดลเอฟเฟกต์แบบคงที่) โดยการ จำกัด จำนวนผลลัพธ์ แต่คุณไม่สามารถกำหนดโมเดล probit ที่มีเงื่อนไขได้เนื่องจากไม่มีสถิติเพียงพอที่จะใช้กับลิงก์ probit

— StasK
แหล่งที่มา

คุณสามารถอธิบายเพิ่มเติมเกี่ยวกับความเพียงพอเพียงเล็กน้อยได้หรือไม่? จากคำอธิบายข้างต้นเรายังคงสามารถกำหนดโมเดล probit ได้ใช่ไหม มันจะไม่เป็นฟังก์ชั่นการเชื่อมโยงที่ยอมรับได้แน่นอน แต่สิ่งที่เป็นอันตรายในการใช้ฟังก์ชั่นการเชื่อมโยงที่ไม่เป็นที่ยอมรับ

— pikachuchameleon

9

นี่คือแผนภาพเล็ก ๆ ที่ได้แรงบันดาลใจมาจากคลาส18.650ของ MIT ซึ่งฉันคิดว่ามีประโยชน์มากเพราะช่วยให้เห็นภาพความสัมพันธ์ระหว่างฟังก์ชั่นเหล่านี้ ฉันใช้สัญกรณ์เดียวกับในโพสต์ของ @ momo:

$\gamma(\theta)$
$g(\mu)$

$g$

แผนภาพอนุญาตให้ไปจากทิศทางหนึ่งไปอีกทิศทางหนึ่งได้อย่างง่ายดายตัวอย่างเช่น:

η = g (γ (θ))

$\eta = g \left( \gamma(\theta)\right)$

θ = γ^{' - 1} (g^{- 1} (η))

$\theta = \gamma'^{-1}\left( g^{-1}(\eta)\right)$

ฟังก์ชั่นลิงค์ Canonical

$g$

γ^{- 1} \circ g^{- 1} = {(g \circ γ^{'})}^{- 1} = I

$\gamma^{-1} \circ g^{-1}= \left( g \circ \gamma' \right)^{-1} = I$

θ = η

$\theta = \eta$

— Xavier Bourret Sicotte
แหล่งที่มา

1

คำตอบข้างต้นได้กล่าวถึงสิ่งที่ฉันต้องการจะพูดไปแล้ว เพียงชี้แจงบางจุดในฐานะนักวิจัยของการเรียนรู้ของเครื่อง:

ฟังก์ชั่นการเชื่อมโยงคืออะไร แต่สิ่งที่ตรงกันข้ามของฟังก์ชั่นการเปิดใช้งาน ตัวอย่างเช่น logit คือค่าผกผันของ sigmoid, probit เป็นค่าผกผันของฟังก์ชันการแจกแจงสะสมของ Gaussian
$w^T x$ $w$ $x$

การสนทนาข้างต้นไม่มีส่วนเกี่ยวข้องกับครอบครัวชี้แจง แต่สามารถพบการสนทนาที่ดีในหนังสือ PRML ของ Christopher Bishop บทที่ 4.3.6

— Guojun Zhang
แหล่งที่มา