ทำไม Beta / Dirichlet Regression ไม่ถือว่าเป็นแบบจำลองเชิงเส้นทั่วไป

หลักฐานเป็นคำพูดนี้จากบทความของแพคเกจ R 1betareg

ยิ่งไปกว่านั้นโมเดลยังมีคุณสมบัติบางอย่าง (เช่นตัวทำนายเชิงเส้นฟังก์ชันลิงก์พารามิเตอร์การกระจาย) กับโมเดลเชิงเส้นทั่วไป (GLMs; McCullagh และ Nelder 1989) แต่มันไม่ใช่กรณีพิเศษของกรอบนี้ )

คำตอบนี้ยังพูดพาดพิงถึงความจริง:

[... ] นี่คือรูปแบบการถดถอยที่เหมาะสมเมื่อตัวแปรการตอบสนองถูกแจกจ่ายเป็นเบต้า คุณสามารถคิดว่ามัน คล้ายกับโมเดลเชิงเส้นทั่วไป มันคือสิ่งที่คุณกำลังมองหา [... ] (เน้นที่เหมือง)

ชื่อคำถามบอกว่ามันทั้งหมด: ทำไม Beta / Dirichlet Regression ไม่ถือเป็นแบบจำลองเชิงเส้นแบบทั่วไป (ไม่ใช่แบบ)

เท่าที่ฉันรู้เจนเนอรัลลิสโมเดลเชิงเส้นกำหนดโมเดลที่สร้างขึ้นจากความคาดหวังของตัวแปรตามที่พวกเขามีเงื่อนไขในแบบอิสระ

$f$ คือฟังก์ชันลิงก์ที่จับคู่ความคาดหวัง,คือการแจกแจงความน่าจะเป็น,ผลลัพธ์และการทำนาย,คือพารามิเตอร์เชิงเส้นและความแปรปรวน $g$ $Y$ $X$ $\beta$ $\sigma^2$

f (E (Y ∣ X)) \sim g (β X, I σ^{2})

$f\left(\mathbb E\left(Y\mid X\right)\right) \sim g(\beta X, I\sigma^2)$

GLM ที่แตกต่างกันกำหนด (หรือผ่อนคลาย) ความสัมพันธ์ระหว่างค่าเฉลี่ยและความแปรปรวน แต่ต้องเป็นการกระจายความน่าจะเป็นในตระกูลเลขชี้กำลังซึ่งเป็นสมบัติที่พึงประสงค์ซึ่งควรปรับปรุงความทนทานของการประมาณค่าหากฉันจำได้ถูกต้อง การแจกแจงรุ่นเบต้าและดิริชเล็ตเป็นส่วนหนึ่งของตระกูลเอ็กซ์โพเนนเชียล $g$

[1] Cribari-Neto, F. , & Zeileis, A. (2009) การถดถอยเบต้าใน R

generalized-linear-model beta-regression dirichlet-regression

— Firebug
แหล่งที่มา

(+1) ที่เกี่ยวข้อง: stats.stackexchange.com/a/189196

— อะมีบาพูดว่า Reinstate Monica

@ amoeba ขอบคุณสำหรับลิงค์ที่ไม่เคยเห็นคำถามนั้นมาก่อน

— Firebug

ผมคิดว่าปัญหาคือว่าในขณะที่ถ้าคุณเขียนการกระจายเบต้ากับมาตรฐาน,พารามิเตอร์ (เช่นหมายถึงเครื่องแบบ (0,1)) แล้วกระจายเบต้าอยู่ในครอบครัวชี้แจงถ้าคุณเขียนมัน ในแง่ของ (หมายถึง) และ (การกระจาย) มันไม่ใช่ แต่ฉันไม่เคยใส่ใจเรื่องนั้นมากนักว่าการกระจายนั้นอยู่ในตระกูลเลขชี้กำลังหรือไม่

a

$a$

b

$b$

a = b = 1

$a = b = 1$

μ

$\mu$

ϕ

$\phi$

— หน้าผา AB

@CliffAB หลังจากอ่านความคิดเห็นภายใต้คำตอบของทิมด้านล่างดูเหมือนว่าการรวมตัวกันของเบต้าจะนำไปสู่การไม่ตั้งฉากของพารามิเตอร์ซึ่งดูเหมือนจะเป็นข้อกำหนดสำหรับ McCullagh-Nelder GLMs

— Firebug

ฉันคิดว่าคำตอบสั้น ๆ นี้: stats.stackexchange.com/a/18812/28666มีความเกี่ยวข้องและเพิ่มคำตอบที่นี่ (บอกเป็นนัยว่าทำไม GLM จึงถูกกำหนดด้วยตระกูลการกระจายแบบดั้งเดิม)

— อะมีบาพูดว่า Reinstate Monica

คำตอบ:

ตรวจสอบข้อมูลอ้างอิงดั้งเดิม:

Ferrari, S. , & Cribari-Neto, F. (2004) การถดถอยเบต้าสำหรับอัตราการสร้างแบบจำลองและสัดส่วน วารสารสถิติประยุกต์, 31 (7), 799-815

ดังที่ผู้เขียนระบุไว้พารามิเตอร์ของการแจกแจงเบต้าแบบ parametrized นั้นมีความสัมพันธ์กันดังนั้น

โปรดทราบว่าพารามิเตอร์และไม่ใช่ orthogonal ตรงกันข้ามกับสิ่งที่ตรวจสอบในชั้นเรียนของโมเดลการถดถอยเชิงเส้นแบบทั่วไป (McCullagh และ Nelder, 1989) $\beta$ $\phi$

ดังนั้นในขณะที่โมเดลดูเหมือน GLM และ quacks เช่น GLM แต่ก็ไม่เหมาะกับเฟรมเวิร์ก

— ทิม
แหล่งที่มา

+1 แต่มันจะดีถ้ามีคำตอบที่ละเอียดกว่านี้ โดยส่วนตัวฉันไม่เข้าใจคำพูด (แม้หลังจากเปิดกระดาษที่เชื่อมโยง) เหตุใดพารามิเตอร์เหล่านี้จึงไม่เป็นมุมฉากในการถดถอยเบต้า .. ทำไมจึงจำเป็นต้องใช้ GLMs .. .. อื่น ๆ

— อะมีบาพูดว่า Reinstate Monica

@ amoeba อย่างสุจริตฉันไม่ได้เป็นคนที่สามารถให้คำตอบอย่างละเอียดกับคุณได้ ฉันไม่เคยให้ความสนใจในทฤษฎีเบื้องหลัง GLM มากนักเพื่อที่จะมีความเข้าใจลึกซึ้งเกี่ยวกับรายละเอียดปลีกย่อยดังกล่าว McCullagh และ Nelder พูดถึงข้อกำหนดนี้ แต่ฉันต้องการตรวจสอบหนังสือของพวกเขาเพื่อดูว่าทำไมมันถึงมีความสำคัญ หากใครบางคนจะให้คำอธิบายโดยละเอียดว่าทำไมเรื่องนี้ถึงเป็นปัญหาฉันจะพิจารณาให้รางวัลสำหรับคำตอบนั้น

— ทิม

ความต้องการ orthogonality ใน GLM นั้นสำคัญ: หมายความว่าคุณสามารถประมาณสมการโดยไม่ต้องกังวลเกี่ยวกับการพลาดโอกาสที่เหลือ การประมาณพารามิเตอร์มีความสอดคล้องกันหากระบุสมการเฉลี่ยข้างต้นอย่างถูกต้อง การอนุมานนั้นถูกต้องถ้ามีการระบุความแปรปรวนเพิ่มเติมอย่างถูกต้อง อย่างไรก็ตามในการถดถอยเบต้าคุณไม่สามารถแยกสมการสองโมเดลด้วยวิธีนี้แม้ว่าจะเป็นค่าคงที่ เพื่อผลลัพธ์ที่สอดคล้องกันทุกอย่างจะต้องมีการระบุอย่างถูกต้อง

g (μ) = x^{⊤} β

$g(\mu) = x^\top \beta$

ϕ

$\phi$

— Achim Zeileis

@AchimZeileis ฉันจำได้ว่าฉันเห็นชื่อของคุณใน CV สิ่งที่คุณพูดมีเหตุผลสมบูรณ์แบบ คุณอาจต้องการแปลงความคิดเห็นของคุณเพื่อตอบโดยเพิ่มเหตุผลเพิ่มเติม ดังที่ฉันพูดฉันมีความสุขที่ได้รับรางวัลสำหรับผู้ที่ให้คำตอบอย่างละเอียดสำหรับคำถาม

— ทิม

@Tim จะพยายามทำเมื่อฉันมีเวลามากขึ้น นั่นเป็นเหตุผลที่ผมคิดว่าแสดงความคิดเห็นอย่างรวดเร็วเป็นดีกว่าไม่มีอะไร ...

— Achim Zeileis

คำตอบโดย @probabilityislogic อยู่ในเส้นทางที่ถูกต้อง

การกระจายเบต้าอยู่ในสองพารามิเตอร์ครอบครัวชี้แจง โมเดล GLM แบบง่ายที่อธิบายโดยNelder และ Wedderburn (1972)ไม่รวมการแจกแจงทั้งหมดในตระกูลเลขชี้กำลังสองพารามิเตอร์

ในแง่ของบทความโดย N&W GLM นำไปใช้กับฟังก์ชันความหนาแน่นของประเภทต่อไปนี้ (ซึ่งต่อมาถูกตั้งชื่อตระกูลการกระจายแบบเอ็กซ์โพเนนเชียลใน Jørgensen 1987 ):

π (z; θ, ϕ) = \exp [α (ϕ) {z θ - g (θ) + h (z)} + β (ϕ, z)]

$\pi(z;\theta,\phi) = \exp \left[ \alpha(\phi) \lbrace z\theta - g(\theta) +h(z)\rbrace +\beta(\phi,z) \right]$

ด้วยการเชื่อมโยงเพิ่มเติมฟังก์ชั่นและรูปแบบเชิงเส้นสำหรับพารามิเตอร์ธรรมชาติเบต้า) $f()$ $\theta = f(\mu) = f(X\beta)$

ดังนั้นเราสามารถเขียนการกระจายตัวข้างต้นได้อีกด้วย:

π (z; μ, ϕ) = e x p [z (f (μ) α (ϕ)) + h (z) α (ϕ) - g (f (μ)) α (ϕ) + β (ϕ, z)]

$\pi(z;\mu,\phi) = exp \left[z(f(\mu)\alpha(\phi)) +h(z)\alpha(\phi) - g(f(\mu))\alpha(\phi) +\beta(\phi,z) \right]$

ตระกูลชี้แจงสองพารามิเตอร์คือ:

f (z; θ_{1}, θ_{2}) = e x p [T_{1} (z) η_{1} (θ_{1}, θ_{2}) + T_{2} (z) η_{2} (θ_{1}, θ_{2}) - g (θ_{1}, θ_{2}) + h (z)]

$f(z;\theta_1,\theta_2) = exp \left[T_1(z)\eta_1(\theta_1,\theta_2) + T_2(z)\eta_2(\theta_1,\theta_2) - g(\theta_1,\theta_2) +h(z) \right]$

ซึ่งมีลักษณะคล้ายกัน แต่กว้างกว่า (ถ้าเป็นหนึ่งในคงที่) $\theta$

ความแตกต่างนั้นชัดเจนและทำให้การแจกแจงเบต้าในรูปแบบเป็นไปไม่ได้

อย่างไรก็ตามฉันไม่มีความเข้าใจเพียงพอในการสร้างคำตอบที่เข้าใจง่ายและมีข้อมูลมากขึ้น (ฉันมีความรู้สึกว่าสามารถมีความสัมพันธ์ที่ลึกซึ้งและสง่างามมากขึ้นกับหลักการพื้นฐานที่หลากหลาย) GLM จะกระจายการแจกแจงข้อผิดพลาดโดยใช้แบบจำลองการแจกแจงเอ็กซ์โพเนนเชียลแบบแปรผันเดี่ยวแทนที่แบบจำลองกำลังสองน้อยที่สุดและวางความสัมพันธ์เชิงเส้นในค่าเฉลี่ยโดยใช้ฟังก์ชันลิงก์

ที่ดีที่สุดและง่ายที่สุดสัญชาตญาณน่าจะเป็น dispersion-ระยะยาวในการชี้แจงซึ่งได้รับการคูณกับทุกสิ่งและทำให้การกระจายตัวไม่แตกต่างกันกับ\ในขณะที่หลาย ๆ ครอบครัวที่อธิบายพารามิเตอร์สองและวิธีการกึ่งโอกาสช่วยให้พารามิเตอร์การกระจายเป็นหน้าที่ของเช่นกัน $\alpha(\phi)$ $\theta$ $\theta$

— Sextus Empiricus
แหล่งที่มา

พารามิเตอร์ที่สองใน N&W ที่กำหนดไว้ df คือการกระจายตัว มันเป็นการขยายครอบครัวหนึ่งพารามิเตอร์แบบเอกสิทธิ์ธรรมชาติ

ϕ

$\phi$

π (z; θ)

$\pi(z;\theta)$

— Sextus Empiricus

@amoeba เบต้าเป็นการแจกแจงแบบกระจายสองเท่าของครอบครัวเช่นwww2.stat.duke.edu/courses/Spring11/sta114/lec/expofam.pdf

— Tim

ฉันไม่แน่ใจว่ามันเป็นไปไม่ได้ทั้งหมดแม้จะมีการกระจายตัวที่แน่นอน อย่างน้อยก็ไม่เป็นไปตาม glm ตามที่ระบุไว้โดย N&W (สิ่งที่ฉันรู้คือคนจำนวนมากทำสิ่งที่ยากขึ้นเพื่อแก้ปัญหาการถดถอยเบต้า) ฉันจะแก้ไขคำตอบเพื่อแสดงว่าเกิดอะไรขึ้นและมันจะผิดพลาดที่ไหนถ้าเราพยายามทำตามเส้นทางเดียวกันของการวนซ้ำซ้ำอย่างน้อยกำลังสองกำลังสอง

— Sextus Empiricus

ฉันได้แก้ไขคำตอบบ้างแล้ว 1) คำอธิบายเบื้องต้นของฉันเกี่ยวกับตระกูลและโมเดลการกระจายไม่ถูกต้อง GLM นั้นรวมการแจกแจงทั้งหมดของตระกูลเลขชี้กำลังเชิงเอกภาพเพราะมันไม่ได้เป็นเพียงแค่ฟังก์ชันความหนาแน่นนั้น แต่ยังเป็นฟังก์ชันลิงก์ 2) ในแง่ของมุมมองที่ใช้งานง่ายกว่าฉันไม่สามารถไปได้ไกลและไม่คาดหวังว่าจะได้ไกล โมเดล GLM เกี่ยวข้องกับโมเดลคลาสสิกในรูปแบบต่าง ๆ เพิ่มน้ำหนักให้กับสูตรเมทริกซ์ของขั้นตอนการติดตั้งอนุพันธ์ของฟังก์ชันบันทึกความน่าจะเป็นรวมถึงเงื่อนไขด้วยฟังก์ชันลิงก์และความแปรปรวน .....

— Sextus Empiricus

ฉันใช้เสรีภาพในการแก้ไขคำตอบของคุณเล็กน้อยหวังว่าคุณจะสบายดีกับการแก้ไข ดูเหมือนว่าคำตอบนี้stats.stackexchange.com/a/18812/28666บอกว่าทำไม N&W จึงใช้ตระกูลการแจกจ่ายนี้โดยเฉพาะ

— อะมีบาพูดว่า Reinstate Monica

ผมไม่คิดว่าการกระจายเบต้าเป็นส่วนหนึ่งของครอบครัวกระจายชี้แจง เพื่อให้ได้สิ่งนี้คุณต้องมีความหนาแน่น

f (y; θ, τ) = \exp (\frac{y θ - c (θ)}{τ} + d (y, τ))

$f (y;\theta,\tau)=\exp\left (\frac {y\theta - c (\theta)}{\tau} + d (y,\tau)\right)$

$c ()$ $d ()$ $c'(\theta)$ )พารามิเตอร์เรียกว่าพารามิเตอร์ canonical $\tau c''(\theta)$ $\theta$

การแจกแจงเบต้าไม่สามารถเขียนด้วยวิธีนี้ - วิธีหนึ่งในการดูสิ่งนี้คือการสังเกตว่าไม่มีคำศัพท์ในความน่าจะเป็นบันทึก - มันมีและแทน $y$ $\log [y]$ $\log [1-y]$

f_{b e t a} (y; μ, ϕ) = \exp (ϕ μ \log [\frac{y}{1 - y}] + ϕ \log [1 - y] - \log [B (ϕ μ, ϕ (1 - μ)] - \log [\frac{y}{1 - y}])

$f_{beta}(y;\mu,\phi)=\exp\left (\phi\mu\log\left[\frac {y}{1-y}\right] +\phi\log [1-y] - \log [B (\phi\mu,\phi (1-\mu)]-\log\left[\frac {y}{1-y}\right]\right)$

อีกวิธีหนึ่งที่จะเห็นว่าเบต้าไม่ได้เป็นตระกูลการกระจายตัวแบบเอ็กซ์โพเนนเชียลคือมันสามารถเขียนเป็นโดยที่และเป็นอิสระและทั้งคู่ติดตามการแจกแจงแกมม่าด้วยพารามิเตอร์ระดับเดียวกัน คือตระกูลเอ็กซ์โพเนนเชียล) $y=\frac {x}{x+z}$ $x$ $z$

— probabilityislogic
แหล่งที่มา

คำตอบนี้ไม่ถูกต้องตามที่เขียนไว้ วิธีหนึ่งที่จะเห็นสิ่งนี้คือตามการแจกแจงแบบตรรกะการแจกแจงเบอร์นูลลีและทวินามก็ไม่ได้อยู่ในชั้นของตระกูลเอ็กซ์โปเนนเชียลเช่นกัน

— พระคาร์ดินัล

ขออภัยคุณถูกต้องว่าตัวอย่างที่ฉันให้นั้นผิดพลาด (คำเตือน: การคำนวณทางจิตและการใช้ CrossValidated ในมือถืออาจเป็นอันตรายได้!) อย่างไรก็ตามประเด็นของฉันยังคงอยู่ คำตอบนี้ไม่ถูกต้องเนื่องจากมันเลือกแนวคิด "กำหนด" ที่แคบมากของ "ตระกูลเอ็กซ์โพเนนเชียล" --- แคบกว่าแหล่งที่มาทั่วไปหรือการใช้งานจริง

— พระคาร์ดินัล

อืมมม Wikipedia ทำรายการเบต้าในรายการการแจกแจงแบบครอบครัวเอ็กซ์โพเนนเชียล

— อะมีบาพูดว่า Reinstate Monica

จริง - ฉันกำลังคิดถึงครอบครัวเอ็กซ์โพเนนเชียลแบบธรรมชาติ - ซึ่งเป็นกรณีพิเศษ

— ความน่าจะเป็นที่เป็นไปได้

พารามิเตอร์

ในฟังก์ชั่นยังอธิบายด้วยฟังก์ชั่นลิงก์จากนั้นฟังก์ชั่นการแจกแจงที่ จำกัด นี้จะกลายเป็นความกว้างมากขึ้นรวมถึงการแจกแจงทั้งหมดของตระกูลเลขยกกำลังพารามิเตอร์เดียว

θ

$\theta$

— Sextus Empiricus