ความน่าจะเป็นในการบันทึกใน GLM รับประกันการลู่เข้าสู่ maxima ทั่วโลกหรือไม่?

คำถามของฉันคือ:

แบบจำลองเชิงเส้นทั่วไป (GLMs) รับประกันว่าจะรวมกันเป็นค่าสูงสุดทั่วโลกหรือไม่? ถ้าเป็นเช่นนั้นทำไม
นอกจากนี้สิ่งที่มีข้อ จำกัด ในฟังก์ชั่นการเชื่อมโยงเพื่อประกันความนูน?

ความเข้าใจของฉันเกี่ยวกับ GLMs คือพวกเขาเพิ่มฟังก์ชั่นความน่าจะเป็นแบบไม่เชิงเส้นอย่างมาก ดังนั้นฉันคิดว่ามี maxima ท้องถิ่นหลายชุดและพารามิเตอร์ที่คุณรวมเข้าด้วยกันนั้นขึ้นอยู่กับเงื่อนไขเริ่มต้นสำหรับอัลกอริธึมการปรับให้เหมาะสม อย่างไรก็ตามหลังจากทำการวิจัยบางอย่างฉันไม่ได้พบแหล่งเดียวซึ่งบ่งชี้ว่ามีหลายท้องถิ่นสูงสุด นอกจากนี้ฉันไม่คุ้นเคยกับเทคนิคการปรับให้เหมาะสม แต่ฉันรู้ว่าวิธี Newton-Raphson และอัลกอริทึม IRLS มีแนวโน้มที่จะสูงสุดในท้องถิ่น

กรุณาอธิบายว่าเป็นไปได้ทั้งบนพื้นฐานที่ใช้งานง่ายและทางคณิตศาสตร์!

แก้ไข: dksahuji ตอบคำถามเดิมของฉัน แต่ฉันต้องการเพิ่มคำถามติดตาม [ 2 ] ด้านบน ("มีข้อ จำกัด อะไรบ้างในฟังก์ชั่นลิงค์เพื่อประกันความนูน?")

— DankMasterDan
แหล่งที่มา

ฉันคิดว่าต้องมีข้อ จำกัด บางอย่างก่อนที่จะเป็นเช่นนั้น แหล่งที่มาสำหรับคำสั่งคืออะไร?

— Glen_b -Reinstate Monica

ดูเหมือนว่าหลายไซต์จะบอกเป็นนัย ๆ แต่ฉันก็ไม่สามารถหาอะไรที่กล่าวถึงมันได้เลยดังนั้นฉันก็เลยยินดีด้วย

— DankMasterDan

ตราบใดที่มีการกำหนดความน่าจะเป็นทุกหนทุกแห่งบนโดเมน (และไม่สนใจประเด็นเชิงตัวเลขบางส่วน) ฉันคิดว่าใช่ ภายใต้เงื่อนไขเหล่านั้นรัฐ Hessian นั้น <0 ทุกหนทุกแห่งบนโดเมนเพื่อให้ความเป็นสากลทั่วโลกเว้า Btw ฟังก์ชั่นไม่ใช่ 'ที่ไม่เป็นเชิงเส้นสูง' ในพารามิเตอร์และนั่นคือสิ่งที่สำคัญ

— user603

@ user603 แหล่งที่มา / หลักฐานของคุณที่ว่ารัฐนั้นคือ <0 ทุกที่?

— DankMasterDan

การถดถอยโลจิสติก, ปัวซอง, และเกาส์เซียนมักได้รับฟังก์ชั่นลิงค์ "ดี" อย่างไรก็ตามด้วยฟังก์ชั่นการเชื่อมโยงโดยพลการพวกเขาจะไม่นูน

— Memming

นิยามของตระกูลเอ็กซ์โพเนนเชียลคือ:

p (x | θ) = h (x) \exp (θ^{T} ϕ (x) - A (θ)),

$p(x|\theta) = h(x)\exp(\theta^T\phi(x) - A(\theta)),$

โดยที่เป็นฟังก์ชันแบ่งพาร์ติชัน ในตอนนี้เราสามารถพิสูจน์ได้ว่าสามสิ่งต่อไปนี้มีไว้สำหรับกรณี 1D (และพวกเขาทั่วไปในมิติที่สูงกว่า - คุณสามารถดูคุณสมบัติของตระกูลชี้แจงหรือพาร์ติชันบันทึก): $A(\theta)$

$\frac{dA}{d\theta} = \mathbb{E}[\phi(x)]$
$\frac{d^2A}{d\theta^2} = \mathbb{E}[\phi^2(x)] -\mathbb{E}[\phi(x)]^2 = {\rm var}(\phi(x))$
$\frac{ \partial ^2A}{\partial\theta_i\partial\theta_j} = \mathbb{E}[\phi_i(x)\phi_j(x)] -\mathbb{E}[\phi_i(x)] \mathbb{E}[\phi_j(x)] = {\rm cov}(\phi(x)) \Rightarrow \Delta^2A(\theta) = {\rm cov}(\phi(x))$

ผลดังกล่าวข้างต้นพิสูจน์ว่านูน (ตามที่เป็น semidefinite บวก) ตอนนี้เรามาดูฟังก์ชั่นโอกาสสำหรับ MLE: $A(\theta)$ ${\rm cov}(\phi(x))$

\begin{aligned} p (D | θ) & = [\prod_{i = 1}^{N} h (x_{i})] \exp (θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ)) \\ \log (p (D | θ)) & = θ^{T} [\sum_{i = 1}^{N} ϕ (x_{i})] - N A (θ) \\ = θ^{T} [ϕ (D)] - N A (θ) \end{aligned}

$\begin{align} p(\mathcal{D}|\theta) &= \bigg[\prod_{i=1}^{N}{h(x_i)}\bigg]\ \exp\!\big(\theta^T[\sum_{i=1}^{N}\phi(x_i)] - NA(\theta)\big) \\ \log\!\big(p(\mathcal{D}|\theta)\big) &= \theta^T\bigg[\sum_{i=1}^{N}\phi(x_i)\bigg] - NA(\theta) \\ &= \theta^T[\phi(\mathcal{D})] - NA(\theta) \end{align}$

ทีนี้เป็นเส้นตรงในทีต้าและเป็นเว้า ดังนั้นจึงมีค่าสูงสุดทั่วโลกที่ไม่ซ้ำกัน $\theta^T[\phi(\mathcal{D})]$ $-A(\theta)$

มีรุ่นทั่วไปเรียกว่าครอบครัวเอ็กซ์โพเนนเชียลแบบโค้งซึ่งก็จะคล้ายกัน แต่หลักฐานส่วนใหญ่อยู่ในรูปแบบบัญญัติ

— dksahuji
แหล่งที่มา

ดังนั้นนี่หมายความว่า GLM มีชื่อเฉพาะระดับต่ำสุดของโลกที่ฟังก์ชันลิงค์ถูกเลือก (รวมถึง noncanonical)

— DankMasterDan

ฉันจะพยายามตอบเท่าที่ฉันเข้าใจ

เป็นกรณีที่คุณกำลังพูดถึง นี้ยังคงเป็นเว้าใน

แต่อาจไม่อยู่ใน

เพื่อ

ควรเช่นที่บันทึกของความน่าจะเป็นทั้งเว้าในθ

p (x | θ) = h (x) e x p (η (θ)^{T} ϕ (x) - A (η (θ)))

$p(x|\theta) = h(x)exp(\eta(\theta)^T\phi(x) - A(\eta(\theta)))$

η

$\eta$

θ

$\theta$

η

$\eta$

θ

$\theta$

— dksahuji

โปรดทราบว่าคำถามถามเกี่ยวกับการบรรจบกันมากกว่าแค่การดำรงอยู่ แต่มีข้อ จำกัด เล็กน้อยเช่นกันที่อาจทำได้

— Glen_b

@Glen_b คุณสามารถทำอย่างละเอียด? ฉันไม่ทราบข้อ จำกัด ดังกล่าว บางทีสิ่งที่ต้องการข้อ จำกัด ใน stepize ในเครื่องมือเพิ่มประสิทธิภาพไล่ระดับสีเพื่อรับประกันการบรรจบกันในกรณีที่ฟังก์ชั่นเว้า

— dksahuji

@Glen_b มันอาจจะเป็นเรื่องจริงโดยทั่วไป แต่ฉันไม่สามารถมองเห็นเหตุผลใด ๆ ที่ฟังก์ชั่นเว้าไม่มาบรรจบกับ optima ในค่าที่ยอมรับได้เล็กน้อย แต่ฉันจะบอกว่าฉันไม่มีประสบการณ์จริงใด ๆ กับสิ่งเหล่านี้และฉันเพิ่งเริ่มต้น :)

— dksahuji