เหตุใดตระกูลเลขชี้กำลังจึงไม่รวมการแจกแจงทั้งหมด

ฉันกำลังอ่านหนังสือ:

บิชอปการจดจำรูปแบบและการเรียนรู้ของเครื่อง (2549)

ซึ่งกำหนดตระกูลเอ็กซ์โพเนนเชียลเป็นการแจกแจงของแบบฟอร์ม (Eq. 2.194):

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

แต่ผมไม่เห็นข้อ จำกัด ที่วางอยู่บนหรือx) นี่ไม่ได้หมายความว่าการแจกแจงใด ๆสามารถใส่ในแบบฟอร์มนี้ได้โดยการเลือกและ (อันที่จริงแล้วจะต้องเลือกอย่างใดอย่างหนึ่งอย่างถูกต้อง!) แล้วทำไมครอบครัวเลขชี้กำลังถึงไม่ได้รวมการแจกแจงความน่าจะเป็นทั้งหมด ฉันพลาดอะไรไป $h(\mathbf x)$ $\mathbf u(\mathbf x)$ $h(\mathbf x)$ $\mathbf u(\mathbf x)$

ในที่สุดคำถามพิเศษที่ฉันสนใจคือสิ่งนี้: การกระจายตัวของเบอร์นูลลีในตระกูลเอ็กซ์โปเนนเชียลหรือไม่? Wikipediaอ้างว่ามันเป็น แต่เนื่องจากฉันสับสนอย่างชัดเจนเกี่ยวกับบางสิ่งบางอย่างที่นี่ฉันอยากจะดูว่าทำไม

mathematical-statistics exponential-family

— becko
แหล่งที่มา

สำหรับหลักฐานที่แสดงว่าการกระจาย Bernoulli อยู่ในตระกูลเลขชี้กำลังลองใช้ความจริงที่ว่า

f (x; μ) = \exp (\log (f (x; μ)))

$f(x; \mu) = \exp (\log( f(x; \mu)))$ และดูว่าจะทำให้คุณได้ที่ไหน

— jld

เพื่อชี้แจงให้ชัดเจนคุณกำลังถามว่าการแจกแจงใด ๆ สามารถเขียนในแบบฟอร์มนี้หรือว่าครอบครัวของการแจกแจงสามารถเขียนในแบบฟอร์มนี้ได้หรือไม่? คุณดูเหมือนจะได้คำตอบสำหรับคำถามหลัง

— โอเว่น

@wen ใช่ฉันเห็นแล้วว่านี่เป็นจุดสำคัญ แม้ว่าการแจกแจงใด ๆ สามารถเขียนในรูปแบบนี้ (โดยการตั้งค่าอย่างเหมาะสมและ ) นั่นไม่ได้หมายความว่าครอบครัวใด ๆ ที่สามารถเขียนในแบบฟอร์มนี้

h (x)

$h(\mathbf x)$

g = 1, u = 0

$g=1,\mathbf u= 0$

— becko

@ เบ็คว่าถูกต้องแล้ว การใช้ถ้อยคำในข้อความ "ตระกูลเอ็กซ์โปเนนเชียล" นั้นค่อนข้างทำให้เข้าใจผิดเพราะไม่มีครอบครัวเอ็กซ์โปเนนเชียลเพียงครอบครัวเดียว ค่อนข้างแต่ละตัวเลือกของก่อให้เกิดครอบครัว ผู้เขียนหลายคนพูดว่า "ตระกูลชี้แจง" แทนที่จะทำให้ชัดเจนยิ่งขึ้น เช่นดูหน้าวิกิพีเดีย: en.wikipedia.org/wiki/Exponential_family

(h, g, u)

$(h, g, \mathbf u)$

— Brent Kerby

@ เบโกฉันคิดว่าการโต้แย้งของคุณแสดงให้เห็นว่าการแจกแจงใด ๆ ก็ตามสามารถเป็นหนึ่งในสมาชิกของครอบครัวชี้แจง แต่ไม่ใช่ว่าครอบครัวใด ๆ ของการแจกแจงสามารถเป็นครอบครัวชี้แจง

— Matthew Drury

คำตอบ:

ทีนี้ผลที่ตามมาของคำนิยามของคุณ:นั่นคือการสนับสนุนของครอบครัวกระจายการจัดทำดัชนีโดยพารามิเตอร์ไม่ขึ้นอยู่กับ\(การสนับสนุนการแจกแจงความน่าจะเป็นคือ (ปิด) ชุดที่น้อยที่สุดที่มีความน่าจะเป็นหนึ่งหรือกล่าวอีกนัยหนึ่งว่าการแจกแจงมีชีวิตอยู่ ) ดังนั้นมันก็เพียงพอแล้วที่จะให้ตัวอย่างของตระกูลการแจกจ่ายที่มีการสนับสนุนขึ้นอยู่กับพารามิเตอร์ ตัวอย่างที่ง่ายที่สุดคือตระกูลของการแจกแจงเครื่องแบบ:

p (x | η) = h (x) g (η) \exp {η^{T} u (x)}

$p(\mathbf x|\boldsymbol \eta) = h(\mathbf x) g(\boldsymbol \eta) \exp \{\boldsymbol \eta^\mathrm T \mathbf u(\mathbf x)\}$

η

$\eta$

η

$\eta$

U (0, η), η > 0

$\text{U}(0, \eta), \quad \eta > 0$ . (คำตอบอื่น ๆ โดย @Chaconne ให้ตัวอย่างที่มีความซับซ้อนมากขึ้น)

— kjetil b halvorsen
แหล่งที่มา

พิจารณาการกระจาย Laplace ที่ไม่ใช่ส่วนกลาง

f (x; μ, σ) \propto \exp (- | x - μ | / σ) .

$f(x; \mu, \sigma) \propto \exp \left(-| x - \mu | / \sigma \right).$

เว้นแต่ว่าคุณจะไม่สามารถเขียนเป็นผลิตภัณฑ์ภายในระหว่างและฟังก์ชั่นบางส่วนของx $\mu = 0$ $|x - \mu|$ $\mu$ $x$

ครอบครัวเลขชี้กำลังนั้นรวมส่วนใหญ่ของการแจกแจงที่มีชื่อดีที่เรามักพบเจอดังนั้นในตอนแรกมันอาจดูเหมือนว่ามันมีทุกสิ่งที่น่าสนใจ แต่มันก็ไม่ได้ครบถ้วนสมบูรณ์

— JLD
แหล่งที่มา