การอ้างอิงที่แสดงให้เห็นถึงการใช้ Gaussian Mixtures

แบบจำลองการผสมแบบเกาส์ (GMMs) มีความน่าสนใจเพราะง่ายต่อการทำงานกับทั้งในเชิงวิเคราะห์และในทางปฏิบัติ มีคุณสมบัติการวิเคราะห์เล็กน้อยที่เราควรคาดว่าจะมีซึ่งไม่ชัดเจนโดยทั่วไป โดยเฉพาะอย่างยิ่ง:

$S_n$ $n$ $P$ $n$ $P$ $lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$
บอกว่าเรามีการกระจายอย่างต่อเนื่องและเราได้พบ -component ผสมแบบเกาส์ซึ่งอยู่ใกล้กับในรูปแบบรวม: \เราสามารถผูกในแง่ของหรือไม่? $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$
ถ้าเราต้องการสังเกตุผ่านเสียงเพิ่มเติมอิสระ (ทั้งจริงต่อเนื่อง) และเรามี GMMs โดยที่ดังนั้นค่านี้มีขนาดเล็ก: นั่นคือความจริงที่ว่าการประมาณผ่าน noise นั้นยากพอ ๆ กับการประมาณถึง noise? $X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_N$ $\delta(P,Q)<\epsilon$ $| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$
คุณสามารถทำได้สำหรับรุ่นที่ไม่ใช่เสียงรบกวนเช่นเสียงปัวซองหรือไม่?

การทบทวนวรรณกรรมของฉัน (สั้น) จนถึงตอนนี้เพิ่งเปิดตัวบทเรียนที่นำมาใช้มาก ไม่มีใครมีการอ้างอิงใด ๆ ที่แสดงให้เห็นอย่างจริงจังภายใต้เงื่อนไขใดที่เรามีความชอบธรรมในการใช้แบบจำลองผสม?

— enthdegree
แหล่งที่มา

ชุดของ GMMs มีความหนาแน่นในชุดของการแจกแจงในโทโพโลยีที่อ่อนแอ (สอดคล้องกับการรวมกันของการกระจาย) เห็นเช่นที่นี่ ฉันไม่แน่ใจว่าคำสั่งแรกของคุณถือแม้ว่ามันจะแน่นอนจะต้องมีการอนุญาตให้ส่วนประกอบศูนย์ความแปรปรวนในส่วนผสมที่จะจัดการกับฝูงจุดใด ๆ ในPฉันยังสงสัยเกี่ยวกับสัญลักษณ์แสดงหัวข้อย่อยที่สองอีกครั้งเพราะปัญหาของมวลชน

P

$P$

— Dougal

จุดดีฉันได้ระบุทุกสิ่งไว้อย่างต่อเนื่อง

— 27716 enthdegree

คุณอาจโชคดีกว่าในการดูวรรณกรรมเกี่ยวกับการประเมินความหนาแน่นของเคอร์เนลกับเมล็ดเกาส์เซียน เนื่องจากคุณมีส่วนผสมของ Gaussians ที่มีหนึ่งตัวอย่างต่อเมื่อจำนวนตัวอย่างเพิ่มขึ้นคุณจะได้รับการประมาณแบบกระจายที่ไม่มีความเป็นกลางและสอดคล้องกันของการแจกแจงหรือไม่? ฉันคิดว่าคำตอบคือใช่ แต่ไม่สามารถหาข้อมูลอ้างอิงได้ในทันที

— Greg Ver Steeg

@thdegree: คำถามที่ดีมาก เนื่องจากคุณต้องการใช้โทโพโลยีที่แข็งแกร่ง (ความแตกต่าง KL และการแปรผันรวม) คำตอบทั่วไปสำหรับสองจุดแรกของคุณคือไม่: ตัวอย่างเช่นพิจารณาการกระจายแบบเทลด์ไขมัน KL สำหรับส่วนผสมแบบเกาส์ จำกัด ใด ๆ นั้นไม่มีที่สิ้นสุด (ฉันค่อนข้างแน่ใจว่ามันใช้งานได้จริง แต่ไม่ใช่ 100%) แต่สิ่งนี้นำไปสู่คำถามที่น่าสนใจมากขึ้นซึ่งคลาสย่อยของการแจกแจงความน่าจะเป็นใดที่สัญลักษณ์แสดงหัวข้อย่อยของคุณทั้งหมดจะนำไปใช้? ฉันไม่รู้คำตอบ แต่มันน่าสนใจมาก ฉันเดาว่ามันอาจเป็นการแจกแจงความน่าจะเป็นเกือบทั้งหมด

— Guillaume Dehaene

ฉันเข้าเรียนพร้อมหนังสือเล่มนี้ ลิงค์ มันมีพื้นฐานที่เหมาะสม

— EngrStudent - Reinstate Monica

คำตอบ:

ในเศรษฐมิติที่บริบทมีการกระจายของค่าสัมประสิทธิ์ในแบบจำลอง logit การอ้างอิงมาตรฐานคือ: MIXED MNL MODELS สำหรับ DISCRETE RESPONSE DANIEL MCFADDEN และ KENNETH TRAIN, JOONNAL of APPLIED ECONOMETRICS, J. Appl Econ 15: 447-470 (2000)

— ทิม
แหล่งที่มา

ด้วยความเคารพต่อคำถามของคุณ:

สำหรับปัญหาแบบเบย์ที่คล้ายกันของส่วนผสมของ Dirichlet Process ของ gaussians ฉันเข้าใจว่าคำตอบคือใช่ Ghosal (2013)
เมื่อฉันเข้าร่วมการพูดคุยในหัวข้อนี้ดูเหมือนว่าความคืบหน้าส่วนใหญ่จะทำโดยใช้ KL divergence ดูภาพนิ่งแฮร์รี่แวน Zanten ของ
ฉันไม่ชัดเจน อย่างไรก็ตามดูเหมือนว่าปัญหาการแยกแหล่งที่มา ( ทราบ) โดยทั่วไปแล้วจะยากกว่าการสร้างแบบผสมเพียงอย่างเดียว โดยเฉพาะอย่างยิ่งสำหรับกรณีง่าย ๆ ของคุณจะไม่สามารถระบุและแท้จริงได้เนื่องจากสมมาตรของการแจกแจงเป็นศูนย์ $P_N, P_S$ $P_N = P_S = N(0,1)$ $X$ $Y$
ดูสไลด์สี่ที่ลิงก์ด้านบนมีรายการของแบบจำลอง Bayesian ที่รับประกันการลู่เข้า

— คาดเดา
แหล่งที่มา

นี่คือคำตอบบางส่วน

Say คือคลาสของส่วนผสมแบบเกาส์ทั้งหมดที่มีส่วนประกอบสำหรับการกระจายอย่างต่อเนื่องบน reals เรารับประกันได้หรือไม่ว่าเมื่อเติบโตขึ้นเราสามารถประมาณด้วย GMM ที่มีการสูญเสียเล็กน้อยในแง่ของความสัมพันธ์ของเอนโทรปี นั่นคือไม่ $S_n$ $n$ $P$ $n$ $P$
$lim_{n \to \infty} inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = 0 ?$ $\lim_{n\rightarrow \infty}\inf_{\hat{P}\in S_n} D(P||\hat{P})=0?$

ฉบับที่คุณสามารถหวังเดียวที่แตกต่าง KL มีขนาดเล็กถ้าคุณรู้ว่า 's หางอยู่ในที่สุดของการสั่งซื้อเช่นเดียวกับ ' s สิ่งนี้ไม่เป็นความจริงโดยทั่วไป มันไม่ยากที่จะเห็นว่าสำหรับ Cauchy แล้วสำหรับการใด ๆ , $D(P\|Q)$ $Q$ $P$ $P$ $n$

inf_{\hat{P} \in S_{n}} D (P | | \hat{P}) = \infty

$\inf_{\hat{P}\in S_n} D(P||\hat{P})=\infty$

จำเป็นต้องระบุเงื่อนไขเพิ่มเติมเกี่ยวกับ $P$

บอกว่าเรามีการกระจายอย่างต่อเนื่องและเราได้พบ -component ส่วนผสม Gaussian ซึ่งอยู่ใกล้กับในรูปแบบรวม: εเราสามารถผูกในแง่ของ ? $P$ $N$ $\hat{P}$ $P$ $\delta(P,\hat{P})<\varepsilon$ $D(P||\hat{P})$ $\epsilon$

ไม่ใช้ตัวอย่างเดียวกันกับข้างบน

$X\sim P_X$ $Y\sim P_Y$ $\hat{X} \sim Q_X, \hat{Y} \sim Q_Y$ $\delta(P,Q)<\epsilon$
$| m m s e (X | X + Y) - m m s e (\hat{X} | \hat{X} + \hat{Y}) |,$ $\left|\mathsf{mmse}(X|X+Y)-\mathsf{mmse}(\hat{X}| \hat{X}+\hat{Y})\right|,$ $X$ $Y$ $\hat{X}$ $\hat{Y}$

$X,Y,\hat{X},\hat{Y}$ $E[X|Y]$ $E[\hat{X}|\hat{Y}]$ $|E_P[(E_P[X|Y]-X)^2]-E_Q[(E_Q[X|Y]-X)^2]|$ $TV(P,Q)$

ฉันไม่สามารถพิสูจน์เรื่องนี้ได้ทั้งโดยทั่วไปหรือการใช้โครงสร้างเพิ่มเติมที่เราคาดไว้ใน P, Q หรือเกิดขึ้นกับการตอบโต้ใด ๆ

คุณสามารถทำได้สำหรับรุ่นที่ไม่ใช่เสียงรบกวนเช่นเสียงปัวซองหรือไม่?

นี่มันคลุมเครือ ในบริบทของคำถามก่อนหน้าหากคำสั่งในคำตอบนั้นสามารถพิสูจน์ได้โดยทั่วไปแล้วคำตอบคือใช่

— enthdegree
แหล่งที่มา