ความสัมพันธ์ระหว่างผลรวมของ Gaussian RVs และ Gaussian Mixture


13

ฉันรู้ว่าจำนวนของเกาส์คือเกาส์ ดังนั้นส่วนผสมของ Gaussians แตกต่างกันอย่างไร

ฉันหมายถึงส่วนผสมของ Gaussians เป็นเพียงผลรวมของ Gaussians (ซึ่งแต่ละ Gaussian ถูกคูณด้วยสัมประสิทธิ์การผสมตามลำดับ) ใช่ไหม?


7
ส่วนผสมของ gaussians เป็นผลรวมของความหนาแน่นแบบเกาส์ถ่วงน้ำหนักไม่ใช่ผลรวมของตัวแปรสุ่มแบบเกาส์
ความน่าจะเป็นทาง

คำตอบ:


7

ผลรวมถ่วงน้ำหนักของตัวแปรสุ่มแบบเกาส์ เป็นตัวแปรสุ่มแบบเกาส์ : ถ้า จากนั้น p i = 1 β i X i ( X 1 , , X p ) N p ( μ , Σ ) β T ( X 1 , , X p ) N 1 ( β T μ , β T Σ β )X1,,Xp

i=1pβiXi
(X1,,Xp)Np(μ,Σ)
βT(X1,,Xp)N1(βTμ,βTΣβ)

มีส่วนผสมของเสียนความหนาแน่นมีความหนาแน่นที่กำหนดเป็นผลรวมถ่วงน้ำหนักของเสียนความหนาแน่น :ซึ่ง เกือบจะไม่เท่ากับความหนาแน่นแบบเกาส์ ดูเช่นความหนาแน่นของส่วนผสมโดยประมาณสีน้ำเงินด้านล่าง (โดยที่แถบสีเหลืองเป็นการวัดความแปรปรวนของส่วนผสมโดยประมาณ):

f(;θ)=i=1pωiφ(;μi,σi)
ป้อนคำอธิบายรูปภาพที่นี่

[ที่มา: Marin และ Robert, Bayesian Core , 2007]

ตัวแปรสุ่มที่มีความหนาแน่นนี้สามารถแสดงเป็น ที่และคือ Multinomial กับ :X = p i = 1 I ( Z = i ) X i = X Z X iN p ( μ i , σ i ) Z P ( Z = i ) = ω i Z M ( 1 ; ω 1 , , ω pXf(;θ)

X=i=1pI(Z=i)Xi=XZ
XiNp(μi,σi)ZP(Z=i)=ωi
ZM(1;ω1,,ωp)

3

และนี่คือรหัส R เพื่อเติมเต็ม @ คำตอบซีอาน:

par(mfrow=c(2,1))
nsamples <- 100000

# Sum of two Gaussians
x1 <- rnorm(nsamples, mean=-10, sd=1)
x2 <- rnorm(nsamples, mean=10, sd=1)
hist(x1+x2, breaks=100)

# Mixture of two Gaussians
z <- runif(nsamples)<0.5 # assume mixture coefficients are (0.5,0.5)
x1_x2 <- rnorm(nsamples,mean=ifelse(z,-10,10),sd=1)
hist(x1_x2,breaks=100)

ป้อนคำอธิบายรูปภาพที่นี่


1

การกระจายตัวของผลรวมของตัวแปรสุ่มอิสระเป็นบิดกระจายของพวกเขา ดังที่คุณได้กล่าวมาแล้วความเชื่อมั่นของชาวเกาส์สองคนที่เกิดขึ้นเป็นเกาส์เซียน

X,YZXYZ=XZ=Y


ขอบคุณ enthdegree ฉันรู้ว่าตัวอย่างต่อไปนี้ผิดโดยเนื้อแท้ แต่มันอาจจะน่าสนใจอยู่ดี: สมมุติว่าเรามี "ส่วนผสม" ชนิดพิเศษ (ถ้าเรายังสามารถเรียกมันว่า "ส่วนผสม") ของความหนาแน่นแบบเกาส์ 2 ซึ่งค่าสัมประสิทธิ์การผสม ทั้งคู่สอดคล้องกับ 1 นั่นจะเป็นผลรวมของ Gaussian RVs หรือไม่?
njk

ไม่แม้ว่า rv การผสมของคุณจะเป็น gussian ในกรณีนี้ถ้าคุณเพิ่ม RVs สองตัวด้วยการกระจายขององค์ประกอบ RV รวมจะมีความแปรปรวนมากกว่า RV ผสม
enthdegree

@enthdegree ส่วนผสม rv gaussian เป็นอย่างไร? มันอาจจะยังคงเป็น bimodal ถ้าค่าเฉลี่ยไม่ตรงใช่ไหม?
เรียนรู้

@ เรียนรู้ใช่คุณพูดถูก เมื่อฉันเขียน prev ความคิดเห็นด้วยเหตุผลบางอย่างฉันคิดว่าพวกเขามีค่าเฉลี่ยเดียวกัน
enthdegree
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.