การวาดตัวอย่างจากส่วนผสม จำกัด ของการแจกแจงแบบปกติ?

หลังจากขั้นตอนการอัพเดตแบบเบย์บางครั้งฉันถูกทิ้งไว้กับการกระจายหลังของรูปแบบของส่วนผสมของการแจกแจงปกตินั่นคือพารามิเตอร์ถูกดึงมาจากการกระจายที่มีการให้ PDF เป็นส่วนผสมน้ำหนักของ PDF ปกติและไม่ใช่ผลรวมของ RVs ปกติ ฉันต้องการวาดตัวอย่างเพื่อใช้ในการสุ่มตัวอย่างความสำคัญโดยประมาณของด้านหลัง ในทางปฏิบัติยอดรวมสามารถมีจำนวนเทอมได้ดังนั้นมันจึงเป็นไปไม่ได้ที่จะเลือกเทอมตามน้ำหนักแล้วจึงดึง

Pr (θ | data) = \sum_{i = 1}^{k} w_{i} N (μ_{i}, σ^{2}) .

$\Pr(\theta| \text{data} ) = \sum_{i=1}^k w_i N(\mu_i, \sigma^2).$

θ

$\theta$

θ \sim Pr (θ | data)

$\theta\sim\Pr(\theta|\text{data})$

i

$i$

i

$i$

{w_{i}}

$\{w_i\}$

θ \sim N (μ_{i}, σ^{2})

$\theta\sim N(\mu_i, \sigma^2)$ . มีวิธีที่มีประสิทธิภาพในการวาดตัวอย่างจากด้านหลังของแบบฟอร์มนี้หรือไม่?

monte-carlo probability

— Chris Granade
แหล่งที่มา

คุณลองเลือกวิธีแล้วโยนหรือไม่? การเลือกสามารถทำได้อย่างรวดเร็วตามขั้นตอนของ O (k)

— dmckee --- ผู้ดูแลอดีตลูกแมว

หากวิธีการแก้ปัญหาของ Barron ไม่ถูกต้องจริง ๆ แล้วและคุณหมายถึง "แบบผสม" คุณสามารถใช้คำนั้นได้ไหม?

— Neil G

Neil G: ฉันไม่ใช่นักสถิติจากการค้าขาย แต่เป็นนักฟิสิกส์ที่บางครั้งจำเป็นต้องใช้ประโยชน์จากสถิติ เช่นนี้ฉันไม่ทราบคำที่เหมาะสมเพื่ออธิบายสิ่งที่ฉันต้องการ อย่างไรก็ตามฉันสามารถดำเนินการต่อและแก้ไขคำถามได้ในตอนนี้เพื่อให้ชัดเจนยิ่งขึ้นว่า PDF กำลังถูกรวมเข้าด้วยกันไม่ใช่ RVs

— Chris Granade

@ChrisGranade: ฉันไม่ได้พยายามลงมาหาคุณ ฉันแค่ต้องการให้แน่ใจว่านั่นคือสิ่งที่คุณหมายถึงและเพื่อแนะนำการแก้ไข

— Neil G

เหตุใดจึงไม่สามารถเลือกตามน้ำหนักและตัวอย่างจากการแจกแจงเครื่องแบบใน , จากนั้นตัวอย่าง ? สิ่งนี้มีราคาแพงกว่าการสุ่มตัวอย่างแบบกระจายเพียงครั้งเดียวในระดับปานกลางค่าใช้จ่ายขึ้นอยู่กับจำนวนการแจกแจงแบบผสมและไม่ขึ้นอยู่กับการแจกแจงแบบปกติ

i

$i$

{w_{i}}

$\{w_i\}$

[0, 1]

$[0,1]$

N (μ_{i}, σ^{2})

$N(\mu_i,\sigma^2)$

k

$k$

— Jed Brown

คำตอบ:

ในหลักการหนึ่งสามารถเลือกจำนวนตัวอย่างล่วงหน้าที่จะดึงจากแต่ละการกระจายย่อยจากนั้นเยี่ยมชมแต่ละการกระจายย่อยเพียงครั้งเดียวและดึงกว่าจำนวนคะแนน

นั่นคือ

ค้นหาชุดสุ่มซึ่งและเคารพน้ำหนัก $<n_1, n_2, \dots, n_k>$ $n = \sum_{i=1}^k n_i$

ผมเชื่อว่าคุณทำเช่นนี้โดย~~การวาดภาพการกระจาย Poisson~~กระจายพหุนาม (ดูความคิดเห็น) ค่าเฉลี่ยสำหรับแต่ละย่อยกระจายแล้ว normalizing รวมไปn $w_i * n$ $n$

งานที่นี่คือ $\mathcal{O}(k) * \mathcal{O}(n)$
จากนั้นทำ
```
for (i=1; i<=k; ++i)
   for (j=1; j<=n[i]; ++j)
      theta ~ N(mu[i],sigma[i])
```
งานที่นี่คือ $\mathcal{O}(n)$

แม้ว่านี่จะหมายความว่าคุณจะไม่ได้รับการสุ่ม หากจำเป็นต้องมีคำสั่งแบบสุ่มคุณต้องสลับการจับฉลาก (เช่น ) $\mathcal{O}(n)$

ดูเหมือนว่าขั้นตอนแรกจะใช้เวลารันไทม์และเป็นลำดับเดียวกับอัลกอริธึมไร้เดียงสา แต่ถ้าคุณแน่ใจว่าคุณสามารถประมาณการแจกแจงปัวซองด้วยการแจกแจงแบบปกติและเร่งความเร็วในขั้นตอนแรก $w_i * n \gg 1$

— dmckee --- ลูกแมวผู้ดูแลอดีต
แหล่งที่มา

การแจกแจงของไม่ใช่การแจกแจงแบบปัวซงถ้าได้รับการแก้ไข แต่เป็นการกระจายแบบทวินาม

n_{i}

$n_i$

n

$n$

— Frédéric Grosshans

@ FrédéricGrosshans Uhm ... นี่คือที่ที่ฉันยอมรับความอ่อนแอน่าสังเวชของฉันในความน่าจะเป็น มองฉันคิดว่าคุณอาจจะถูก ฉันไม่ได้มีการเชื่อมโยงสำหรับการขว้างปาแจกแจงทวินามโดยพลการ แต่วิกิพีเดียมีการอ้างอิงบางส่วน นอกจากนี้ยังมีความสัมพันธ์ระหว่างปัวซองและทวินามซึ่งฉันจะอ้างว่าเป็นผู้รับผิดชอบต่อความไม่แน่นอนของฉัน ใช่นั่นคือตั๋ว

— dmckee --- ผู้ดูแลอดีตลูกแมว

@dmckee: คำตอบที่ดีสำหรับการวาดภาพจากแบบจำลองการผสมยกเว้นว่ามันควรจะเป็นการกระจายแบบพหุนามมากกว่าการกระจายตัวแบบปัวซองในขั้นตอนที่ 1

— Neil G

หมายเหตุ:คำถามดั้งเดิมของคำถามนี้ถามเกี่ยวกับ "ผลรวมถ่วงน้ำหนักของการแจกแจงแบบปกติ" ซึ่งคำตอบต่อไปนี้อาจเป็นประโยชน์ อย่างไรก็ตามหลังจากการถกเถียงกันเล็กน้อยเกี่ยวกับคำตอบนี้คำตอบโดย @Geoff และจากคำถามตัวเองมันก็กลายเป็นที่ชัดเจนว่าคำถามคือการสุ่มตัวอย่าง "ส่วนผสมของการแจกแจงปกติ" ซึ่งคำตอบนี้ไม่สามารถใช้ได้

ผลรวมของการแจกแจงปกติคือการแจกแจงแบบปกติดังนั้นคุณสามารถคำนวณพารามิเตอร์ของการแจกแจงเดี่ยวนี้แล้วก็ดึงตัวอย่างจากนั้น ถ้าเราเรียกการแจกแจงนั้นว่าดังนั้น $N(\mu_{sum},\sigma_{sum}^2)$

μ_{s u m} = \sum_{i = 1}^{k} w_{i} μ_{i}

$\mu_{sum} = \sum_{i=1}^k w_i\mu_i$

σ_{s u m}^{2} = \sum_{i = 1}^{k} w_{i}^{2} σ_{i}^{2}

$\sigma_{sum}^2=\sum_{i=1}^k w_i^2 \sigma_i^2$

— Barron
แหล่งที่มา

เพื่อให้ชัดถ้อยชัดคำ Chris กำลังสรุปฟังก์ชั่นความหนาแน่นของความน่าจะเป็นไม่ใช่ตัวแปรแบบสุ่ม

— Geoff Oxberry

Chris ต้องการ PDF ที่มี (อย่างน้อยในหลักการ) หลายอย่างในนั้น นั่นคือเขาเป็นผลรวมของ PDF ไม่ใช่ PDF ของผลรวม

— dmckee --- ผู้ดูแลอดีตลูกแมว

มันเป็นความจริงที่ว่าผลรวมของตัวแปรสุ่มแบบกระจายปกตินั้นเป็นตัวแปรสุ่มแบบกระจายแบบปกติ อย่างไรก็ตามผลรวมของการแจกแจงแบบปกติไม่ใช่การแจกแจงแบบปกติ ดังนั้นถ้าและ , เป็นจริงที่ , แต่{2}) (เครดิตไปที่ @ChrisGranade สำหรับคำอธิบาย)

X_{1} \sim N (μ_{1}, σ_{1}^{2})

$X_{1} \sim N(\mu_{1},\sigma_{1}^2)$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

X_{1} + X_{2} \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2})

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2})$

P D F (X_{1} + X_{2}) \neq P D F (X_{1}) + P D F (X_{2})

$PDF(X_{1} + X_{2}) \neq PDF(X_{1}) + PDF(X_{2})$

— Geoff Oxberry

@dmckee: นั่นไม่ใช่ "ผลรวมถ่วงน้ำหนักของการแจกแจงแบบปกติ" นั่นคือ "ส่วนผสมของการแจกแจงแบบปกติ"

— Neil G

ความคิดเห็น @Barron ไม่ถือว่าเป็นส่วนสำคัญของหน้าเว็บ คุณควรแก้ไขคำตอบของคุณเพื่อรวมส่วนสำคัญของความคิดเห็นเพื่อให้ผู้อ่านที่ไม่ได้ดูความคิดเห็นนั้นจะไม่ถูกเข้าใจผิด

— David Ketcheson

ปรับปรุง : คำตอบนี้ไม่ถูกต้องอันเนื่องมาจากความสับสนในคำศัพท์ (ดูที่ห่วงโซ่ความคิดเห็นด้านล่างเพื่อดูรายละเอียด); ฉันแค่ปล่อยให้มันเป็นป้ายบอกทางเพื่อให้ผู้คนไม่โพสต์คำตอบนี้ (นอกเหนือจากบาร์รอง) โปรดอย่าโหวตมันขึ้นหรือลง

ฉันแค่ใช้คุณสมบัติของตัวแปรสุ่มเพื่อลดตัวแปรให้เป็นตัวแปรสุ่มแบบกระจายตัวเดียว ผลรวมของสองอิสระกระจายตามปกติตัวแปรสุ่มตัวเองเป็นตัวแปรสุ่มดังนั้นหากและจากนั้น $X_{1} \sim N(\mu_{1}, \sigma_{1}^{2})$ $X_{2} \sim N(\mu_{2}, \sigma_{2}^{2})$

X_{1} + X_{2} \sim N (μ_{1} + μ_{2}, σ_{1}^{2} + σ_{2}^{2}) .

$X_{1} + X_{2} \sim N(\mu_{1} + \mu_{2}, \sigma_{1}^{2} + \sigma_{2}^{2}).$

นอกจากนี้ถ้าแล้ว $w_{1} \in \mathbb{R}$

w_{1} X_{1} \sim N (w_{1} μ_{1}, w_{1}^{2} σ_{1}^{2}) .

$w_{1}X_{1} \sim N(w_{1}\mu_{1}, w_{1}^{2}\sigma_{1}^{2}).$

การใช้ผลลัพธ์ทั้งสองรวมกันแล้ว

P r (θ | d a t a) \sim N (\sum_{i = 1}^{k} w_{i} μ_{i}, \sum_{i = 1}^{k} w_{i}^{2} σ_{i}^{2}) .

$Pr(\theta | \rm{data}) \sim N\big(\sum_{i=1}^{k}w_{i}\mu_{i}, \sum_{i=1}^{k}w_{i}^{2}\sigma_{i}^{2}\big).$

ดังนั้นในกรณีนี้คุณจะต้องดึงตัวอย่างจากการแจกแจงครั้งเดียวเท่านั้นซึ่งน่าจะง่ายกว่านี้มาก

— Geoff Oxberry
แหล่งที่มา

นี่เป็นวิธีการแก้ปัญหาที่แตกต่างกันซึ่งสามารถเห็นได้จากความจริงที่ว่าการแจกแจงดั้งเดิมนั้นเป็นแบบหลายคำกริยาและข้อเสนอแนะของคุณคือแบบเดียว

— Chris Ferrie

@ChrisFerrie: ฉันเชื่อว่าคุณ แต่ตามสัญกรณ์ฉันสับสนว่าทำไมการแจกแจงข้างต้นจะเป็นแบบหลายค่าในขณะที่ผลรวมของตัวแปรสุ่มแบบเกาส์อิสระสองตัวจะไม่เป็นเช่นนั้น ฉันหายไปนี่อะไร

— Geoff Oxberry

ฉันคิดว่าความสับสนคือเราไม่ได้ดูผลรวมของตัวแปรสุ่ม แต่ PDF ที่เป็นผลรวมของ PDF จำนวนมาก เหล่านี้ไม่ได้เสมอกันตั้งแต่(X_2) แต่รูปแบบไฟล์ PDF ของเราสามารถจะคิดว่าเป็น marginalizing มากกว่าตัวแปรสุ่มฉัน

p (X_{1} + X_{2}) \neq p (X_{1}) + p (X_{2})

$p(X_1 + X_2)\ne p(X_1) + p(X_2)$

i

$i$

— Chris Granade

อาคุณกำลังดูผลรวมของ PDF ใช่นั่นเป็นสัตว์ร้ายที่ต่างออกไปโดยสิ้นเชิง ตอนนี้ฉันอ่านคำถามอย่างใกล้ชิดฉันเห็นสิ่งที่คุณพูดและฉันจะลบคำตอบของฉัน ขอบคุณ!

— Geoff Oxberry

ฉันได้ยกเลิกการลบคำตอบที่ถูกลบไปก่อนหน้านี้ของฉันเพื่อทำหน้าที่เป็นเพียงป้ายบอกทางเท่านั้น โปรดอย่าโหวตคำตอบของฉันไม่ขึ้นหรือลงอีกต่อไป

— Geoff Oxberry