เหตุใดปัญหารกรุงรังจึงไม่สามารถทำได้สำหรับตัวอย่างขนาดใหญ่

สมมติว่าเรามีชุดของจุด\} แต่ละจุดถูกสร้างขึ้นโดยใช้การกระจาย เพื่อให้ได้มาซึ่งหลังสำหรับเราเขียน ตามที่กระดาษ Minka ฯ เมื่อวันที่คาดว่าจะมีการขยายพันธุ์ที่เราต้องการคำนวณที่จะได้รับหลังและดังนั้นปัญหาจะกลายเป็นยากสำหรับตัวอย่างที่มีขนาดใหญ่ขนาดNอย่างไรก็ตามฉันไม่สามารถเข้าใจได้ว่าทำไมเราถึงต้องคำนวณจำนวนนี้ในกรณีนี้เพราะสำหรับเดี่ยว $\mathbf{y} = \{y_1, y_2, \ldots, y_N \}$ $y_i$

p (y_{i} | x) = \frac{1}{2} N (x, 1) + \frac{1}{2} N (0, 10) .

$p(y_i| x) = \frac12 \mathcal{N}(x, 1) + \frac12 \mathcal{N}(0, 10).$

x

$x$

p (x | y) \propto p (y | x) p (x) = p (x) \prod_{i = 1}^{N} p (y_{i} | x) .

$p(x| \mathbf{y}) \propto p(\mathbf{y}| x) p(x) = p(x) \prod_{i = 1}^N p(y_i | x).$

2^{N}

$2^N$

p (x | y)

$p(x| \mathbf{y})$

N

$N$

y_{i}

$y_i$ ความน่าจะเป็นมีรูปแบบ

p (y_{i} | x) = \frac{1}{2 \sqrt{2 π}} (\exp {- \frac{1}{2} (y_{i} - x)^{2}} + \frac{1}{\sqrt{10}} \exp {- \frac{1}{20} y_{i}^{2}}) .

$p(y_i| x) = \frac{1}{2 \sqrt{2 \pi}} \left( \exp \left\{-\frac12 (y_i - x)^2\right\} + \frac{1}{\sqrt{10}} \exp \left\{-\frac1{20} y_i^2\right\} \right).$

การใช้สูตรนี้เราได้รับหลังโดยการคูณอย่างง่ายของดังนั้นเราต้องการเพียงการดำเนินการและดังนั้นเราจึงสามารถแก้ปัญหานี้สำหรับตัวอย่างขนาดใหญ่ได้อย่างแน่นอน $p(y_i| x)$ $N$

ฉันจะทำให้ตัวเลขการทดลองเพื่อเปรียบเทียบไม่ผมได้รับหลังเดียวกันในกรณีที่ฉันคำนวณแต่ละระยะแยกต่างหากและในกรณีการใช้สินค้าที่ผมมีความหนาแน่นสำหรับแต่ละy_iผู้โพสต์เหมือนกัน ดู ว่าฉันผิดตรงไหน ทุกคนสามารถทำให้มันชัดเจนกับผมทำไมเราต้องการดำเนินงานเพื่อการคำนวณหลังสำหรับให้และตัวอย่าง ? $y_i$ ป้อนคำอธิบายรูปภาพที่นี่ $2^N$ $x$ $\mathbf{y}$

bayesian mixture posterior

— Alexey Zaytsev
แหล่งที่มา

การดำเนินการหนึ่งครั้งต่อเทอมและเงื่อนไขดังนั้นเราจึงต้องการการดำเนินงานนอกจากนี้ฉันดูกระดาษของ Minka และบทของ Bishop ในการอนุมานโดยประมาณอีกครั้ง ทั้งสองแสดงให้เห็นว่าเราต้องการประมาณการและได้รับหลังสำหรับx

N

$N$

O (N)

$O(N)$

x

$x$

— Alexey Zaytsev

ฉันเข้าใจถูกต้องหรือไม่ว่าของคุณไม่ได้รับการแก้ไข ถ้าเป็นเช่นนั้นคุณสามารถแก้ปัญหานี้ได้ในซึ่งถือว่าสามารถใช้งานได้โดยไม่คำนึงถึง

y_{i}

$y_i$

O (n \log (n))

$O(n\log(n))$

n

$n$

— user603

@Alexey หลังจากอ่านย่อหน้านี้อีกครั้งฉันคิดว่าผู้เขียนไม่ได้กล่าวถึงการดำเนินงานเขาเพียง แต่ชี้ให้เห็นว่า"รัฐเชื่อสำหรับเป็นส่วนผสมของ Gaussians"

2^{N}

$2^N$ $x$ $2^N$

@Procrastinator ตามกระดาษที่เราต้องการใช้การเผยแพร่ความเชื่อ แต่ไม่สามารถใช้เพราะเราต้องดำเนินการผสมกับ gaussians ถ้าอย่างนั้นคำถามคือทำไมเราถึงต้องการใช้ BP? อีกคำถามหนึ่งที่เกิดขึ้นในกรณีที่เราอ่านบท 10.7.1 ในบิชอป PRML หรือนาฬิกาvideolecture โดย Minka หลังจากนั้นคำตอบยังไม่ชัดเจน

2^{N}

$2^N$

— Alexey Zaytsev

@ Alexey ฉันคิดว่าตรรกะเบื้องหลังนี้แตกต่างกัน ผู้เขียนอธิบายว่าจะเกิดอะไรขึ้นถ้าคุณใช้การเผยแพร่ความเชื่อเพื่อเน้นปัญหาบางอย่างเมื่อมีขนาดใหญ่แล้วจึงส่งเสริม "การเผยแผ่ความคาดหวัง" ของเขา เขากล่าวว่าการเผยแผ่ความเชื่อต้องใช้ส่วนผสมของ Gaussians สำหรับสถานะความเชื่อสำหรับซึ่งจะซับซ้อนเมื่อมีขนาดใหญ่ มีการกล่าวถึงจำนวนของการดำเนินงานที่จำเป็นต้องใช้ แต่ความซับซ้อนของรัฐเชื่อสำหรับการไม่เป็นx

N

$N$

2^{N}

$2^N$

x

$x$

N

$N$

x

$x$

คำตอบ:

คุณพูดถูกว่ากระดาษผิด คุณสามารถประเมินการกระจายตัวด้านหลังของที่ตำแหน่งที่ทราบโดยใช้การดำเนินการปัญหาคือเมื่อคุณต้องการคำนวณช่วงเวลาของคนหลัง ในการคำนวณค่าเฉลี่ยด้านหลังของอย่างแน่นอนคุณจะต้องใช้การดำเนินงานนี่เป็นปัญหาที่กระดาษพยายามแก้ไข $x$ $O(n)$ $x$ $2^N$

— ทอมมินก้า
แหล่งที่มา

คุณพลาดจุดที่การแจกแจงนั้นเป็นส่วนผสมของ Gaussians: แต่ละตัวอย่างนั้นกระจายตามด้วยความน่าจะเป็นและเป็น (การแจกแจงความยุ่งเหยิงสำหรับ , อิสระจาก ) . $y_i$ $p(y_i | x)$ $1-w$ $p_c(y)$ $y$ $x$ $w$

ให้เป็นตัวแปรตัวบ่งชี้ที่แสดงว่าตัวอย่างที่วาดจากการกระจายของความยุ่งเหยิง ดังนั้นถ้าหากมันเป็นก็แสดงว่าตัวอย่างที่ถูกดึงออกมาจากx) แน่นอนถ้าตัวอย่างถูกดึงออกมาจากการกระจายความยุ่งเหยิงมูลค่าของมันจะไม่เกี่ยวข้องในการประมาณการของx $c_i$ $i$ $0$ $p(y|x)$ $x$

มันคือสถานะของสถานะร่วมที่เป็นไปได้สำหรับตัวแปรตัวบ่งชี้เหล่านี้ที่ทำให้เกิดปัญหา $2^N$

— เดฟ
แหล่งที่มา

อย่างไรก็ตามเราสามารถวางตัวแปรเพิ่มเติมได้เนื่องจากเราจำเป็นต้องได้รับการแก้ไขปัญหาหลังสูงสุด ด้านหลังของมีรูปแบบที่ชัดเจนดังนั้นเราจึงไม่ถูกบังคับให้คำนึงถึงสถานะปัจจุบันทั้งหมดดังนั้นคำถามคือ "ทำไมเราต้องคำนวณจำนวนนี้ในกรณีที่เราต้องการหาวิธีการแก้ปัญหาหลังสูงสุด?"

c_{i}

$c_i$

x

$x$

2^{N}

$2^N$

— Alexey Zaytsev

การขยายให้ใหญ่สุดจะต้องดำเนินการแทนสถานะสำหรับตัวแปร

c

$c$

— เดฟ

เราไม่ทราบว่าดังนั้นเราจึงบูรณาการ (รวมขึ้นไป) C_iวิธีนี้สามารถทำได้โดยตรงใช่ไหม?

c_{i}

$c_i$

c_{i}

$c_i$

— Alexey Zaytsev

สั่งใช่ แต่จำนวนรัฐ (คำศัพท์) เพิ่มขึ้นเช่นซึ่งอาจเป็นปัญหาในการคำนวณ

2^{N}

$2^N$

— เดฟ

เราสามารถทำสิ่งนี้สำหรับแต่ละการสังเกตด้วยวิธีอิสระดังนั้นเราจึงมีไม่ใช่ความซับซ้อน

O (n)

$O(n)$

O (2^{n})

$O(2^n)$

— Alexey Zaytsev