การอนุมานแบบแปรผัน KL divergence ต้องการจริง

ถึง (เจียมเนื้อเจียมตัวมาก) ฉันเข้าใจของการอนุมานแปรผันหนึ่งพยายามที่จะใกล้เคียงกับไม่รู้จักกระจายโดยการหาการกระจายที่เพิ่มประสิทธิภาพต่อไปนี้:$p$$q$

$$KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)}$$

เมื่อใดก็ตามที่ฉันลงทุนเวลาในการทำความเข้าใจกับการอนุมานความแปรปรวนฉันยังคงกดปุ่มสูตรนี้และไม่สามารถช่วย แต่รู้สึกว่าฉันไม่มีจุด ดูเหมือนว่าฉันจำเป็นต้องทราบเพื่อคำนวณด) แต่จุดทั้งผมไม่ทราบว่าการกระจายนี้พี$p$$KL(p||q)$$p$

มันเป็นจุดที่แน่นอนที่ทำให้ฉันดักฟังทุกครั้งที่ฉันพยายามอ่านบางสิ่งที่เปลี่ยนแปลง ฉันกำลังคิดถึงอะไร

แก้ไข :

ฉันจะเพิ่มความคิดเห็นพิเศษบางส่วนที่นี่อันเป็นผลมาจากคำตอบของ @wij ฉันจะพยายามให้แม่นยำยิ่งขึ้น

ในกรณีที่ฉันสนใจดูเหมือนว่าสมเหตุสมผลอย่างสมบูรณ์ที่จะพิจารณาว่าต่อไปนี้ถือ;

$$p(\theta | D) = \frac{p(D|\theta)p(\theta)}{p(D)} \propto p(D|\theta)p(\theta)$$

ในกรณีนี้ผมจะรู้ว่าสิ่งที่สัดส่วนควรมีลักษณะเช่นเพราะผมจะได้เลือกแบบจำลองสำหรับและtheta) ฉันจะทำนั้นถูกต้องในการบอกว่าฉันก็ต้องไปรับการกระจายครอบครัว [ช่วยบอกเกาส์] ดังกล่าวว่าตอนนี้ฉันสามารถประมาณการด) มันให้ความรู้สึกเหมือนอยู่ในกรณีนี้ผมกำลังพยายามที่จะพอดีกับเกาส์ที่อยู่ใกล้กับที่ไม่ปกติtheta) ถูกต้องหรือไม่$p$$p(D|\theta)$$p(\theta)$$q$$KL(p(\theta|D) || q)$$p(D|\theta)p(\theta)$

ถ้าเป็นเช่นนั้นฉันรู้สึกว่าฉันสมมติว่าลูกหลานของฉันคือการแจกแจงแบบปกติและฉันแค่พยายามหาค่าที่เป็นไปได้สำหรับการกระจายนี้โดยคำนึงถึงความแตกต่างของ$KL$

ฉันมีความรู้สึกว่าคุณปฏิบัติต่อเป็นวัตถุที่ไม่รู้จักอย่างสมบูรณ์ ฉันไม่คิดว่าเป็นกรณีนี้ นี่อาจเป็นสิ่งที่คุณพลาดไป$p$

สมมติว่าเราสังเกต (iid) และเราต้องการอนุมานโดยที่เราถือว่าและสำหรับถูกระบุโดยโมเดล ตามกฎของเบย์$Y = \{y_i\}_{i=1}^n$$p(x|Y)$$p(y|x)$$p(x)$$x\in\mathbb{R}^d$

$$p(x|Y) = \frac{p(x)}{p(Y)}p(Y|x) = \frac{p(x)}{p(Y)}\prod_{i=1}^n p(y_i|x).$$

ครั้งแรกที่สังเกตคือการที่เรารู้ว่าบางสิ่งบางอย่างเกี่ยวกับการกระจายหลังY) มันจะได้รับดังกล่าวข้างต้น โดยปกติแล้วเราก็ไม่ทราบว่า Normalizer ของ(Y) หากโอกาสมีความซับซ้อนมากแล้วเราจบลงด้วยการมีบางส่วนกระจายซับซ้อนY)$p(x|Y)$$p(Y)$$p(y|x)$$p(x|Y)$

สิ่งที่สองที่ทำให้สามารถอนุมานความแปรปรวนได้คือมีข้อ จำกัด ในรูปแบบที่สามารถรับได้ โดยไม่มีข้อ จำกัดจะเป็นซึ่งมักจะไม่ยอมให้ โดยทั่วไปแล้วจะอยู่ในเซตย่อยที่เลือกของตระกูลเอ็กซ์โพเนนเชียล ตัวอย่างเช่นนี่อาจเป็นตระกูลของการแจกแจงแบบเกาส์ที่แยกตัวประกอบอย่างสมบูรณ์คือ\} ปรากฎว่าถ้านี่เป็นชุดข้อ จำกัด ของคุณแล้วแต่ละองค์ประกอบของจะได้รับจาก$q$$\arg \min_q KL(p||q)$$p$$q$$q \in \mathcal{Q} = \{\prod_{i=1}^d q_i(x_i) \mid \text{each } q_i \text{ is a one-dimensional Gaussian}\}$$q$

$$q_i \propto \exp( \mathbb{E}_{\prod_{j\neq i} q_j} \log p(x, Y) ),$$

โดยที่สูตรที่แน่นอนไม่สำคัญมาก ประเด็นก็คือประมาณสามารถพบได้โดยอาศัยความรู้ของจริงและสมมติฐานในรูปแบบที่ควรใช้ประมาณ$p(x, Y) = p(x) \prod_{i=1}^n p(y_i|x).$$q$$p$$q$

ปรับปรุง

ต่อไปนี้คือการตอบส่วนที่ปรับปรุงในคำถาม ฉันเพิ่งรู้ว่าผมได้คิดเกี่ยวกับY)) ฉันจะใช้สำหรับปริมาณที่แท้จริงเสมอและสำหรับค่าประมาณ Inference อนุมานหรือ Bay Variations,ถูกกำหนดโดย$KL(q||p(x|Y))$$p$$q$$q$

$$q = \arg \min_{q \in \mathcal{Q}} KL(q\, ||\, p(x|Y)).$$

ด้วยข้อ จำกัด ตั้งค่าดังกล่าวข้างต้นการแก้ปัญหาคือสิ่งที่ได้รับก่อนหน้านี้ ตอนนี้ถ้าคุณกำลังคิด$\mathcal{Q}$

$$q = \arg \min_{q \in \mathcal{Q}} KL( p(x|Y) \, || \, q),$$

สำหรับถูกกำหนดให้เป็นเซตย่อยของตระกูลเอ็กซ์โพเนนเชียลจากนั้นการอนุมานนี้เรียกว่าการแพร่กระจายความคาดหวัง (EP) วิธีการแก้ปัญหาสำหรับในกรณีนี้เป็นหนึ่งในช่วงเวลาดังกล่าวว่ามันตรงกับของY)$\mathcal{Q}$$q$$p(x|Y)$

ทั้งสองวิธีที่คุณมีสิทธิในการบอกว่าเป็นหลักคุณพยายามที่จะใกล้เคียงกับการกระจายหลังที่แท้จริงในความรู้สึก KL โดยการกระจายจำกัด ที่จะใช้รูปแบบบางส่วน$q$