reparameterization trick สำหรับ VAEs ทำงานอย่างไรและทำไมจึงมีความสำคัญ

57

อย่างไรเคล็ดลับ reparameterizationสำหรับ autoencoders แปรผัน (VAE) ทำงานอย่างไร มีคำอธิบายที่เข้าใจง่ายและเข้าใจง่ายโดยไม่ทำให้คณิตศาสตร์ง่ายขึ้นหรือไม่? แล้วทำไมเราถึงต้องการ 'เคล็ดลับ'?

— เดวิดดาว
แหล่งที่มา

5

ส่วนหนึ่งของคำตอบคือการสังเกตว่าการแจกแจงแบบปกติทั้งหมดเป็นเพียงการย่อส่วนและฉบับแปลของ Normal (1, 0) ในการดึงจาก Normal (mu, sigma) คุณสามารถวาดจาก Normal (1, 0) คูณด้วย sigma (scale) และเพิ่ม mu (แปล)

— พระภิกษุ

@monk: มันควรจะเป็นปกติ (0,1) แทนที่จะเป็น (1,0) ถูกต้องมิฉะนั้นการคูณและการขยับจะเป็นไปได้อย่างสมบูรณ์!

— ริกา

@ บรีซฮา! ใช่แน่นอนขอบคุณ

— พระภิกษุ

57

หลังจากอ่านผ่านสไลด์เวิร์กช็อป NIPS 2015 ของ Kingmaฉันรู้ว่าเราต้องการเคล็ดลับการแก้ไขพารามิเตอร์เพื่อ backpropagate ผ่านโหนดแบบสุ่ม

อย่างสังหรณ์ใจในรูปแบบดั้งเดิม VAEs ตัวอย่างจากการสุ่มปมซึ่งประมาณโดยแบบจำลองพารามิเตอร์ของหลังจริง Backprop ไม่สามารถไหลผ่านโหนดสุ่ม $z$ $q(z \mid \phi, x)$

การแนะนำพารามิเตอร์ใหม่ช่วยให้เราสามารถแก้ไขพารามิเตอร์ในลักษณะที่ทำให้ backprop ไหลผ่านโหนดที่กำหนดขึ้นได้ $\epsilon$ $z$

— เดวิดดาว
แหล่งที่มา

3

ทำไมจึงถูกกำหนดในขณะนี้ทางด้านขวา?

z

$z$

— bringingdownthegauss

2

มันไม่ได้ แต่ก็ไม่ได้เป็น "แหล่งที่มาของการสุ่ม" - บทบาทนี้ได้ถูกนำตัวไปจาก\

ϵ

$\epsilon$

— quant_dev

โปรดทราบว่าวิธีการนี้ได้รับการเสนอหลายครั้งก่อนปี 2014: blog.shakirm.com/2015/10/…

— quant_dev

2

ง่ายมากใช้งานง่าย! คำตอบที่ดี!

— Serhiy

2

น่าเสียดายที่มันไม่ได้เป็น รูปแบบดั้งเดิมยังคงสามารถย้อนกลับได้ แต่มีความแปรปรวนสูงกว่า รายละเอียดสามารถพบได้จากการโพสต์ของฉัน

— JP Zhang

56

สมมติว่าเรามีการกระจายปกติที่แปรโดยเฉพาะ1) เราต้องการแก้ปัญหาด้านล่าง นี่เป็นปัญหาที่ค่อนข้างโง่และเห็นได้ชัดที่สุดแต่ที่นี่เราเพียงแค่ต้องการที่จะเข้าใจว่าเคล็ดลับ reparameterization ช่วยในการคำนวณการไล่ระดับสีของวัตถุประสงค์นี้2] $q$ $\theta$ $q_{\theta}(x) = N(\theta,1)$

{min}_{θ} E_{q} [x^{2}]

$\text{min}_{\theta} \quad E_q[x^2]$

θ

$\theta$

E_{q} [x^{2}]

$E_q[x^2]$

วิธีหนึ่งในการคำนวณมีดังนี้ $\nabla_{\theta} E_q[x^2]$

\nabla_{θ} E_{q} [x^{2}] = \nabla_{θ} \int q_{θ} (x) x^{2} d x = \int x^{2} \nabla_{θ} q_{θ} (x) \frac{q_{θ} (x)}{q_{θ} (x)} d x = \int q_{θ} (x) \nabla_{θ} \log q_{θ} (x) x^{2} d x = E_{q} [x^{2} \nabla_{θ} \log q_{θ} (x)]

$\nabla_{\theta} E_q[x^2] = \nabla_{\theta} \int q_{\theta}(x) x^2 dx = \int x^2 \nabla_{\theta} q_{\theta}(x) \frac{q_{\theta}(x)}{q_{\theta}(x)} dx = \int q_{\theta}(x) \nabla_{\theta} \log q_{\theta}(x) x^2 dx = E_q[x^2 \nabla_{\theta} \log q_{\theta}(x)]$

สำหรับตัวอย่างของเราโดยที่วิธีนี้ให้ $q_{\theta}(x) = N(\theta,1)$

\nabla_{θ} E_{q} [x^{2}] = E_{q} [x^{2} (x - θ)]

$\nabla_{\theta} E_q[x^2] = E_q[x^2 (x-\theta)]$

เคล็ดลับ Reparameterization เป็นวิธีที่จะเขียนคาดหวังเพื่อให้การกระจายที่เกี่ยวกับการที่เราจะใช้การไล่ระดับสีเป็นอิสระจากพารามิเตอร์\เพื่อให้บรรลุนี้เราต้องทำให้องค์ประกอบสุ่มในอิสระจาก\ดังนั้นเราเขียนเป็น จากนั้นเราสามารถเขียน โดยที่คือการกระจายของคือ(0,1) ตอนนี้เราสามารถเขียนอนุพันธ์ของดังนี้ $\theta$ $q$ $\theta$ $x$

x = θ + ϵ, ϵ \sim N (0, 1)

$x = \theta + \epsilon, \quad \epsilon \sim N(0,1)$

E_{q} [x^{2}] = E_{p} [(θ + ϵ)^{2}]

$E_q[x^2] = E_p[(\theta+\epsilon)^2]$

p

$p$

ϵ

$\epsilon$

N (0, 1)

$N(0,1)$

E_{q} [x^{2}]

$E_q[x^2]$

\nabla_{θ} E_{q} [x^{2}] = \nabla_{θ} E_{p} [(θ + ϵ)^{2}] = E_{p} [2 (θ + ϵ)]

$\nabla_{\theta} E_q[x^2] = \nabla_{\theta} E_p[(\theta+\epsilon)^2] = E_p[2(\theta+\epsilon)]$

นี่คือสมุดบันทึก IPython ที่ฉันเขียนซึ่งดูความแปรปรวนของสองวิธีในการคำนวณการไล่ระดับสี http://nbviewer.jupyter.org/github/gokererdogan/Notebooks/blob/master/Reparameterization%20Trick.ipynb

— goker
แหล่งที่มา

4

theta "ชัดเจน" สำหรับสมการแรกคืออะไร?

— gwg

2

มันคือ 0. วิธีหนึ่งในการดูนั่นคือให้สังเกตว่า E [x ^ 2] = E [x] ^ 2 + Var (x) ซึ่งก็คือ theta ^ 2 + 1 ในกรณีนี้ ดังนั้น theta = 0 จึงลดวัตถุประสงค์นี้ลง

— goker

ดังนั้นมันขึ้นอยู่กับปัญหาทั้งหมดหรือไม่ สำหรับการพูด min_ \ theta E_q [| x | ^ (1/4)] มันอาจจะแตกต่างอย่างสิ้นเชิง?

— Anne van Rossum

ขึ้นอยู่กับปัญหาอะไร ทีต้าที่ดีที่สุด? ถ้าใช่มันแน่นอนขึ้นอยู่กับปัญหา

— goker

ในสมการหลัง "วิธีนี้ให้" ไม่ควรเป็นแทนเพียงแค่ ?

\nabla_{θ} E_{q} [x^{2}] = E_{q} [x^{2} (x - θ) q_{θ} (x)]

$\nabla_\theta E_q[x^2] = E_q[x^2 (x-\theta) q_\theta(x)]$

\nabla_{θ} E_{q} [x^{2}] = E_{q} [x^{2} (x - θ)]

$\nabla_\theta E_q[x^2] = E_q[x^2 (x-\theta)]$

— AlphaOmega

17

ตัวอย่างที่สมเหตุสมผลของคณิตศาสตร์ของ "reparameterization trick" ถูกระบุไว้ในคำตอบของ goker แต่แรงจูงใจบางอย่างอาจมีประโยชน์ (ฉันไม่ได้รับอนุญาตให้แสดงความคิดเห็นในคำตอบนั้นดังนั้นนี่คือคำตอบแยกต่างหาก)

ในระยะสั้นเราต้องการคำนวณค่าของรูปแบบ $G_\theta$

G_{θ} = \nabla_{θ} E_{x \sim q_{θ}} [\dots]

$G_\theta = \nabla_{\theta}E_{x\sim q_\theta}[\ldots]$

หากไม่มี "reparameterization หลอกลวง"เรามักจะเขียนสิ่งนี้ต่อคำตอบของคนที่เป็น , ที่ไหน, $E_{x\sim q_\theta}[G^{est}_\theta(x)]$

G_{θ}^{e s t} (x) = \dots \frac{1}{q_{θ} (x)} \nabla_{θ} q_{θ} (x) = \dots \nabla_{θ} \log (q_{θ} (x))

$G^{est}_\theta(x) = \ldots\frac{1}{q_\theta(x)}\nabla_{\theta}q_\theta(x) = \ldots\nabla_{\theta} \log(q_\theta(x))$

ถ้าเราวาดจากแล้วคือการประมาณการเป็นกลางของg _นี่คือตัวอย่างของ "การสุ่มตัวอย่างที่สำคัญ" สำหรับการรวมระบบ Monte Carlo หากแสดงผลลัพธ์บางส่วนของเครือข่ายการคำนวณ (เช่นเครือข่ายนโยบายสำหรับการเรียนรู้การเสริมแรง) เราสามารถใช้สิ่งนี้ในการเผยแพร่กลับ (ใช้กฎลูกโซ่) เพื่อค้นหาอนุพันธ์ที่เกี่ยวข้องกับพารามิเตอร์เครือข่าย $x$ $q_\theta$ $G^{est}_\theta$ $G_\theta$ $\theta$

จุดสำคัญคือว่ามักจะเป็นที่เลวร้ายมาก (ความแปรปรวนสูง) ประมาณการ แม้ว่าคุณเฉลี่ยมากกว่าตัวอย่างจำนวนมาก แต่คุณอาจพบว่าค่าเฉลี่ยของมันดูเหมือนว่าจะทำการขยายระบบ (หรือ )อย่างเป็นระบบ $G^{est}_\theta$ $G_\theta$

ปัญหาพื้นฐานคือการมีส่วนร่วมที่สำคัญของอาจมาจากค่าของซึ่งหายากมาก (เช่นค่าที่มีขนาดเล็ก) ปัจจัยของกำลังขยายการประมาณการของคุณสำหรับบัญชีนี้ แต่การปรับขนาดนั้นจะไม่ช่วยถ้าคุณไม่เห็นค่าเมื่อคุณประเมินจากตัวอย่างจำนวน จำกัด ความดีหรือไม่ดีของ (เช่นคุณภาพของการประเมิน, , สำหรับดึงมาจาก ) อาจขึ้นอยู่กับ $G_\theta$ $x$ $x$ $q_\theta(x)$ $\frac{1}{q_\theta(x)}$ $x$ $G_\theta$ $q_\theta$ $G^{est}_\theta$ $x$ $q_\theta$ $\theta$ ซึ่งอาจไม่เหมาะสม (เช่นค่าเริ่มต้นที่เลือกโดยพลการ) มันเป็นเหมือนเรื่องราวของคนขี้เมาที่มองหากุญแจของเขาใกล้ถนน (เพราะนั่นคือสิ่งที่เขาสามารถดู / ตัวอย่าง) แทนที่จะใกล้ที่ที่เขาทิ้งมัน

"เคล็ดลับการแก้ไขพารามิเตอร์" บางครั้งก็แก้ไขปัญหานี้ โดยใช้สัญกรณ์ goker ของเคล็ดลับคือการเขียนเป็นฟังก์ชันของตัวแปรสุ่มมีการกระจายที่ไม่ได้ขึ้นอยู่กับแล้วเขียนความคาดหวังในเป็นความคาดหวังมากกว่า , $x$ $\epsilon$ $p$ $\theta$ $G_\theta$ $p$

G_{θ} = \nabla_{θ} E_{ϵ \sim p} [J (θ, ϵ)] = E_{ϵ \sim p} [\nabla_{θ} J (θ, ϵ)]

$G_\theta = \nabla_\theta E_{\epsilon\sim p}[J(\theta,\epsilon)] = E_{\epsilon\sim p}[ \nabla_\theta J(\theta,\epsilon)]$ สำหรับ บางepsilon)

J (θ, ϵ)

$J(\theta,\epsilon)$

เคล็ดลับ reparameterization มีประโยชน์อย่างยิ่งเมื่อตัวประมาณใหม่ไม่มีปัญหาที่กล่าวถึงข้างต้นอีกต่อไป (เช่นเมื่อเราสามารถเลือกเพื่อให้การประมาณที่ดีไม่ได้ขึ้นอยู่กับ ในการวาดค่าที่หายากของ ) สิ่งนี้สามารถอำนวยความสะดวกได้ (แต่ไม่รับประกัน) โดยข้อเท็จจริงที่ว่าไม่ได้ขึ้นอยู่กับและเราสามารถเลือกเป็นการกระจายแบบ unimodal อย่างง่าย $\nabla_\theta J(\theta,\epsilon)$ $p$ $\epsilon$ $p$ $\theta$ $p$

แต่เคล็ดลับ reparamerization อาจแม้แต่ "การทำงาน" เมื่อคือไม่ได้ประมาณการที่ดีของg _โดยเฉพาะแม้ว่าจะมีผลงานขนาดใหญ่เพื่อจากซึ่งเป็นของหายากมากเราอย่างต่อเนื่องไม่เห็นพวกเขาในระหว่างการเพิ่มประสิทธิภาพและเรายังไม่เห็นพวกเขาเมื่อเราใช้รูปแบบของเรา (ถ้ามีรูปแบบของเราเป็นรูปแบบการกำเนิด ) ในแง่ที่เป็นทางการมากขึ้นเล็กน้อยเราสามารถคิดของการแทนที่วัตถุประสงค์ของเรา (คาดหวังมากกว่า ) ที่มีวัตถุประสงค์ที่มีประสิทธิภาพที่ความคาดหวังบาง"ชุดปกติ"สำหรับพีด้านนอกของฉากทั่วไปนั้น $\nabla_\theta J(\theta,\epsilon)$ $G_\theta$ $G_\theta$ $\epsilon$ $p$ $p$ $\epsilon$ อาจสร้างค่าที่ไม่ดีโดยพลการของ - ดูรูปที่ 2 (b) ของBrock et อัล สำหรับ GAN ที่ประเมินภายนอกชุดตัวอย่างทั่วไประหว่างการฝึกอบรม (ในกระดาษนั้นค่าการตัดที่น้อยกว่าซึ่งสอดคล้องกับค่าตัวแปรแฝงที่อยู่ไกลกว่าชุดทั่วไปถึงแม้ว่าจะมีความน่าจะเป็นสูงกว่า) $J$

ฉันหวังว่าจะช่วย

— เซทแบรเดอร์
แหล่งที่มา

"ปัจจัย 1 / qθ (x) กำลังขยายการประมาณการของคุณเพื่อพิจารณาสิ่งนี้ แต่ถ้าคุณไม่เคยเห็นค่าของ x การปรับขนาดนั้นจะไม่ช่วยได้" คุณอธิบายเพิ่มเติมได้ไหม

— czxttkl

@czxttkl ในทางปฏิบัติเราประมาณค่าที่ต้องการด้วยจำนวนตัวอย่างที่ จำกัด หากมีขนาดเล็กมากสำหรับบางแล้วเราอาจจะไม่น่าที่จะลิ้มลองเช่นxดังนั้นแม้ว่ารวมถึงปัจจัยขนาดใหญ่และอาจมีส่วนร่วมที่มีความหมายกับค่าที่คาดหวังที่แท้จริงมันอาจถูกแยกออกจากการคาดการณ์มูลค่าที่เราคาดหวังสำหรับ จำนวนตัวอย่างที่เหมาะสมใด ๆ

q_{θ}

$q_\theta$

x

$x$

x

$x$

G_{θ}^{e s t} (x)

$G_{\theta}^{est}(x)$

1 / q_{θ}

$1/q_\theta$

— Seth Bruder

10

ให้ฉันอธิบายก่อนทำไมเราต้องใช้เคล็ดลับ Reparameterization ใน VAE

VAE มีตัวเข้ารหัสและตัวถอดรหัส ถอดรหัสการสุ่มกลุ่มตัวอย่างจากหลังจริงZ ~ Q (z|φ, x) ในการใช้ตัวเข้ารหัสและตัวถอดรหัสเป็นเครือข่ายประสาทคุณต้องทำการ backpropogate ผ่านการสุ่มตัวอย่างและนั่นเป็นปัญหาเนื่องจาก backpropogation ไม่สามารถไหลผ่านโหนดแบบสุ่มได้ เพื่อเอาชนะอุปสรรคนี้เราใช้เคล็ดลับการแก้ไขพารามิเตอร์

ตอนนี้ให้มาหลอกลวง เนื่องจากปกติกระจายด้านหลังของเราเราสามารถประมาณมันด้วยการแจกแจงแบบปกติอีกอันได้ เราประมาณZที่มีการกระจายตามปกติε

แต่สิ่งนี้เกี่ยวข้องกันอย่างไร

ตอนนี้แทนที่จะบอกว่าZถูกสุ่มตัวอย่างจากq (z∣ϕ, x)เราสามารถพูดได้ว่าZเป็นฟังก์ชันที่รับพารามิเตอร์(ε, (µ, L))และµ, Lเหล่านี้มาจากเครือข่ายประสาทส่วนบน (เครื่องเข้ารหัส) . ดังนั้นในขณะที่ backpropogation ทั้งหมดที่เราต้องการคืออนุพันธ์ของ wrt t บางส่วน, Lและεนั้นไม่เกี่ยวข้องกับการใช้อนุพันธ์

— เชอร์ล็อก
แหล่งที่มา

วิดีโอที่ดีที่สุดที่จะเข้าใจแนวคิดนี้ ฉันอยากจะแนะนำให้ดูวิดีโอที่สมบูรณ์เพื่อความเข้าใจที่ดีขึ้น แต่ถ้าคุณต้องการที่จะเข้าใจเพียงเคล็ดลับการเปลี่ยนค่าพารามิเตอร์แล้วดูจาก 8 นาที youtube.com/channel/UCNIkB2IeJ-6AmZv7bQ1oBYg

— Sherlock

9

ฉันคิดว่าคำอธิบายที่พบในหลักสูตรของ Stanford CS228 ในแบบจำลองความน่าจะเป็นแบบกราฟิกนั้นดีมาก พบได้ที่นี่: https://ermongroup.github.io/cs228-notes/extras/vae/

ฉันได้สรุป / คัดลอกส่วนสำคัญที่นี่เพื่อความสะดวก / ความเข้าใจของฉันเอง (แม้ว่าฉันขอแนะนำอย่างยิ่งให้ลองตรวจสอบลิงก์เดิม)

ดังนั้นปัญหาของเราคือเรามีการไล่ระดับสีที่เราต้องการคำนวณ:

\nabla_{ϕ} E_{z \sim q (z | x)} [f (x, z)]

$\nabla_\phi \mathbb{E}_{z\sim q(z|x)}[f(x,z)]$

หากคุณคุ้นเคยกับตัวประมาณฟังก์ชันของคะแนน (ฉันเชื่อว่า REINFORCE เป็นเพียงกรณีพิเศษนี้) คุณจะสังเกตเห็นว่าเป็นปัญหาที่แก้ได้ อย่างไรก็ตามตัวประเมินฟังก์ชันคะแนนมีความแปรปรวนสูงซึ่งนำไปสู่ความยากลำบากในการเรียนรู้รูปแบบส่วนใหญ่

ดังนั้นภายใต้เงื่อนไขบางประการเราสามารถแสดงการแจกแจงเป็นกระบวนการ 2 ขั้นตอน $q_\phi (z|x)$

ก่อนอื่นเราลองชิมตัวแปรเสียงจากการแจกแจงอย่างง่ายเหมือน Normal Standard ต่อไปเราใช้การแปลงแบบกำหนดขึ้นอย่างที่แมปเสียงแบบสุ่มบนการกระจายที่ซับซ้อนมากขึ้นนี้ นี้ส่วนที่สองคือไม่เสมอไป แต่มันเป็นความจริงสำหรับการเรียนที่น่าสนใจหลายแห่งq_ $\epsilon$ $p(\epsilon)$ $g_\phi(\epsilon, x)$ $q_\phi$

ตัวอย่างเช่นลองใช้ q ที่ง่ายมากที่เราสุ่มตัวอย่าง

z \sim q_{μ, σ} = N (μ, σ)

$z \sim q_{\mu, \sigma} = \mathcal{N}(\mu, \sigma)$ ตอนนี้แทนที่จะสุ่มตัวอย่างจากเราสามารถเขียนสิ่งนี้เป็น ที่1)

q

$q$

z = g_{μ, σ} (ϵ) = μ + ϵ \cdot σ

$z = g_{\mu, \sigma}(\epsilon) = \mu + \epsilon\cdot\sigma$

ϵ \sim N (0, 1)

$\epsilon \sim \mathcal{N}(0, 1)$

ตอนนี้แทนที่จะจำเป็นต้องได้รับการไล่ระดับสีของความคาดหวังของ Q (z) นั้นเราสามารถเขียนเป็นการไล่ระดับสีของความคาดหวังเกี่ยวกับฟังก์ชั่นที่เรียบง่ายepsilon) $p(\epsilon)$

\nabla_{ϕ} E_{z \sim q (z | x)} [f (x, z)] = E_{ϵ \sim p (ϵ)} [\nabla_{ϕ} f (x, g (ϵ, x))]

$\nabla_\phi \mathbb{E}_{z\sim q(z|x)}[f(x,z)] = \mathbb{E}_{\epsilon \sim p(\epsilon)}[\nabla_\phi f(x,g(\epsilon, x))]$

สิ่งนี้มีความแปรปรวนต่ำกว่าด้วยเหตุผลที่ไม่ใช่เหตุผลเล็กน้อย ตรวจสอบส่วน D ของภาคผนวกที่นี่สำหรับคำอธิบาย: https://arxiv.org/pdf/1401.4082.pdf

— เกลียดเขา
แหล่งที่มา

สวัสดีคุณรู้ไหมว่าทำไมในการดำเนินการพวกเขาแบ่ง std ด้วย 2? (เช่น std = torch.exp (z_var / 2)) ในการแก้ไขพารามิเตอร์?

— Rika

4

เรามีแบบจำลองความน่าจะเป็นของเรา และต้องการกู้คืนพารามิเตอร์ของรุ่น เราลดงานของเราเพื่อปรับขอบเขตขอบเขตความแปรปรวน (VLB) ให้เหมาะสม เมื่อต้องการทำสิ่งนี้เราควรจะสามารถทำสองสิ่ง:

คำนวณ VLB
รับการไล่ระดับสีของ VLB

ผู้เขียนแนะนำให้ใช้ Monte Carlo Estimator สำหรับทั้งสอง และที่จริงพวกเขาแนะนำเคล็ดลับนี้เพื่อให้ได้เครื่องมือประมาณการ Monte Carlo Gradient ที่แม่นยำยิ่งขึ้นของ VLB

มันเป็นเพียงการปรับปรุงวิธีการเชิงตัวเลข

— แอนตัน
แหล่งที่มา

2

เคล็ดลับการแก้ไขพารามิเตอร์ลดความแปรปรวนของตัวประมาณ MC สำหรับการไล่ระดับสีอย่างมาก ดังนั้นจึงเป็นเทคนิคการลดความแปรปรวน :

เป้าหมายของเราคือการหาค่าประมาณของ

\nabla_{ϕ} E_{q (z^{(i)} ∣ x^{(i)}; ϕ)} [\log p (x^{(i)} ∣ z^{(i)}, w)]

$\nabla_\phi \mathbb E_{q(z^{(i)} \mid x^{(i)}; \phi)} \left[ \log p\left( x^{(i)} \mid z^{(i)}, w \right) \right]$

เราสามารถใช้ "ตัวประมาณฟังก์ชันคะแนน": แต่คะแนน ฟังก์ชันประมาณค่ามีความแปรปรวนสูง เช่นถ้าความน่าจะเป็นน้อยมากดังนั้นค่าสัมบูรณ์ของ มีขนาดใหญ่มากและมีค่าเป็นลบ ดังนั้นเราจะมีความแปรปรวนสูง

\nabla_{ϕ} E_{q (z^{(i)} ∣ x^{(i)}; ϕ)} [\log p (x^{(i)} ∣ z^{(i)}, w)] = E_{q (z^{(i)} ∣ x^{(i)}; ϕ)} [\log p (x^{(i)} ∣ z^{(i)}, w) \nabla_{ϕ} \log q_{ϕ} (z)]

$\nabla_\phi \mathbb E_{q(z^{(i)} \mid x^{(i)}; \phi)} \left[ \log p\left( x^{(i)} \mid z^{(i)}, w \right) \right] = \mathbb E_{q(z^{(i)} \mid x^{(i)}; \phi)} \left[ \log p\left( x^{(i)} \mid z^{(i)}, w \right) \nabla_\phi \log q_\phi(z)\right]$

p (x^{(i)} ∣ z^{(i)}, w)

$p\left( x^{(i)} \mid z^{(i)}, w \right)$

\log p (x^{(i)} ∣ z^{(i)}, w)

$\log p\left( x^{(i)} \mid z^{(i)}, w \right)$

ด้วย Reparametrizationเรามี $z^{(i)} = g(\epsilon^{(i)}, x^{(i)}, \phi)$

\nabla_{ϕ} E_{q (z^{(i)} ∣ x^{(i)}; ϕ)} [\log p (x^{(i)} ∣ z^{(i)}, w)] = E_{p (ϵ^{(i)})} [\nabla_{ϕ} \log p (x^{(i)} ∣ g (ϵ^{(i)}, x^{(i)}, ϕ), w)]

$\nabla_\phi \mathbb E_{q(z^{(i)} \mid x^{(i)}; \phi)} \left[ \log p\left( x^{(i)} \mid z^{(i)}, w \right) \right] = \mathbb E_{p(\epsilon^{(i)})} \left[ \nabla_\phi \log p\left( x^{(i)} \mid g(\epsilon^{(i)}, x^{(i)}, \phi), w \right) \right]$

ตอนนี้คาดหวังก็คือ WRTและมีความเป็นอิสระของพารามิเตอร์ลาด\ดังนั้นเราสามารถใส่การไล่ระดับสีโดยตรงในความคาดหวังซึ่งสามารถมองเห็นได้ง่ายโดยเขียนความคาดหวังออกมาอย่างชัดเจน การไล่ระดับสีนั้นมีค่าน้อยกว่ามากดังนั้นเราจึงมีความแปรปรวนที่ลดลง $p(\epsilon^{(i)})$ $p(\epsilon^{(i)})$ $\phi$

หมายเหตุ: เราสามารถทำเล่ห์เหลี่ยม reparametrization นี้ได้ก็ต่อเมื่อต่อเนื่องดังนั้นเราจึงสามารถไล่ระดับของพี) $z^{(i)}$ $z^{(i)} = g(\epsilon^{(i)}, x^{(i)}, \phi)$

— Chris Elgoog
แหล่งที่มา