ผลลัพธ์ของการประมาณการ Monte Carlo ผลิตโดยการสุ่มตัวอย่างที่สำคัญ

ฉันทำงานเกี่ยวกับการสุ่มตัวอย่างที่สำคัญอย่างใกล้ชิดสำหรับปีที่ผ่านมาและมีคำถามปลายเปิดสองสามข้อที่ฉันหวังว่าจะได้รับความช่วยเหลือ

ประสบการณ์เชิงปฏิบัติของฉันกับแผนการสุ่มตัวอย่างที่สำคัญคือพวกเขาสามารถสร้างค่าความแปรปรวนต่ำและค่าอคติต่ำได้เป็นครั้งคราว อย่างไรก็ตามบ่อยครั้งที่พวกเขามีแนวโน้มที่จะประเมินความผิดพลาดสูงที่มีความแปรปรวนตัวอย่างต่ำ แต่มีอคติสูงมาก

ฉันสงสัยว่าทุกคนสามารถอธิบายได้อย่างชัดเจนว่าปัจจัยชนิดใดที่ส่งผลต่อความถูกต้องของการประมาณตัวอย่างที่สำคัญ? โดยเฉพาะอย่างยิ่งฉันสงสัยว่า:

1) การประมาณการตัวอย่างที่สำคัญรับประกันว่าจะรวมกันเป็นผลลัพธ์ที่ถูกต้องเมื่อการแจกแจงความเอนเอียงมีการสนับสนุนเช่นเดียวกับการกระจายแบบดั้งเดิมหรือไม่? ถ้าเป็นเช่นนั้นทำไมสิ่งนี้ถึงใช้เวลานานในการฝึกฝน?

2) มีความสัมพันธ์เชิงปริมาณระหว่างข้อผิดพลาดในการประมาณการที่เกิดจากการสุ่มตัวอย่างที่สำคัญและ "คุณภาพ" ของการแจกแจงการให้น้ำหนัก (เช่นเท่าใดมันตรงกับการกระจายศูนย์แปรปรวน)

3) บางส่วนอิงจาก 1) และ 2) - มีวิธีการวัดปริมาณ 'เท่าใด' ที่คุณต้องรู้เกี่ยวกับการแจกแจงก่อนที่คุณจะดีขึ้นโดยใช้การออกแบบการสุ่มตัวอย่างที่สำคัญกว่าวิธี Monte Carlo แบบง่าย ๆ

monte-carlo information-theory importance-sampling

— Berk U.
แหล่งที่มา

คำตอบ:

การสุ่มตัวอย่างความสำคัญมีการตรวจสอบเช่นเดียวกับวิธีการพื้นฐานของ Monte Carlo ที่หลักของมันเป็นพื้นฐาน Monte Carlo อันที่จริงมันเป็นเพียงการเปลี่ยนแปลงของการวัดอ้างอิงไปจาก เป็น ดังนั้นการบรรจบกันเป็น garanteed โดยกฎหมายจำนวนมากในทั้งสองกรณีคือไม่ว่าคุณจำลองจากหรือจากกรัมนอกจากนี้หากคำว่า เป็นขอบเขตที่ จำกัด ทฤษฎีบทกลางยังใช้และความเร็วของการลู่เข้า คือ

\int h (x) f (x) d x

$\int h(x) f(x) \text{d}x$

\int h (x) \frac{f (x)}{g (x)} g (x) d x

$\int h(x) \dfrac{f(x)}{g(x)} g(x) \text{d}x$

f

$f$

g

$g$

\int h^{2} (x) \frac{f^{2} (x)}{g (x)} d x

$\int h^2(x) \dfrac{f^2(x)}{g(x)} \text{d}x$

O (1 / \sqrt{n})

$\text{O}(1/\sqrt{n})$ . หาก "ใช้เวลานานในการฝึกฝน" อาจเป็นเพราะปัจจัยความแปรปรวนข้างต้นใน CLT อาจมีขนาดค่อนข้างใหญ่ แต่ผมยืนยันและความเร็วเป็นเช่นเดียวกับปกติ Monte Carlo,{n})

O (1 / \sqrt{n})

$\text{O}(1/\sqrt{n})$

คุณภาพของการกระจายความสำคัญการสุ่มตัวอย่างจึงมีความเกี่ยวข้องโดยตรงกับปัจจัยดังกล่าวข้างต้นแปรปรวนซึ่งจะไปศูนย์สำหรับ "ศูนย์กระจายแปรปรวน" สัดส่วนกับ(x) $|h(x)|f(x)$

— ซีอาน
แหล่งที่มา

ฉันสงสัยว่าเนื่องจาก OP กำลังรายงานการประมาณค่าความแปรปรวนขนาดเล็กที่มีอคติ แต่ดูเหมือนว่าจะมีความแปรปรวนเล็กน้อยซึ่งเขาอาจถามเกี่ยวกับการสุ่มตัวอย่างความสำคัญตามมาตรฐานของตนเอง ดูตัวอย่างที่ดีของ Radford Neal บนตัวประมาณค่าฮาร์มอนิกเพื่อดูตัวอย่างที่ดีซึ่งจะใช้การสุ่มตัวอย่างที่มีค่าความสำคัญที่มีค่าความแปรปรวนเป็น 0 และส่งกลับไร้สาระ ฉันไม่แน่ใจว่าสิ่งนี้จะไม่เกิดขึ้นในการสุ่มตัวอย่างที่มีความสำคัญเป็นประจำ แต่แน่นอนว่าเป็นของหายาก

— deinst

แม้ว่านี่ไม่ใช่ความตั้งใจของโอพี แต่ฉันก็ยังสนใจในพอยน์เตอร์เกี่ยวกับวิธีที่จะคิดออกว่าการทำให้ตนเองเป็นปกติจะผิดไปอย่างผิดปกติ

— deinst

@deinst ฉันไม่ได้ตระหนักถึงขั้นตอนการทำให้ปกติด้วยตนเองและข้อผิดพลาดของมันดังนั้นขอบคุณสำหรับสิ่งนี้! ไม่ว่าในกรณีใดฉันคิดว่าปัญหาอาจเกี่ยวข้องกับคุณสมบัติของโครงร่าง IS ของฉันดังนั้นฉันจึงต้องการสำรวจความคิดนี้อีกหากคุณมีความคิด

— Berk U.

@deinst ชุดรูปแบบ IS ที่ฉันใช้ถูกออกแบบมาให้ทำงานโดยไม่มีการแจกแจงตัวอย่างในมือ โครงการแรกใช้ขั้นตอนการ MCMC เพื่อจำลองชี้จากศูนย์กระจายแปรปรวนDX} ถัดไปจะใช้เคอร์เนลความหนาแน่นของการประมาณค่าในผลผลิต(x)} เมื่อมีอยู่ในมือฉันสามารถตัวอย่างจุดใหม่ได้สร้างค่า IS ของฉันเป็น $ \ sum {h (y_i) f (y_i) / หมวก {g (y_i)} $

g (x)

$g(x)$

M

$M$

x_{1} . . x_{M}

$x_1..x_M$

g^{*} (x) = h (x) f (x) / \int h (x) f (x) d x

$g^*(x) = h(x)f(x)/\int{h(x)f(x)dx}$

x_{1} . . x_{M}

$x_1..x_M$

\hat{g (x)}

$\hat{g(x)}$

\hat{g (x)}

$\hat{g(x)}$

N

$N$

y_{1} . . . y_{N}

$y_1...y_N$

— Berk U.

การใช้การประมาณแบบไม่มีพารามิเตอร์แนะนำความแปรปรวนของคำสั่งที่สูงกว่าความแปรปรวน Monte Carlo ดังนั้นฉันจะไม่แนะนำ

— ซีอาน

ซีอานได้ครอบคลุมผลการสุ่มตัวอย่างความสำคัญมาตรฐาน หากคุณถามเกี่ยวกับการสุ่มตัวอย่างความสำคัญด้วยตนเองที่คุณรู้เพียงและถึงค่าคงที่ normalizing ที่ไม่รู้จักบางอย่างมีการกล่าวถึงเทคนิคในบทที่ 4 ของหนังสือซีอานและ Casella Monte Carlo วิธีการทางสถิติและแนะนำ Monte วิธีคาร์โลกับ R ฉันแน่ใจว่าซีอานสามารถอธิบายรายละเอียดเกี่ยวกับเรื่องนี้ได้มากกว่าที่ฉันทำได้ดังนั้นในแง่หนึ่งคำตอบนี้ก็คือการหลอกล่อหมี $f$ $g$

ด้วยการสุ่มตัวอย่างความสำคัญที่ทำให้เป็นมาตรฐานคุณกำลังพยายามประมาณ โดยเลือกจากการแจกแจงซึ่งฟังก์ชันความหนาแน่นเป็นสัดส่วนกับและการคำนวณ ใช้วิธีการเดลต้า (โดยทั่วไปจะขึ้นอยู่กับเงื่อนไขเชิงเส้นของเทย์เลอร์ซีรีย์ของ ) และให้เราได้ และ

δ = \int h (x) f (x) d x

$\delta=\int h(x)f(x)\text{d}x$

x_{1}, \dots, x_{n}

$x_1,\ldots,x_n$

g (x)

$g(x)$

\hat{δ} = \frac{\sum_{i = 1}^{n} h (x) f (x) / g (x)}{\sum_{i = 1}^{n} f (x) / g (x)} .

$\hat{\delta}=\frac{\sum_{i=1}^n h(x)f(x)/g(x)}{\sum_{i=1}^n f(x)/g(x)}.$

X / Y

$X/Y$

ω (X) = f (x) / g (X)

$\omega(X)=f(x)/g(X)$

E_{g} (\hat{δ}) \approx δ + \frac{δ {Var}_{g} (ω (X)) - {Cov}_{g} (ω (X), h (X) ω (X))}{n}

$E_g(\hat{\delta})\approx \delta + \frac{\delta \text{Var}_g(\omega(X))-\text{Cov}_g(\omega(X),h(X)\omega(X))}{n}$

{Var}_{g} (\hat{δ}) \approx \frac{{Var}_{g} (h (X) ω (X)) - 2 δ {Cov}_{g} (ω (X), h (X) ω (X)) + δ^{2} {Var}_{g} (ω (X))}{n} .

$\text{Var}_g(\hat{\delta})\approx\frac{\text{Var}_g(h(X)\omega(X))-2\delta\text{Cov}_g(\omega(X),h(X)\omega(X))+\delta^2\text{Var}_g(\omega(X))}{n}.$

ดังนั้นโดยสังเขปเพื่อให้มีอคติและความแปรปรวนเล็กน้อยคุณต้องการให้เล็กและเป็นค่าบวก โชคไม่ดีที่การประมาณเหล่านี้ไม่สมบูรณ์แบบ (และการพิจารณาความแปรปรวนและความแปรปรวนร่วมอย่างแม่นยำนั้นน่าจะยากพอ ๆ กับการแก้ปัญหาเบื้องต้น) $\text{Var}_g(\omega(X))$ $\text{Cov}_g(\omega(X),h(X)\omega(X))$

— deinst
แหล่งที่มา

ขอบคุณสำหรับสิ่งนี้. ฉันแค่ไม่แน่ใจเล็ก ๆ น้อย ๆ เกี่ยวกับสัญกรณ์ / ไม่แน่ใจว่ามีการพิมพ์ผิด เพื่ออธิบายว่าและในคำอธิบายของคุณคืออะไร?

X / Y

$X/Y$

G

$G$

— Berk U.

@BerkUstun ทุน G เป็นตัวพิมพ์เล็ก ๆ ที่ฉันจะแก้ไขทันที X / Y เป็นเพียงอัตราส่วนทั่วไปของตัวแปรสุ่ม IIRC ทั้งหมดนี้จะมีการอธิบายในหนังสือของหลิว Monte Carlo (อะไรกับวิทยาศาสตร์ในชื่อ.)

— deinst

@deinst: จุดที่ดี! แท้จริงแล้วคุณสมบัติของเวอร์ชันที่ปรับให้เป็นมาตรฐานของตัวเองค่อนข้างแตกต่างจากตัวประมาณค่าการสุ่มตัวอย่างที่มีความสำคัญที่เป็นกลาง ในทางทฤษฎีเราจะต้องมีตัวอย่างความสำคัญแยกต่างหากเพื่อประเมินตัวส่วน

— ซีอาน