วิธีการแพร่กระจายอย่างเหมาะสมดึงเมื่อคำนวณหลายความคาดหวัง

สมมติว่าเราต้องการคำนวณความคาดหวัง:

E_{Y} E_{X | Y} [ฉ (X, Y)]

$E_YE_{X|Y}[f(X,Y)]$

สมมติว่าเราต้องการประมาณค่านี้โดยใช้การจำลองมอนติคาร์โล

E_{Y} E_{X | Y} [ฉ (X, Y)] \approx \frac{1}{R S} Σ_{R = 1}^{R} Σ_{s = 1}^{S} ฉ (x^{R, s}, Y^{R})

$E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r)$

แต่สมมติว่ามันมีค่าใช้จ่ายสูงในการดึงตัวอย่างจากการแจกแจงทั้งสองค่าเพื่อให้เราสามารถวาดหมายเลขคงที่เท่านั้น $K$

เราควรจัดสรรอย่างไร ตัวอย่างรวมถึงดึงไปที่การกระจายแต่ละครั้งหรือในสุดขั้วหนึ่งเสมอในด้านนอกและเสมอในด้านในรองในทางกลับกัน ฯลฯ ..... $K$ $K/2$ $K-1$

สัญชาตญาณของฉันบอกฉันว่ามันจะต้องทำอย่างไรกับความแปรปรวน / เอนโทรปีของการแจกแจงที่สัมพันธ์กัน สมมติว่าด้านนอกหนึ่งเป็นจุดมวลแล้วส่วนหนึ่งของที่ช่วยลดข้อผิดพลาด MC จะวาดที่ 1 ของและวาดของxy $K$ $Y$ $K-1$ $X|Y$

หวังว่านี่จะชัดเจน

— wolfsatthedoor
แหล่งที่มา

แก้ไขให้คุณ

— wolfsatthedoor

"ในทางกลับกัน" และความคิดเห็นของคุณต่อ @ Xi'ans คำตอบดูเหมือนจะบ่งบอกว่าคุณคิดว่าเป็นไปได้ที่จะดึงตัวแปรด้านนอกมากกว่าตัวแปรภายใน แต่วิธีที่เหมาะสมที่สุด - ไม่ใช่ทั้งหมดที่จะเสียเปล่า?

0

$0$

— Juho Kokkala

ยุติธรรมเพียงพอขั้นต่ำหนึ่งวาดต่อภายนอกฉันเดา หรือคุณอาจคิดว่าการเขียนโปรแกรมเพื่อประหยัดการวาดฉันคิดว่า

— wolfsatthedoor

@robertevansanders โปรดยืนยันว่าการตีความคำถามของคุณในสองประโยคแรกของคำตอบของ Xi'ans นั้นถูกต้องหรือไม่

— Juho Kokkala

อย่างที่คุณพูดใช่ แต่เปลี่ยน y และ x

— wolfsatthedoor

นี่เป็นคำถามที่น่าสนใจมากกับเอกสารเล็ก ๆ น้อย ๆ ในวรรณคดี Monte Carlo ยกเว้นในการเชื่อมต่อกับการแบ่งชั้นและ ราว-Blackwellisation นี่อาจเป็นเพราะความจริงที่ว่าการคำนวณความแปรปรวนตามเงื่อนไขที่คาดหวังและความแปรปรวนของการคาดการณ์ตามเงื่อนไขนั้นทำได้ยาก

ก่อนอื่นให้เราสมมติว่าคุณทำงาน $R$ แบบจำลองจาก $\pi_X$ , $x_1,\ldots,x_R$ และสำหรับแต่ละจำลอง $x_r$ , คุณวิ่ง $S$ แบบจำลองจาก $\pi_{Y|X=x_r}$ , $y_{1r},\ldots,y_{sr}$ . Monte Carlo ของคุณประมาณการไว้แล้ว

δ (R, S) = \frac{1}{R S} Σ_{R = 1}^{R} Σ_{s = 1}^{S} ฉ (x_{R}, Y_{R s})

$\delta(R,S)=\frac{1}{RS}\sum_{r=1}^R\sum_{s=1}^S f(x_r,y_{rs})$ ความแปรปรวนของการประมาณนี้ถูกแยกย่อยดังนี้

\begin{aligned} var {δ (R, S)} & = \frac{1}{R^{2} S^{2}} R var {Σ_{s = 1}^{S} ฉ (x_{R}, Y_{R s})} \\ = \frac{1}{R S^{2}} {var}_{X} E_{Y | X} {Σ_{s = 1}^{S} ฉ (x_{R}, Y_{R s}) | x_{R}} + \frac{1}{R S^{2}} E_{X} {var}_{Y | X} {Σ_{s = 1}^{S} ฉ (x_{R}, Y_{R s}) | x_{R}} \\ = \frac{1}{R S^{2}} {var}_{X} {S E_{Y | X} [ฉ (x_{R}, Y) | x_{R}]} + \frac{1}{R S^{2}} E_{X} [S {var}_{Y | X} {ฉ (x_{R}, Y) | x_{R}}] \\ = \frac{1}{R} {var}_{X} {E_{Y | X} [ฉ (x_{R}, Y) | x_{R}]} + \frac{1}{R S} E_{X} [{var}_{Y | X} {ฉ (x_{R}, Y) | x_{R}}] \\ \overset{K = R S}{=} \frac{1}{R} {var}_{X} {E_{Y | X} [ฉ (x_{R}, Y) | x_{R}]} + \frac{1}{K} E_{X} [{var}_{Y | X} {ฉ (x_{R}, Y) | x_{R}}] \end{aligned}

$\begin{align*} \text{var} \{\delta(R,S)\} &= \frac{1}{R^2S^2} R\text{var} \left\{\sum_{s=1}^S f(x_r,y_{rs})\right\}\\ &= \frac{1}{RS^2} \text{var}_X\mathbb{E}_{Y|X}\left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}+\frac{1}{RS^2}\mathbb{E}_{X}\text{var}_{Y|X} \left\{\sum_{s=1}^S f(x_r,y_{rs})\big|x_r\right\}\\ &=\frac{1}{RS^2} \text{var}_X\{ S \mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS^2} \mathbb{E}_{X}[S\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &=\frac{1}{R} \text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{RS} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]\\ &\stackrel{K=RS}{=}\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{K} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}] \end{align*}$ ดังนั้นหากต้องการลดความแปรปรวนนี้ให้น้อยที่สุดทางเลือกที่ดีที่สุดคือ

R = K

$R=K$ . นั่นหมายความว่า

S = 1

$S=1$ . ยกเว้นเมื่อคำแปรปรวนแรกเป็นโมฆะในกรณีนี้มันไม่สำคัญ อย่างไรก็ตามตามที่กล่าวไว้ในความคิดเห็นสมมติฐาน

K = R S

$K=RS$ ไม่สมจริงเนื่องจากไม่ได้คำนึงถึงการผลิตรายการหนึ่ง

x_{r}

$x_r$ [หรือถือว่านี่มาได้ฟรี]

ตอนนี้ให้เราสมมติค่าใช้จ่ายในการจำลองที่แตกต่างกันและข้อ จำกัด ด้านงบประมาณ $R+aRS=b$ ความหมายว่า $y_{rs}$ ค่าใช้จ่าย $a$ เพื่อจำลองมากกว่าครั้ง $x_r$ 's การสลายตัวข้างต้นของความแปรปรวนนั้น

\frac{1}{R} {var}_{X} {E_{Y | X} [ฉ (x_{R}, Y) | x_{R}]} + \frac{1}{R (ข - R) / a R} E_{X} [{var}_{Y | X} {ฉ (x_{R}, Y) | x_{R}}]

$\frac{1}{R}\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}+ \frac{1}{R(b-R)/aR} \mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]$ ซึ่งสามารถย่อเล็กสุดได้

R

$R$ เช่น

R^{* * * *} = ข / 1 + {a E_{X} [{var}_{Y | X} {ฉ (x_{R}, Y) | x_{R}} / {var}_{X} {E_{Y | X} [ฉ (x_{R}, Y) | x_{R}]}}^{1 / 2}

$R^*=b\big/1+\{a\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}/\text{var}_X\{\mathbb{E}_{Y|X}[f(x_r,Y)|x_r]\}\}^{1/2}$ [จำนวนเต็มที่ใกล้เคียงที่สุดภายใต้ข้อ จำกัด

R \geq 1

$R\ge 1$ และ

S \geq 1

$S\ge 1$ ] ยกเว้นเมื่อความแปรปรวนแรกเท่ากับศูนย์ซึ่งในกรณีนี้

R = 1

$R=1$ . เมื่อไหร่

E_{X} [{var}_{Y | X} {f (x_{r}, Y) | x_{r}}] = 0

$\mathbb{E}_{X}[\text{var}_{Y|X}\{f(x_r,Y)|x_r\}]=0$ ความแปรปรวนขั้นต่ำสอดคล้องกับค่าสูงสุด

R

$R$ , ซึ่งนำไปสู่

S = 1

$S=1$ ในพิธีการปัจจุบัน

โปรดทราบว่าควรเปรียบเทียบโซลูชันนี้กับโซลูชันสมมาตรเมื่ออินทิกรัลชั้นในอยู่ $X$ รับ $Y$ และอินทิกรัลด้านนอกขัดกับขอบใน $Y$ (สมมติว่าการจำลองมีความเป็นไปได้เช่นกันในลำดับนี้)

ส่วนขยายที่น่าสนใจสำหรับคำถามนั้นคือพิจารณาแบบจำลองที่แตกต่างกันจำนวนหนึ่ง $S(x_r)$ สำหรับแต่ละจำลอง $x_r$ ขึ้นอยู่กับมูลค่า $\text{var}_{Y|X}\{f(x_r,Y)|x_r\}$ .

— ซีอาน
แหล่งที่มา

ในข้อสรุปสุดท้ายดูเหมือนว่าคุณจะได้รับการสมมติ

K = R S

$K=RS$ แต่ในการตั้งคำถาม

K = R S + R

$K=RS+R$ เนื่องจากการนับตัวแปรนอกจะถูกนับเช่นกัน ผลลัพธ์ที่นี่บอกว่าหากการสุ่มตัวอย่างตัวแปรด้านนอกว่างแน่นอนหนึ่งควรสุ่มตัวอย่างภายนอกใหม่สำหรับทุกๆด้าน (นอกจากนี้บทบาทของ

x

$x$ และ

y

$y$ มีการสลับที่นี่เมื่อเทียบกับคำถาม แต่แน่นอนว่าไม่สำคัญ)

— Juho Kokkala

ใช่ แต่เราสามารถตัดสินคุณค่าของ

R

$R$ ... พิจารณาการตั้งค่าความเสื่อมที่ตำแหน่งด้านนอก

X

$X$ เป็นค่าคงที่ มันจะดีกว่าที่จะสุ่มตัวอย่างค่าคงที่หนึ่งครั้งและ

Y

$Y$

K - 1

$K-1$ ครั้งมากกว่าค่าคงที่

K / 2

$K/2$ ครั้งและ

Y

$Y$

K / 2

$K/2$ คูณ (ซึ่งก็คืออะไร)

S = 1

$S=1$ จะบอกเป็นนัย) หรือฉันเข้าใจผิดอย่างสิ้นเชิงคำถาม? (ตอนนี้ฉันเพิ่งอ่านประโยคที่สองของความคิดเห็นของคุณ - ไม่ใช่สมมติฐานที่ระบุไว้ในคำถามที่ว่าพวกเขามีค่าใช้จ่ายเท่ากัน)

— Juho Kokkala

@ ซีอานใช่โกลกาตาถูกต้องวิธีแก้ปัญหาของคุณโดยทั่วไปไม่สามารถถือได้ สมมติว่าตอนนี้ตัวแปรภายในมีการแจกแจงที่ลดลงและด้านนอกมีความแปรปรวนที่มีความหมายแล้วคุณจะต้องการสุ่มตัวอย่างดึงภายในน้อยที่สุด

— wolfsatthedoor

ฉันคิดว่าคำตอบของคุณไม่ถูกต้อง สมมติว่าการกระจายภายในนั้นเสื่อมโทรมและด้านนอกเป็นความแปรปรวนขนาดใหญ่, S จะเป็น 1 ได้อย่างไร

— wolfsatthedoor

@ robertevansanders: ถ้าการกระจายตัวภายในแย่ลง

{var}_{Y | X} {f (x_{r}, Y) | x_{r}} = 0

$\text{var}_{Y|X}\{f(x_r,Y)|x_r\}=0$ ดังนั้น

R^{*} = b

$R^*=b$ และเราเลือกจำนวนเต็มที่ใกล้เคียงที่สุด

R

$R$ ภายใต้ข้อ จำกัด

S \geq 1

$S\ge 1$ และ

R (1 + a S) \leq b

$R(1+aS)\le b$ ซึ่งหมายถึงการ

S = 1

$S=1$ เพื่อทำ

R

$R$ ใกล้ที่สุดเท่าที่จะทำได้

b

$b$ .

— ซีอาน