การรวมตัวของมหานคร - เฮสติ้งส์ - ทำไมกลยุทธ์ของฉันจึงไม่ทำงาน

สมมติว่าฉันมีฟังก์ชั่นที่ฉันต้องการรวม แน่นอนสมมติว่าไปที่ศูนย์ที่จุดสิ้นสุดไม่มีการระเบิดฟังก์ชันที่ดี วิธีหนึ่งที่ฉันได้รับการเล่นซอกับคือการใช้อัลกอริทึม Metropolis-เฮสติ้งส์เพื่อสร้างรายการของตัวอย่างจากการกระจายสัดส่วนการซึ่งจะหายไปอย่างต่อเนื่องการฟื้นฟู ซึ่งฉันจะเรียกแล้วคำนวณสถิติบนเหล่านี้: $g(x)$

\int_{- \infty}^{\infty} g (x) d x .

$\int_{-\infty}^\infty g(x) dx.$

g (x)

$g(x)$

x_{1}, x_{2}, \dots, x_{n}

$x_1, x_2, \dots, x_n$

g (x)

$g(x)$

N = \int_{- \infty}^{\infty} g (x) d x

$N = \int_{-\infty}^{\infty} g(x)dx$

p (x)

$p(x)$

f (x)

$f(x)$

x

$x$

\frac{1}{n} \sum_{i = 0}^{n} f (x_{i}) \approx \int_{- \infty}^{\infty} f (x) p (x) d x .

$\frac{1}{n} \sum_{i=0}^n f(x_i) \approx \int_{-\infty}^\infty f(x)p(x)dx.$

ตั้งแต่ $p(x) = g(x)/N$ ฉันสามารถแทนที่ $f(x) = U(x)/g(x)$ เพื่อยกเลิก $g$ จากอินทิกรัลส่งผลให้เกิดการแสดงออกของรูปแบบ

\frac{1}{N} \int_{- \infty}^{\infty} \frac{U (x)}{g (x)} g (x) d x = \frac{1}{N} \int_{- \infty}^{\infty} U (x) d x .

$\frac{1}{N}\int_{-\infty}^{\infty}\frac{U(x)}{g(x)} g(x) dx = \frac{1}{N}\int_{-\infty}^\infty U(x) dx.$ ดังนั้นหาก

U (x)

$U(x)$ รวมกับ

1

$1$ ตามภูมิภาคนั้นฉันควรได้ผลลัพธ์

1 / N

$1/N$ ซึ่งฉันสามารถเอาส่วนกลับซึ่งกันและกันเพื่อได้คำตอบที่ฉันต้องการ ดังนั้นฉันสามารถใช้ช่วงของตัวอย่างของฉัน (เพื่อใช้คะแนนอย่างมีประสิทธิภาพมากที่สุด)

r = x_{max} - x_{min}

$r = x_\max - x_\min$ และให้

U (x) = 1 / r

$U(x) = 1/r$ สำหรับแต่ละตัวอย่างที่ฉันวาด ด้วยวิธีนี้

U (x)

$U(x)$ หาค่าเป็นศูนย์นอกขอบเขตที่ตัวอย่างของฉันไม่ได้ แต่รวมกับ

1

$1$ ในพื้นที่นั้น ดังนั้นถ้าฉันเอาค่าที่คาดหวังมาฉันควรได้รับ:

E [\frac{U (x)}{g (x)}] = \frac{1}{N} \approx \frac{1}{n} \sum_{i = 0}^{n} \frac{U (x)}{g (x)} .

$E\left [\frac{U(x)}{g(x)}\right ] = \frac{1}{N} \approx \frac{1}{n} \sum_{i=0}^n \frac{U(x)}{g(x)}.$

ฉันพยายามทดสอบนี้ใน R สำหรับฟังก์ชันตัวอย่าง2} ในกรณีนี้ฉันไม่ใช้ Metropolis-Hastings เพื่อสร้างตัวอย่าง แต่ใช้ความน่าจะเป็นที่แท้จริงด้วยเพื่อสร้างตัวอย่าง (เพื่อทดสอบ) ฉันไม่ได้รับผลลัพธ์ที่ต้องการ โดยพื้นฐานแล้วการแสดงออกอย่างเต็มรูปแบบของสิ่งที่ฉันจะคำนวณคือ: นี้ควรในทฤษฎีของผมประเมินปี่} มันเข้าใกล้ แต่แน่นอนไม่ได้มาบรรจบกันตามที่คาดหวังฉันจะทำอะไรผิดหรือเปล่า? $g(x) = e^{-x^2}$ rnorm

\frac{1}{n (x_{max} - x_{min})} \sum_{i = 0}^{n} \frac{1}{e^{- x_{i}^{2}}} .

$\frac{1}{n(x_{\max} - x_\min)} \sum_{i=0}^n \frac{1}{ e^{-x_i^2}}.$

1 / \sqrt{π}

$1/\sqrt{\pi}$

ys = rnorm(1000000, 0, 1/sqrt(2))
r = max(ys) - min(ys)
sum(sapply(ys, function(x) 1/( r * exp(-x^2))))/length(ys)
## evaluates to 0.6019741. 1/sqrt(pi) = 0.5641896

แก้ไขสำหรับ CliffAB

เหตุผลที่ผมใช้ช่วงเป็นเพียงเพื่อให้ง่ายต่อการกำหนดฟังก์ชั่นที่เป็นที่ไม่ใช่ศูนย์ภาคเหนือที่จุดของฉันมี แต่บูรณาการที่ในช่วงinfty] ข้อมูลจำเพาะทั้งหมดของฟังก์ชันคือ: ฉันไม่จำเป็นต้องใช้เป็นความหนาแน่นสม่ำเสมอ ฉันอาจใช้ความหนาแน่นอื่น ๆ ที่รวมเข้ากับตัวอย่างเช่นความหนาแน่นของความน่าจะเป็น อย่างไรก็ตามสิ่งนี้จะทำให้การสรุปตัวอย่างแต่ละตัวอย่างเล็ก ๆ น้อย ๆ คือ $1$ $[-\infty, \infty]$

U (x) = {\begin{cases} \frac{1}{x_{max} - x_{min}} & x_{max} > x > x_{min} \\ 0 & otherwise. \end{cases}

$U(x) = \begin{cases} \frac{1}{x_\max - x_\min} & x_\max > x > x_\min \\ 0 & \text{otherwise.} \end{cases}$

U (x)

$U(x)$

1

$1$

P (x) = \frac{1}{\sqrt{π}} e^{- x^{2}} .

$P(x) = \frac{1}{\sqrt{\pi}} e^{-x^2}.$

\frac{1}{n} \sum_{i = 0}^{n} \frac{P (x)}{g (x)} = \frac{1}{n} \sum_{i = 0}^{n} \frac{e^{- x_{i}^{2}} / \sqrt{π}}{e^{- x_{i}^{2}}} = \frac{1}{n} \sum_{i = 0}^{n} \frac{1}{\sqrt{π}} = \frac{1}{\sqrt{π}} .

$\frac{1}{n} \sum_{i=0}^n \frac{P(x)}{g(x)} = \frac{1}{n} \sum_{i=0}^n \frac{e^{-x_i^2}/\sqrt{\pi}}{e^{-x_i^2} } = \frac{1}{n} \sum_{i=0}^n \frac{1}{\sqrt{\pi}} = \frac{1}{\sqrt{\pi}}.$

ผมอาจจะลองเทคนิคนี้สำหรับการแจกแจงอื่น ๆ ที่รวมไป1อย่างไรก็ตามฉันยังต้องการที่จะรู้ว่าทำไมมันใช้งานไม่ได้กับการกระจายแบบสม่ำเสมอ $1$

— ไมค์ฟลินน์
แหล่งที่มา

ดูอย่างรวดเร็วเท่านั้นดังนั้นฉันไม่แน่ใจว่าทำไมคุณถึงเลือกใช้ช่วง (x) เงื่อนไขว่ามันถูกต้องมันไม่มีประสิทธิภาพมาก! ช่วงของขนาดตัวอย่างนั้นเป็นเพียงสถิติที่ไม่เสถียรที่สุดที่คุณสามารถทำได้

— หน้าผา AB

@Cliffab ไม่มีอะไรพิเศษเป็นพิเศษเกี่ยวกับฉันโดยใช้ช่วงนอกเหนือจากการกำหนดการแจกแจงแบบสม่ำเสมอในช่วงเวลาที่คะแนนของฉันอยู่ ดูการแก้ไข

— Mike Flynn

ฉันจะดูรายละเอียดเพิ่มเติมในภายหลัง แต่สิ่งที่ต้องพิจารณาก็คือเช่นถ้า x เป็นชุดของเครื่องแบบ RV ที่แล้วเป็นช่วง1 แต่ถ้า x เป็นชุดของการไม่ degenarate RV ปกติแล้วเป็น ,\

n \to \infty

$n \rightarrow \infty$

(x) \to 1

$(x) \rightarrow 1$

n \to \infty

$n \rightarrow \infty$

range (x) \to \infty

$\text{range}(x) \rightarrow \infty$

— Cliff AB

@CliffAB คุณอาจพูดถูกฉันคิดว่าเหตุผลก็คือขอบเขตของอินทิกรัลไม่คงที่ดังนั้นความแปรปรวนของตัวประมาณจะไม่มาบรรจบกัน ...

— Mike Flynn

นี่เป็นคำถามที่น่าสนใจที่สุดซึ่งเกี่ยวข้องกับปัญหาของการประมาณค่าคงที่ normalizing ของความหนาแน่น $g$ ตามเอาต์พุต MCMC จากความหนาแน่น $g$ เดียวกัน (คำพูดจากด้านข้างคือการสันนิษฐานที่ถูกต้องที่จะทำคือการที่ $g$ นั้นสามารถรวมเข้าด้วยกันได้การไปที่ศูนย์ที่อินฟินิตี้นั้นไม่เพียงพอ)

ในความคิดของฉันรายการที่เกี่ยวข้องมากที่สุดในหัวข้อนี้เกี่ยวกับข้อเสนอแนะของคุณคือบทความโดย Gelfand และ Dey (1994, JRSS B ) ซึ่งผู้เขียนได้พัฒนาวิธีการที่คล้ายกันมากในการหาเมื่อสร้างจาก

\int_{X} g (x) d x

$\int_\mathcal{X} g(x) \,\text{d}x$

p (x) \propto g (x)

$p(x)\propto g(x)$

α (x)

$\alpha(x)$

U (x)

$U(x)$

{x; α (x) > 0} \subset {x; g (x) > 0}

$\{x;\alpha(x)>0\}\subset\{x;g(x)>0\}$

\int_{X} \frac{α (x)}{g (x)} p (x) d x = \int_{X} \frac{α (x)}{N} d x = \frac{1}{N}

$\int_\mathcal{X} \dfrac{\alpha(x)}{g(x)}p(x) \,\text{d}x=\int_\mathcal{X} \dfrac{\alpha(x)}{N} \,\text{d}x=\dfrac{1}{N}$

p

$p$

1 / N

$1/N$

\hat{η} = \frac{1}{n} \sum_{i = 1}^{n} \frac{α (x_{i})}{g (x_{i})} x_{i} \overset{iid}{\sim} p (x)

$\hat\eta=\frac{1}{n}\sum_{i=1}^n \dfrac{\alpha(x_i)}{g(x_i)}\qquad x_i\stackrel{\text{iid}}{\sim}p(x)$

\hat{η}

$\hat\eta$

α

$\alpha$

α = π

$\alpha=\pi$

\frac{α (x)}{g (x)} = \frac{1}{ℓ (x)}

$\dfrac{\alpha(x)}{g(x)} = \dfrac{1}{\ell(x)}$

ℓ (x)

$\ell(x)$

g (x) = π (x) ℓ (x)

$g(x)=\pi(x)\ell(x)$

\hat{N} = \frac{n}{\sum_{i = 1}^{n} 1 / ℓ (x_{i})}

$\hat{N}=\dfrac{n}{\sum_{i=1}^n1\big/\ell(x_i)}$

$(\min(x_i),\max(x_i))$ $\exp\{x^2\}$

$\alpha$ $(q_{.25}(x_i),q_{.75}(x_i))$ $g$

$1/\sqrt{\pi}$

ys = rnorm(1e6, 0, 1/sqrt(2))
r = quantile(ys,.75) - quantile(ys,.25)
yc=ys[(ys>quantile(ys,.25))&(ys<quantile(ys,.75))]
sum(sapply(yc, function(x) 1/( r * exp(-x^2))))/length(ys)
## evaluates to 0.5649015. 1/sqrt(pi) = 0.5641896

เราจะหารือถึงวิธีการนี้ในรายละเอียดในเอกสารสองกับคาร์เรนเจตภูตและกับฌองมิเชลมาริน

— ซีอาน
แหล่งที่มา