การกระจายที่ถูกตัดทอนหมายความว่าอย่างไร

ในบทความวิจัยเกี่ยวกับการวิเคราะห์ความอ่อนไหวของตัวแบบสมการเชิงอนุพันธ์สามัญของระบบไดนามิกผู้เขียนให้การแจกแจงของพารามิเตอร์แบบจำลองเป็นการแจกแจงแบบปกติ (Mean = 1e-4, std = 3e-5) ถูกตัดให้อยู่ในช่วง [0.5e -4 1.5e-4] จากนั้นเขาใช้ตัวอย่างจากการแจกแจงแบบตัดปลายนี้เพื่อจำลองสถานการณ์ของแบบจำลอง การกระจายแบบตัดปลายและตัวอย่างจากการกระจายแบบตัดปลายหมายความว่าอย่างไร

ฉันสามารถสร้างวิธีนี้ได้สองวิธี:

• ตัวอย่างจากการแจกแจงแบบปกติ แต่ไม่ต้องสนใจค่าสุ่มทั้งหมดที่อยู่นอกช่วงที่ระบุก่อนการจำลอง
• ได้รับการกระจาย "ปกติที่ถูกตัดทอน" เป็นพิเศษและรับตัวอย่างจากมัน

แนวทางที่ถูกต้องและเท่าเทียมกันเหล่านี้หรือไม่

ผมเชื่อว่าในกรณีแรกหากมีการพล็อตทดลอง CDF / pdf ของกลุ่มตัวอย่างก็จะดูไม่เหมือนการกระจายปกติเพราะโค้งไม่ขยายไปถึง$\pm\infty$ ∞

เมื่อต้องการตัดทอนการกระจายคือการ จำกัด ค่าของช่วงเวลาและทำให้ความหนาแน่นกลับมาเป็นปกติอีกครั้งเพื่อให้อินทิกรัลในช่วงนั้นคือ 1

ดังนั้นการตัดการแจกแจงไปยังช่วงเวลา( a , b )จะเป็นการสร้างตัวแปรสุ่มที่มีความหนาแน่น$N(\mu, \sigma^{2})$$(a,b)$

$$p_{a,b}(x) = \frac{ \phi_{\mu, \sigma^{2}}(x) }{ \int_{a}^{b} \phi_{\mu, \sigma^{2}}(y) dy } \cdot \mathcal{I} \{ x \in (a,b) \}$$

เมื่อคือความหนาแน่นN ( μ , σ 2 ) คุณสามารถสุ่มตัวอย่างจากความหนาแน่นนี้ได้หลายวิธี วิธีหนึ่ง (วิธีที่ง่ายที่สุดที่ฉันคิดได้) ในการทำเช่นนี้คือการสร้างค่าN ( μ , σ 2 )และโยนสิ่งที่ตกนอก( a , b $\phi_{\mu, \sigma^{2}}(x)$$N(\mu, \sigma^2)$$N(\mu, \sigma^2)$$(a,b)$ช่วงเวลาตามที่คุณกล่าวถึง ดังนั้นใช่ทั้งสองหัวข้อย่อยที่คุณระบุไว้จะบรรลุเป้าหมายเดียวกัน นอกจากนี้คุณยังมีสิทธิที่ความหนาแน่นเชิงประจักษ์ (หรือ histogram) ของตัวแปรจากการกระจายนี้จะไม่ขยายไปถึง ∞ มันจะถูก จำกัด ให้( , ข)ของหลักสูตร$\pm \infty$$(a,b)$

จำลองจากปกติการจัดจำหน่ายจนกว่าผลที่อยู่ในช่วงเวลา( , ข)เป็นดีเมื่อความน่าจะเป็น ρ = ∫ ขไวμ , σ 2 ( x $\mathcal{N}(\mu,\sigma^2)$$(a,b)$ ใหญ่พอ ถ้ามันมีขนาดเล็กเกินไปขั้นตอนนี้เป็นค่าใช้จ่ายมากเกินไปเนื่องจากค่าเฉลี่ยของจำนวนเสมอสำหรับหนึ่งได้รับการยอมรับเป็น 1 / ρ

$$\varrho = \int_a^b \varphi_{\mu,\sigma^2}(x)\,\text{d} x$$ $1/\varrho$

ตามที่อธิบายไว้ในมอนติคาร์โลวิธีการทางสถิติ (บทที่ 2 ตัวอย่าง 2.2) เช่นเดียวกับในกระดาษ arXiv ของฉันเป็นวิธีที่มีประสิทธิภาพมากขึ้นเพื่อจำลองนี้ถูกตัดทอนปกติคือการใช้วิธีการที่ยอมรับปฏิเสธขึ้นอยู่กับการชี้แจงการจัดจำหน่าย$\mathcal{E}(\alpha)$

พิจารณาโดยไม่สูญเสียของทั่วไปกรณีที่และσ = 1 เมื่อb = + ∞การกระจายเครื่องมือที่มีศักยภาพคือการแจกแจงแบบเอ็กซ์โพเนนเชียล, E ( α , a ) , ด้วยความหนาแน่น g α ( z ) = α e - α ( z - a$\mu = 0$$\sigma = 1$$b=+\infty$$\mathcal{E} (\alpha,{ a})$ อัตราส่วน P , ∞ ( Z ) / กรัมα ( Z ) α อี- α ( Z - ) E - Z 2 / 2 เป็นที่สิ้นสุดแล้วโดย ประสบการณ์( α 2 / 2 - α ) ถ้า α >และประสบการณ์( - 2 / 2 ) มิฉะนั้น ขอบเขต (บน) ที่สอดคล้องกันคือ

$$g_{\alpha}(z) = \alpha e^{- \alpha(z - {a})} \; \mathbb{I}_{z \geq {a }} \;.$$ $$p_{a,\infty}(z)/g_{\alpha}(z) \propto e^{- \alpha(z - a )}e^{-z^{2}/2}$$ $\exp(\alpha^{2}/2 - \alpha{a })$$\alpha > a$$\exp(- a^{2}/2)$ การแสดงออกครั้งแรกจะลดลงโดย α∗= $$\begin{cases} 1/\alpha \; \exp (\alpha^{2}/2 - \alpha{a }) & \hbox{if } \alpha > a , \cr 1/\alpha \; \exp (- a^{2}/2) & \hbox{otherwise.} \cr \end{cases}$$ ในขณะที่ ˜ α = aลดขอบเขตที่สองให้เหลือน้อยที่สุด ตัวเลือกที่ดีที่สุดของ αคือ (1) $$\begin{equation} \alpha^{*} = \frac{1}{2}a + \frac{1}{2} \sqrt{a^2 + 4}\;,\qquad (1) \end{equation}$$ $\tilde\alpha = a$$\alpha$

ตัวอย่างจากการแจกแจงแบบปกติ แต่ไม่ต้องสนใจค่าสุ่มทั้งหมดที่อยู่นอกช่วงที่ระบุก่อนการจำลอง

วิธีนี้ถูกต้อง แต่ตามที่ @ Xi'an กล่าวถึงในคำตอบของเขามันจะใช้เวลานานเมื่อช่วงมีขนาดเล็ก (แม่นยำยิ่งขึ้นเมื่อวัดมีขนาดเล็กภายใต้การกระจายปกติ)

$F^{-1}(U)$$F$ คือ (ฟังก์ชันสะสมของ) การกระจายดอกเบี้ยและ $U\sim\text{Unif}(0,1)$. เมื่อไหร่$F$ คือการแจกแจงที่ได้จากการตัดทอนการแจกแจงบางตัว $G$ ในบางช่วงเวลา $(a,b)$นี่เท่ากับตัวอย่าง $G^{-1}(U)$ กับ $U\sim\text{Unif}\bigl(G(a),G(b)\bigr)$.

อย่างไรก็ตามและนี่เป็นที่กล่าวถึงแล้วโดย @ Xi'an ในความคิดเห็นสำหรับบางสถานการณ์วิธีการผกผันต้องมีการประเมินที่แม่นยำมากของฟังก์ชั่นควอไทล์$G^{-1}$และฉันจะเพิ่มมันก็ต้องมีการคำนวณอย่างรวดเร็วของ$G^{-1}$. เมื่อไหร่$G$ เป็นการแจกแจงแบบปกติการประเมินของ $G^{-1}$ ค่อนข้างช้าและไม่แม่นยำสำหรับค่าของ $a$ และ $b$ นอก "ช่วง" ของ $G$.

จำลองการแจกแจงที่ถูกตัดทอนโดยใช้การสุ่มตัวอย่างที่สำคัญ

ความเป็นไปได้คือการใช้การสุ่มตัวอย่างสำคัญ พิจารณากรณีของการแจกแจงแบบเกาส์มาตรฐาน${\cal N}(0,1)$. ลืมสัญลักษณ์ก่อนหน้าตอนนี้ปล่อย$G$ be the Cauchy distribution. The two above mentionned requirements are fulfilled for $G$ : one simply has $\boxed{G(q)=\frac{\arctan(q)}{\pi}+\frac12}$ and $\boxed{G^{-1}(q)=\tan\bigl(\pi(q-\frac12)\bigr)}$. Therefore, the truncated Cauchy distribution is easy to sample by the inversion method and it is a good choice of the instrumental variable for importance sampling of the truncated normal distribution.

After a bit of simplifications, sampling $U\sim\text{Unif}\bigl(G(a),G(b)\bigr)$ and taking $G^{-1}(U)$ is equivalent to take $\tan(U')$ with $U'\sim\text{Unif}\bigl(\arctan(a),\arctan(b)\bigr)$:

a <- 1
b <- 5
nsims <- 10^5
sims <- tan(runif(nsims, atan(a), atan(b)))

Now one has to calculate the weight for each sampled value $x_i$, defined as the ratio $\phi(x)/g(x)$ of the two densities up to normalization, hence we can take

$$w(x) = \exp(-x^2/2)(1+x^2),$$ but it could be safer to take the log-weights:

log_w <- -sims^2/2 + log1p(sims^2)
w <- exp(log_w) # unnormalized weights
w <- w/sum(w)

The weighted sample $(x_i,w(x_i))$ allows to estimate the measure of every interval $[u,v]$ under the target distribution, by summing the weights of each sampled value falling inside the interval:

u <- 2; v<- 4
sum(w[sims>u & sims<v])
## [1] 0.1418

This provides an estimate of the target cumulative function. We can quickly get and plot it with the spatsat package:

F <- spatstat::ewcdf(sims,w)
# estimated F:
curve(F(x), from=a-0.1, to=b+0.1)
# true F:
curve((pnorm(x)-pnorm(a))/(pnorm(b)-pnorm(a)), add=TRUE, col="red")

# approximate probability of u<x<v:
F(v)-F(u)
## [1] 0.1418

Of course, the sample $(x_i)$ไม่ใช่ตัวอย่างของการกระจายเป้าหมาย แต่เป็นการกระจายเครื่องมือ Cauchy และอีกตัวอย่างหนึ่งได้รับตัวอย่างของการกระจายเป้าหมายโดยดำเนินการresampling ถ่วงน้ำหนักตัวอย่างเช่นการใช้การสุ่มตัวอย่างแบบมัลติโนเมียล:

msample <- rmultinom(1, nsims, w)[,1]
resims <- rep(sims, times=msample)
hist(resims) 

mean(resims>u & resims<v)
## [1] 0.1446

วิธีอื่น: การสุ่มตัวอย่างการแปลงผกผันอย่างรวดเร็ว

Olver และ Townsendพัฒนาวิธีการสุ่มตัวอย่างสำหรับการกระจายอย่างต่อเนื่องในระดับกว้าง มันถูกนำมาใช้ในห้องสมุด chebfun2 สำหรับ Matlabเช่นเดียวกับห้องสมุด ApproxFun สำหรับ Juliaจูเลีย ฉันเพิ่งค้นพบห้องสมุดนี้และฟังดูมีแนวโน้มมาก (ไม่เพียง แต่สำหรับการสุ่มตัวอย่าง) โดยทั่วไปนี่เป็นวิธีการผกผัน แต่ใช้การประมาณค่าที่มีประสิทธิภาพของ cdf และ c ผกผัน อินพุตคือฟังก์ชันความหนาแน่นเป้าหมายจนถึงการปรับมาตรฐาน

ตัวอย่างถูกสร้างขึ้นโดยรหัสต่อไปนี้:

using ApproxFun
f = Fun(x -> exp(-x.^2./2), [1,5]);
nsims = 10^5;
x = sample(f,nsims);

เมื่อตรวจสอบด้านล่างแล้วจะให้การวัดช่วงเวลาโดยประมาณ $[2,4]$ ใกล้กับที่ได้รับก่อนหน้านี้โดยการสุ่มตัวอย่างที่สำคัญ:

sum((x.>2) & (x.<4))/nsims
## 0.14191