ถูกต้องหรือไม่ (การสร้าง Truncated-norm-multivariate-Gaussian)

ถ้า นั่นคือ $X\in\mathbb{R}^n,~X\sim \mathcal{N}(\underline{0},\sigma^2\mathbf{I})$

$$f_X(x) = \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)$$

ฉันต้องการการแจกแจงแบบปกติที่ถูกตัดทอนในกรณีแบบหลายตัวแปร

แม่นยำมากขึ้นฉันต้องการสร้างเกณฑ์ปกติ (ค่า ) หลายตัวแปร Gaussianเซนต์ โดยที่$\geq a$$Y$

$$f_Y(y) = \begin{cases} c.f_X(y), \text{ if } ||y||\geq a \\[2mm] 0, \text{ otherwise }. \end{cases}$$ $c=\frac{1}{Prob\big\{||X||\geq a\big\}}$

---

ตอนนี้ฉันสังเกตต่อไปนี้:

หาก ,$x=(x_1,x_2,\ldots,x_n)$$||x||\geq a$

$\implies |x_n|\geq T\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

ดังนั้นโดยการเลือก$x_1,\ldots,x_{n-1}$เป็นตัวอย่างของ Gaussians เราอาจ จำกัด$x_n$เป็นตัวอย่างจากการแจกแจงแบบตัดทอน - ปกติ - (ตามการแจกแจงแบบเกาส์ - หาง$\geq T$ ) $\mathcal{N}_T(0,\sigma^2)$ยกเว้นเครื่องหมายสุ่มเลือกที่มีความน่าจะเป็น1/2$1/2$

ตอนนี้คำถามของฉันคือสิ่งนี้

ถ้าฉันสร้างแต่ละตัวอย่างเวกเตอร์$(x_1,\ldots,x_n)$ของ$(X_1,\ldots,X_n)$เป็น

$x_1,\ldots,x_{n-1}\sim \mathcal{N}(0,\sigma^2)$

และ

$x_n = Z_1 *Z_2~$โดยที่ , , (เช่น a RV ที่ถูกตัดทอนสเกลาร์ปกติพร้อม$~Z_1\sim\{\pm1 ~\text{w.p.}~ 1/2\}$$Z_2\sim\mathcal{N}_T(0,\sigma^2)$$T(x_1,\ldots,x_{n-1})\triangleq \sqrt{\max\left(0,\left(a^2-\sum_1^{n-1}x_i^2\right)\right)}$

จะเป็นข้อ จำกัด เชิงบรรทัดฐาน ( ) Gaussian หลายตัวแปรหรือไม่ (เช่นเดียวกับกำหนดไว้ด้านบน) ฉันจะยืนยันได้อย่างไร ข้อเสนอแนะอื่น ๆ หากไม่เป็นเช่นนั้น?$(X_1,X_2,\ldots,X_n)$$\geq a$$Y$

แก้ไข:

นี่คือพล็อตกระจายของคะแนนในกรณี 2 มิติที่มีบรรทัดฐานที่ถูกตัดทอนไปยังค่าที่อยู่เหนือ "1"

หมายเหตุ: มีคำตอบที่ดีบางข้อด้านล่าง แต่เหตุผลที่ว่าทำไมข้อเสนอนี้ผิดพลาด ความจริงแล้วนั่นเป็นประเด็นหลักของคำถามนี้

การกระจายตัวแบบหลายตัวแปรปกติของนั้นสมมาตรเป็นทรงกลม มีการกระจายของคุณขอตัดทอนรัศมีด้านล่างที่ เนื่องจากเกณฑ์นี้ขึ้นอยู่กับความยาวของเท่านั้นการกระจายที่ถูกตัดทอนจึงยังคงสมมาตรเป็นทรงกลม เนื่องจากเป็นอิสระจากมุมทรงกลมและมีการกระจายคุณจึงสามารถสร้างค่าจากการกระจายตัดทอนในเพียงไม่กี่ขั้นตอนง่ายๆ:$X$$\rho=||X||^2$$a$$X$$\rho$$X/||X||$$\rho\,\sigma$$\chi(n)$

1. สร้าง_n)$X \sim \mathcal{N}(0,\mathbb{I}_n)$

2. สร้างเป็นรากของการกระจายตัดทอนที่ 2$P$$\chi^2(d)$$(a/\sigma)^2$

3. ให้.$Y = \sigma P\, X/||X||$

ในขั้นตอนที่ 1จะได้รับเป็นลำดับของเข้าใจอิสระของตัวแปรปกติมาตรฐาน$X$$d$

ในขั้นตอนที่ 2,ถูกสร้างขึ้นอย่างง่ายดายโดยการกลับฟังก์ชัน quantileของการ : สร้างตัวแปรชุดสนับสนุนในช่วง (ของควอไทล์) ระหว่างและและชุด(U)}$P$$F^{-1}$$\chi^2(d)$$U$$F((a/\sigma)^2)$$1$$P = \sqrt{F(U)}$

นี่คือ histogram ของความเข้าใจอิสระดังกล่าวของสำหรับในมิติตัดทอนไว้ด้านล่างใน 7 ใช้เวลาประมาณหนึ่งวินาทีในการสร้างซึ่งยืนยันถึงประสิทธิภาพของอัลกอริทึม$10^5$$\sigma P$$\sigma=3$$n=11$$a=7$

เส้นโค้งสีแดงคือความหนาแน่นของที่ถูกตัดทอนการกระจายปรับขนาดโดย 3 การจับคู่อย่างใกล้ชิดกับฮิสโตแกรมเป็นหลักฐานของความถูกต้องของเทคนิคนี้$\chi(11)$$\sigma=3$

เพื่อให้ได้สัญชาตญาณสำหรับการตัดให้พิจารณากรณี ,ในมิติ นี่คือรูปแบบกระจายของเทียบกับ (สำหรับการรับรู้อิสระ ) มันแสดงให้เห็นชัดเจนว่าหลุมที่รัศมี :$a=3$$\sigma=1$$n=2$$Y_2$$Y_1$$10^4$$a$

สุดท้ายโปรดทราบว่า (1) ส่วนประกอบต้องมีการแจกแจงที่เหมือนกัน (เนื่องจากสมมาตรทรงกลม) และ (2) ยกเว้นเมื่อการกระจายทั่วไปนั้นไม่ปกติ ในความเป็นจริงเติบโตขนาดใหญ่ลดลงอย่างรวดเร็วของ (univariate) การกระจายปกติเป็นสาเหตุส่วนใหญ่ของความน่าจะเป็นของการตัดทอนทรงกลมหลายตัวแปรปกติคลัสเตอร์ใกล้พื้นผิวของ -sphere (รัศมี) การกระจายร่อแร่ต้องดังนั้นประมาณปรับขนาดเบต้าสมมาตรการกระจายความเข้มข้นในช่วงเวลาเป็น) สิ่งนี้ปรากฏชัดใน scatterplot หน้าที่แล้วโดยที่$X_i$$a=0$$a$$n-1$$a$$((n-1)/2,(n-1)/2)$$(-a,a)$$a=3\sigma$มีขนาดใหญ่อยู่แล้วในสองมิติ: จุดบรรยายแหวน (ก -sphere) รัศมี3$2-1$$3\sigma$

นี่คือฮิสโทแกรมของการแจกแจงส่วนขอบจากการจำลองขนาดในมิติด้วย , (ซึ่งการกระจายBetaโดยประมาณมีความสม่ำเสมอ):$10^5$$3$$a=10$$\sigma=1$$(1,1)$

เนื่องจากระยะขอบแรกของขั้นตอนที่อธิบายไว้ในคำถามเป็นเรื่องปกติ (โดยการก่อสร้าง) ขั้นตอนนั้นจึงไม่สามารถแก้ไขได้$n-1$

---

Rรหัสต่อไปนี้สร้างตัวเลขแรก มันถูกสร้างขึ้นมาเพื่อทำตามขั้นตอนที่ 1-3 คู่ขนานสำหรับการสร้างYมันได้รับการแก้ไขเพื่อสร้างรูปที่สองโดยตัวแปรที่เปลี่ยนแปลง, , และแล้วการออกคำสั่งพล็อตหลังจากที่ถูกสร้างขึ้น$Y$adnsigmaplot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010")y

รุ่นของมีการแก้ไขในรหัสสำหรับการแก้ปัญหาที่เป็นตัวเลขที่สูงขึ้น: รหัสจริงสร้างและการใช้งานที่คำนวณP$U$$1-U$$P$

เทคนิคเดียวกันของการจำลองข้อมูลตามอัลกอริทึมที่ควรสรุปด้วยฮิสโตแกรมและการซ้อนฮิสโตแกรมสามารถใช้ทดสอบวิธีที่อธิบายไว้ในคำถาม มันจะยืนยันว่าวิธีการไม่ทำงานตามที่คาดไว้

a <- 7      # Lower threshold
d <- 11     # Dimensions
n <- 1e5    # Sample size
sigma <- 3  # Original SD
#
# The algorithm.
#
set.seed(17)
u.max <- pchisq((a/sigma)^2, d, lower.tail=FALSE)
if (u.max == 0) stop("The threshold is too large.")
u <- runif(n, 0, u.max)
rho <- sigma * sqrt(qchisq(u, d, lower.tail=FALSE)) 
x <- matrix(rnorm(n*d, 0, 1), ncol=d)
y <- t(x * rho / apply(x, 1, function(y) sqrt(sum(y*y))))
#
# Draw histograms of the marginal distributions.
#
h <- function(z) {
  s <- sd(z)
  hist(z, freq=FALSE, ylim=c(0, 1/sqrt(2*pi*s^2)),
       main="Marginal Histogram",
       sub="Best Normal Fit Superimposed")
  curve(dnorm(x, mean(z), s), add=TRUE, lwd=2, col="Red")
}
par(mfrow=c(1, min(d, 4)))
invisible(apply(y, 1, h))
#
# Draw a nice histogram of the distances.
#
#plot(y[1,], y[2,], pch=16, cex=1/2, col="#00000010") # For figure 2
rho.max <- min(qchisq(1 - 0.001*pchisq(a/sigma, d, lower.tail=FALSE), d)*sigma, 
               max(rho), na.rm=TRUE)
k <- ceiling(rho.max/a)
hist(rho, freq=FALSE, xlim=c(0, rho.max),  
     breaks=seq(0, max(rho)+a, by=a/ceiling(50/k)))
#
# Superimpose the theoretical distribution.
#
dchi <- function(x, d) {
  exp((d-1)*log(x) + (1-d/2)*log(2) - x^2/2 - lgamma(d/2))
}
curve((x >= a)*dchi(x/sigma, d) / (1-pchisq((a/sigma)^2, d))/sigma, add=TRUE, 
      lwd=2, col="Red", n=257)

ฉันได้เขียนสิ่งนี้โดยสมมติว่าคุณไม่ต้องการให้คะแนนใด ๆ ที่มี || y || > a ซึ่งเป็นอะนาล็อกของการตัดมิติหนึ่งมิติตามปกติ อย่างไรก็ตามคุณได้เขียนว่าคุณต้องการให้คะแนนมี | y || > = a และสลัดทิ้งผู้อื่น อย่างไรก็ตามการปรับแก้ปัญหาที่ชัดเจนของฉันสามารถทำได้หากคุณต้องการเก็บคะแนนที่มี | y || > = a

วิธีที่ตรงไปตรงมามากที่สุดซึ่งเกิดขึ้นเป็นเทคนิคทั่วไปมากคือการใช้การยอมรับการปฏิเสธhttps://en.wikipedia.org/wiki/Rejection_sampling มันจะค่อนข้างเร็วตราบเท่าที่ Prob (|| X ||> a) นั้นค่อนข้างต่ำเพราะจะไม่มีการปฏิเสธมากนัก

สร้างค่าตัวอย่าง x จาก Multivariate Normal แบบไม่มีข้อ จำกัด (แม้ว่าปัญหาของคุณจะระบุว่า Multivariate Normal เป็นทรงกลม แต่เทคนิคสามารถนำไปใช้ได้แม้ว่าจะไม่ใช่) ถ้า || x || <= a, ยอมรับ, คือ, ใช้ x, ปฏิเสธมันและสร้างตัวอย่างใหม่ ทำซ้ำขั้นตอนนี้จนกว่าคุณจะมีตัวอย่างที่ยอมรับได้มากเท่าที่คุณต้องการ ผลของการใช้โพรซีเดอร์นี้คือการสร้าง y ซึ่งความหนาแน่นของมันคือ c * f_X (y) ถ้า || y || <= a, และ 0 ถ้า || y || > a ต่อการแก้ไขของฉันถึงส่วนเปิดของคำถามของคุณ คุณไม่จำเป็นต้องคำนวณ c; มันมีผลบังคับใช้โดยอัตโนมัติโดยอัลกอริทึมตามความถี่ที่ตัวอย่างถูกปฏิเสธ

นี่เป็นความพยายามที่ดี แต่ไม่ได้ผลเพราะ "ค่าคงที่การทำให้เป็นมาตรฐาน": หากคุณพิจารณาความหนาแน่นของรอยต่อ การสลายตัว

$$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||x||^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}=\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{x_1^2+\ldots+x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$$ $$f_X(x) \propto \frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x||>a}$$ $$=\frac{1}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\frac{1}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{||x_{-n}||^2+x_n^2>a^2}$$ $$=\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)\qquad\qquad\qquad\qquad\qquad$$ $$\qquad\qquad\qquad\times\frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)^{-1}}{{(2\pi\sigma^2)}^{1/2}} \exp\left(-\frac{x_n^2}{2\sigma^2}\right)\mathbb{I}_{x_n^2>a-||x_{-n}||^2}$$ ซึ่งรวมกับ ในแสดงว่า $$f_{X_{-n}}(x_{-n}) \propto \frac{\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)}{{(2\pi\sigma^2)}^{(n-1)/2}} \exp\left(-\frac{||x_{-n}||^2}{2\sigma^2}\right)$$ $x_n$

1. การแจกแจงแบบมีเงื่อนไขของกำหนดให้กับคอมโพเนนต์อื่นคือการแจกแจงแบบปกติที่ถูกตัดทอน$X_n$$X_{-n}$
2. การกระจายตัวของส่วนประกอบอื่น ๆ , , ไม่ใช่การแจกแจงแบบปกติเนื่องจากเทอมพิเศษ ;$X_{-n}$$\mathbb{P}(X_n^2>a^2-||x_{-n}||^2)$

วิธีเดียวที่ฉันสามารถเห็นได้ในการใช้ประโยชน์จากคุณสมบัตินี้คือการเรียกใช้ตัวอย่าง Gibbs ซึ่งเป็นองค์ประกอบหนึ่งต่อครั้งโดยใช้การแจกแจงแบบมีเงื่อนไขปกติที่ถูกตัดทอน

คำถามมาจากแนวคิดของการใช้ - การสลายตัวตามเงื่อนไขพื้นฐานของการแจกแจงร่วม - เพื่อวาดตัวอย่างเวกเตอร์

ให้เป็นแบบเกาส์หลายตัวแปรที่มีองค์ประกอบ iid$X$

ให้ และ $\text{Prob}(||X||>a) \triangleq T$$Y\triangleq X.\mathbb{I}_{||X||>a}$

อัลกอริธึมที่เป็นปัญหาเสนอขึ้นอยู่กับการแยกตัวประกอบตามเงื่อนไขดังต่อไปนี้

$$f_Y(y) = \frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{||y||^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\frac{1}{T}\frac{1}{{(2\pi\sigma^2)}^{n/2}} \exp\left(-\frac{y_1^2+\ldots+y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\\ =\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right) \left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{||y||>a}\right)\\ =\underbrace{\left(\prod_{i=1}^{n-1} \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_i^2}{2\sigma^2}\right)\right)}_{\text{Gaussians}} \underbrace{\left(\frac{1}{T}\frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{y_n^2}{2\sigma^2}\right)\mathbb{I}_{y_n^2>(a^2-y_1^2-\ldots y_{n-1}^2)}\right)}_{\text{Truncated Gaussian??}}$$

คำตอบที่สั้นที่สุดคือปัจจัยหลังไม่ใช่แบบเกาส์ที่ถูกตัดทอน (สำคัญกว่า) แม้แต่การแจกแจง

---

นี่คือคำอธิบายโดยละเอียดว่าทำไมการแยกตัวประกอบข้างต้นมีข้อบกพร่องพื้นฐานบางประการ ในประโยคเดียว: การแยกตัวประกอบตามเงื่อนไขใด ๆ ของการแจกแจงร่วมที่กำหนดต้องเป็นไปตามคุณสมบัติพื้นฐานบางอย่างและการแยกตัวประกอบข้างต้นไม่เป็นที่พอใจ (ดูด้านล่าง)

โดยทั่วไปหากเราแยกตัวประกอบดังนั้นคือระยะขอบของและคือการกระจายตามเงื่อนไขของYซึ่งหมายความว่า:$f_{XY}(x,y)=f_X(x)\cdot f_{Y|X}(y|x)$$f_X(x)$$X$$f_{Y|X}(y|x)$$Y$

1. ปัจจัยของ "ถือว่าเป็น"จะต้องมีการแจกแจง และ,$f(x,y)$$f_X(x)$
2. ปัจจัยที่สอง "ถือว่าเป็น"จะต้องมีการแจกแจงสำหรับตัวเลือกทุกตัวของ$f_{Y|X}(y|x)$$x$

ในตัวอย่างข้างต้นเรากำลังพยายามที่จะเงื่อนไขที่{n-1}) มันหมายถึงคุณสมบัติ -1 ควรถือเป็นปัจจัยของ Gaussians และคุณสมบัติ -2 ควรถือดีสำหรับส่วนหลัง$Y_n|(Y_1\ldots Y_{n-1})$

เป็นที่ชัดเจนว่าทรัพย์สิน -1 ถือดีในปัจจัยแรก แต่ปัญหาเกิดขึ้นกับคุณสมบัติ -2 ปัจจัยสุดท้ายข้างต้นน่าเสียดายที่ไม่มีการแจกจ่ายเลย (ลืมเกี่ยวกับการตัดทอนแบบเกาส์เซส) สำหรับเกือบทุกค่า !!$(Y_1\ldots Y_{n-1})$

---

ข้อเสนอของอัลกอริทึมดังกล่าวอาจเป็นผลมาจากความเข้าใจผิดดังต่อไปนี้: เมื่อการกระจายตามธรรมชาติเป็นปัจจัยจากการแจกแจงร่วม (เช่น Gaussians ด้านบน) มันนำไปสู่การแยกตัวประกอบตามเงื่อนไข ---- มันไม่ได้! ---- อีกปัจจัย (ที่สอง) จะต้องดีเช่นกัน

---

หมายเหตุ: มีคำตอบที่ยอดเยี่ยมโดย @whuber ก่อนหน้านี้ที่แก้ปัญหาการสร้างบรรทัดฐานแบบหลายตัวแปรแบบเกาส์ที่ถูกตัดทอน ฉันยอมรับคำตอบของเขา คำตอบนี้เป็นเพียงการชี้แจงและแบ่งปันความเข้าใจของฉันและกำเนิดของคำถาม