การสร้างข้อมูลด้วยเมทริกซ์ความแปรปรวนร่วมตัวอย่างที่กำหนด

ได้รับเมทริกซ์ความแปรปรวนร่วม$\boldsymbol \Sigma_s$วิธีสร้างข้อมูลเช่นนั้นจะมีเมทริกซ์ความแปรปรวนร่วมตัวอย่าง$\hat{\boldsymbol \Sigma} = \boldsymbol \Sigma_s$ ?

โดยทั่วไปเรามักจะมีความสนใจในข้อมูลที่สร้างจากความหนาแน่นของ$f(x \vert \boldsymbol\theta)$กับข้อมูล$x$ให้บางพารามิเตอร์เวกเตอร์\$\boldsymbol\theta$ผลลัพธ์นี้เป็นตัวอย่างซึ่งเราอาจประมาณค่า$\boldsymbol{\hat\theta}$อีกครั้ง สิ่งที่ฉันสนใจคือปัญหาย้อนกลับ: เกิดอะไรขึ้นถ้าเราได้รับชุดพารามิเตอร์$\boldsymbol\theta_{s}$และเราต้องการสร้างตัวอย่าง$x$เช่นนั้น$\boldsymbol{\hat\theta} = \boldsymbol\theta_{s}${s}

นี่เป็นปัญหาที่ทราบหรือไม่? วิธีการดังกล่าวมีประโยชน์หรือไม่? มีอัลกอริทึมหรือไม่

มีสถานการณ์ทั่วไปสองแบบที่แตกต่างกันสำหรับปัญหาประเภทนี้:

i) คุณต้องการสร้างตัวอย่างจากการแจกแจงที่ให้ซึ่งมีลักษณะประชากรตรงกับที่ระบุ (แต่เนื่องจากรูปแบบการสุ่มตัวอย่างคุณไม่มีลักษณะตัวอย่างที่ตรงกันทั้งหมด)

ii) คุณต้องการสร้างตัวอย่างที่มีลักษณะตัวอย่างตรงกับที่ระบุ (แต่เนื่องจากข้อ จำกัด ของการจับคู่ปริมาณตัวอย่างกับชุดของค่าที่กำหนดไว้ล่วงหน้าไม่ได้มาจากการกระจายที่คุณต้องการจริงๆ)

คุณต้องการตัวพิมพ์ที่สอง - แต่คุณจะได้รับโดยทำตามวิธีการเดียวกับตัวพิมพ์แรกด้วยขั้นตอนการกำหนดมาตรฐานเพิ่มเติม

ดังนั้นสำหรับบรรทัดฐานหลายตัวแปรสามารถทำได้ในลักษณะที่ตรงไปตรงมา:

ในกรณีแรกคุณสามารถใช้เกณฑ์ปกติแบบสุ่มโดยไม่มีโครงสร้างประชากร (เช่นมาตรฐาน iid ปกติซึ่งมีค่าความคาดหวัง 0 และเมทริกซ์ความแปรปรวนร่วมเอกลักษณ์) จากนั้นจึงกำหนดมัน - แปลงเป็นเมทริกซ์ความแปรปรวนร่วมและหมายความว่าคุณต้องการ ถ้าและเป็นค่าเฉลี่ยของประชากรและความแปรปรวนร่วมที่คุณต้องการและเป็น iid มาตรฐานปกติคุณคำนวณ , สำหรับที่ (เช่นที่เหมาะสมสามารถหาได้ผ่านการสลายตัว Cholesky) . จากนั้นมีลักษณะประชากรที่ต้องการΣ Z Y = L Z + μ L L L ' = Σ L $\mu$$\Sigma$$z$$y=Lz+\mu$$L$$LL'=\Sigma$$L$$y$

ด้วยอันดับที่สองคุณจะต้องเปลี่ยนบรรทัดฐานสุ่มของคุณก่อนเพื่อลบแม้กระทั่งความแปรปรวนแบบสุ่มห่างจากค่าเฉลี่ยศูนย์และความแปรปรวนร่วมเอกลักษณ์ (ทำให้ค่าเฉลี่ยตัวอย่างเป็นศูนย์และความแปรปรวนร่วมตัวอย่าง ) จากนั้นดำเนินการตามเดิม แต่ขั้นตอนเริ่มต้นของการลบค่าเบี่ยงเบนตัวอย่างออกจากค่าเฉลี่ยที่แน่นอนความแปรปรวนที่รบกวนการแจกแจง (ในตัวอย่างขนาดเล็กอาจค่อนข้างรุนแรง) 0 $I_n$$0$$I$

ซึ่งสามารถทำได้โดยการหักค่าเฉลี่ยของกลุ่มตัวอย่าง ( ) และการคำนวณการสลายตัว Cholesky ของ * ถ้าเป็นปัจจัย Cholesky ทางซ้ายดังนั้นควรมีค่าเฉลี่ยตัวอย่าง 0 และค่าความแปรปรวนร่วมตัวอย่าง จากนั้นคุณสามารถคำนวณและมีตัวอย่างพร้อมช่วงเวลาตัวอย่างที่ต้องการ (ขึ้นอยู่กับการกำหนดปริมาณตัวอย่างของคุณอาจมีซอเล็ก ๆ ที่เกี่ยวข้องกับการคูณ / หารด้วยปัจจัยเช่นแต่มันง่ายพอที่จะระบุความต้องการนั้น)Z * = Z - ˉ Z Z * L * Z ( 0 ) = ( L * ) - 1 Z * Y = L Z ( 0 ) + μ $z$$z^*=z-\bar z$$z^*$$L^*$$z^{(0)}=(L^*)^{-1}z^*$$y=Lz^{(0)}+\mu$$\sqrt{\frac{n-1}{n}}$

@Glen_b ให้คำตอบที่ดี (+1) ซึ่งฉันต้องการแสดงด้วยรหัสบางอย่าง

วิธีสร้างตัวอย่างจากการแจกแจงแบบเกาส์มิติหลายมิติด้วยเมทริกซ์ความแปรปรวนร่วมที่กำหนด ? นี้เป็นเรื่องง่ายที่จะทำโดยการสร้างตัวอย่างจากมาตรฐานเสียนและคูณด้วยรากที่สองของเมทริกซ์ความแปรปรวนเช่นโดยSigma) สิ่งนี้ครอบคลุมในหลาย ๆ หัวข้อใน CV เช่นที่นี่: ฉันจะสร้างข้อมูลด้วยเมทริกซ์สหสัมพันธ์ที่ได้รับการกำหนดล่วงหน้าได้อย่างไร นี่คือการใช้ Matlab อย่างง่าย:$n$$d$$\boldsymbol \Sigma$$\mathrm{chol}(\boldsymbol \Sigma)$

n = 100;
d = 2;
Sigma = [ 1    0.7  ; ...
          0.7   1   ];
rng(42)
X = randn(n, d) * chol(Sigma);

เมทริกซ์ความแปรปรวนร่วมตัวอย่างของข้อมูลผลลัพธ์จะไม่แน่นอน ; เช่นในตัวอย่างข้างต้นส่งคืน$\boldsymbol \Sigma$cov(X)

1.0690    0.7296
0.7296    1.0720

วิธีการสร้างข้อมูลด้วยความสัมพันธ์ตัวอย่างที่ระบุไว้ล่วงหน้าหรือเมทริกซ์ความแปรปรวนร่วมได้อย่างไร

ตามที่ @Glen_b เขียนหลังจากสร้างข้อมูลจาก Gaussian มาตรฐาน, กลาง, ทำให้ขาวขึ้นและทำให้เป็นมาตรฐานเพื่อให้มันมีเมทริกซ์ความแปรปรวนร่วมตัวอย่าง ; เพียงแล้วคูณด้วยSigma)$\mathbf I$$\mathrm{chol}(\boldsymbol \Sigma)$

นี่คือความต่อเนื่องของตัวอย่าง Matlab ของฉัน:

X = randn(n, d);
X = bsxfun(@minus, X, mean(X));
X = X * inv(chol(cov(X)));
X = X * chol(Sigma);

ตอนนี้cov(X)ตามที่ต้องการส่งคืน

1.0000    0.7000
0.7000    1.0000