จะสร้างตัวเลขสุ่มที่มีความสัมพันธ์กันอย่างไร (ให้หมายถึงผลต่างและระดับความสัมพันธ์)

53

ฉันขอโทษถ้ามันดูธรรมดาไปหน่อย แต่ฉันคิดว่าฉันแค่ต้องการยืนยันความเข้าใจที่นี่ ฉันเข้าใจว่าฉันต้องทำสิ่งนี้ในสองขั้นตอนและฉันก็เริ่มพยายามฝึกความสัมพันธ์ แต่ก็เริ่มดูเหมือนจะเกี่ยวข้องจริงๆ ฉันกำลังมองหาคำอธิบายที่กระชับ (นึกคิดด้วยคำแนะนำต่อการแก้ปัญหา pseudocode) ของวิธีที่ดีและรวดเร็วในการสร้างตัวเลขสุ่มที่สัมพันธ์กัน

ด้วยความสูงและน้ำหนักของตัวแปรเทียมสองตัวที่มีความหมายและความแปรปรวนที่รู้จักกันและความสัมพันธ์ที่กำหนดฉันคิดว่าฉันพยายามเข้าใจว่าขั้นตอนที่สองนี้ควรเป็นอย่างไร

   height = gaussianPdf(height.mean, height.variance)
   weight = gaussianPdf(correlated_mean(height.mean, correlation_coefficient), 
                        correlated_variance(height.variance, 
                        correlation_coefficient))

ฉันจะคำนวณค่าเฉลี่ยและความแปรปรวนได้อย่างไร แต่ฉันต้องการยืนยันว่านี่เป็นปัญหาที่เกี่ยวข้องจริงๆที่นี่
ฉันจำเป็นต้องใช้วิธีจัดการกับเมทริกซ์หรือไม่? หรือฉันมีสิ่งอื่นที่ผิดปกติมากในแนวทางพื้นฐานของปัญหานี้

— โจเซฟไวส์แมน
แหล่งที่มา

1

ไม่แน่ใจว่าฉันเข้าใจคุณถูกต้อง แต่คุณไม่จำเป็นต้องคำนวณ "ค่าเฉลี่ยและความแปรปรวน" หากคุณสมมติว่าตัวแปรเป็นตัวแปรปกติมันควรจะเพียงพอที่จะระบุค่าเฉลี่ยและผลต่างและความสัมพันธ์ มีซอฟต์แวร์เฉพาะที่คุณต้องการใช้สำหรับสิ่งนี้หรือไม่?

— mark999

3

Qs ต่อไปนี้เกี่ยวข้องอย่างมาก & จะเป็นที่สนใจ: วิธีกำหนดการแจกแจงแบบนั้นที่สัมพันธ์กันจากการจับฉลากจากการแจกแจงแบบอื่นที่ระบุไว้ล่วงหน้า และสร้างตัวแปรสุ่มที่มีความสัมพันธ์ที่กำหนดให้ตัวแปรที่มีอยู่

— gung - Reinstate Monica

1

นอกจากนี้: ฉันจะสร้างข้อมูลด้วยเมทริกซ์สหสัมพันธ์ที่ได้รับการกำหนดล่วงหน้าได้อย่างไร

— gung - Reinstate Monica

44

ในการตอบคำถามของคุณเกี่ยวกับ "วิธีที่ดีและรวดเร็วในการสร้างตัวเลขสุ่มที่มีความสัมพันธ์": เนื่องจากความแปรปรวน - ความแปรปรวนร่วมแปรปรวนของเมทริกซ์ที่ต้องการโดยนิยามเชิงบวกแน่นอนการสลายตัวของ Cholesky คือ: = ; เป็นเมทริกซ์สามเหลี่ยมที่ต่ำกว่า $C$ $C$ $LL^T$ $L$

หากคุณใช้เมทริกซ์นี้เพื่อคาดการณ์ตัวแปรเวกเตอร์ไม่เกี่ยวข้องสัมพันธ์การประมาณค่าผลลัพธ์จะเป็นของตัวแปรสุ่มที่สัมพันธ์กัน $L$ $X$ $Y = LX$

คุณสามารถหาคำอธิบายว่าทำไมรัดกุมนี้เกิดขึ้นที่นี่

— usεr11852พูดว่า Reinstate Monic
แหล่งที่มา

ขอบคุณ! สิ่งนี้มีประโยชน์อย่างมาก ฉันคิดว่าอย่างน้อยฉันก็มีความรู้สึกที่ดีขึ้นว่าฉันต้องมองอะไรต่อไป

— Joseph Weissman

7

วิธีนี้ใช้ได้เฉพาะกับการแจกแจงแบบเกาส์ (ตามที่ระบุในคำถาม) หรือสามารถใช้สำหรับการสร้างตัวแปรที่มีความสัมพันธ์ที่ตามหลังการแจกแจงแบบอื่นได้หรือไม่? ถ้าไม่คุณทราบวิธีที่สามารถใช้ในกรณีนั้นได้หรือไม่?

— user000001

1

@Michael: ใช่ ต้องบอกว่าได้รับ

เป็นเมทริกซ์ความแปรปรวนร่วมที่ถูกต้องการสลายตัว Cholesky เป็นวิธีที่เร็วที่สุด คุณสามารถหาเมทริกซ์จตุรัสรูท

แบบสมมาตรของ

โดยใช้ SVD (ดังนั้น

โดยที่

จาก

) แต่มันจะแพงกว่า เกินไป.

C

$C$

X

$X$

C

$C$

C = X X = X X^{T}

$C = XX = XX^T$

X = U S^{0.5} V^{T}

$X = U S^{0.5} V^T$

C = U S V^{T}

$C = USV^T$

— usεr11852พูดว่า Reinstate Monic

1

@Michael: แน่นอน ความแปรปรวนร่วมของพวกเขาจะเหมือนกัน (โดยประมาณ) ไม่ใช่ตัวเลขเอง

— usεr11852พูดว่า Reinstate Monic

1

@Sid: การกระจายอย่างต่อเนื่องใด ๆ ที่ไม่ได้รับการสนับสนุนในสายจริงทั้งหมดจะล้มเหลวทันที ตัวอย่างเช่นหากเราใช้เครื่องแบบ

เราไม่สามารถรับประกันได้ว่า "หมายเลขที่สัมพันธ์กัน" จะอยู่ใน

; ในทำนองเดียวกันสำหรับปัวซองเราจะจบลงด้วยตัวเลขที่ไม่ต่อเนื่อง นอกจากนี้การแจกแจงใด ๆ ที่ผลรวมของการแจกแจงยังไม่เหมือนเดิม (เช่นการรวม

-distribution จะไม่ส่งผลให้

-distribution) จะล้มเหลวเช่นกัน ในทุกกรณีที่กล่าวถึงตัวเลขที่ผลิตจะมีความสัมพันธ์ตาม

U [0, 1]

$U[0,1]$

[0, 1]

$[0,1]$

t

$t$

t

$t$

C

$C$ แต่พวกเขาจะไม่สอดคล้องกับการกระจายเราเริ่ม

— usεr11852พูดว่า Reinstate Monic

36

+1 ถึง @ user11852 และ @ jem77bfp นี่เป็นคำตอบที่ดี ให้ฉันเข้าใกล้สิ่งนี้จากมุมมองที่แตกต่างไม่ใช่เพราะฉันคิดว่ามันจำเป็นต้องใช้ในทางปฏิบัติที่ดีกว่าแต่เพราะฉันคิดว่ามันเป็นคำแนะนำ นี่คือข้อเท็จจริงที่เกี่ยวข้องสองสามข้อที่เราทราบแล้ว:

คือความชันของเส้นถดถอยเมื่อทั้งและมีมาตรฐานเช่น , $r$ $X$ $Y$ $\mathcal N(0,1)$
คือสัดส่วนของความแปรปรวนในเนื่องมาจากความแปรปรวนใน , $r^2$ $Y$ $X$

(เช่นจากกฎสำหรับผลต่าง ):
ความแปรปรวนของตัวแปรสุ่มคูณด้วยค่าคงที่คือค่าคงที่กำลังสองคูณความแปรปรวนดั้งเดิม:
$Var [a X] = a^{2} Var [X]$ $\text{Var}[aX]=a^2\text{Var}[X]$
$Var [X + ε] = Var [X] + Var [ε]$ $\text{Var}[X+\varepsilon]=\text{Var}[X]+\text{Var}[\varepsilon]$

$r$ $\rho$ $X$ $\mathcal N(0,1)$ $a$ $v_e$ $Y \sim\mathcal N(0,a^2+v_e)$ $a^2+v_e=1$ $|a|$ $\le 1$ $a=r$ $r$ $a$ $1-r^2$ $x_i$ $e_i$ $v_e$ $y_i$

หากคุณต้องการทำสิ่งนี้ใน R รหัสต่อไปนี้อาจใช้ได้กับคุณ:

correlatedValue = function(x, r){
  r2 = r**2
  ve = 1-r2
  SD = sqrt(ve)
  e  = rnorm(length(x), mean=0, sd=SD)
  y  = r*x + e
  return(y)
}

set.seed(5)
x = rnorm(10000)
y = correlatedValue(x=x, r=.5)

cor(x,y)
[1] 0.4945964

$0$

อีกครั้งในรูปแบบที่ง่ายที่สุดเพียงให้คุณสร้างคู่ของตัวแปรที่มีความสัมพันธ์กัน (สิ่งนี้สามารถเพิ่มขนาดได้ แต่เร็วขึ้นอย่างน่าเกลียด) และแน่นอนว่าไม่ใช่วิธีที่สะดวกที่สุดในการทำงานให้สำเร็จ ใน R คุณต้องการใช้? mvrnormในแพ็คเกจMASSทั้งสองเพราะมันง่ายกว่าและเพราะคุณสามารถสร้างตัวแปรจำนวนมากด้วยเมทริกซ์สหสัมพันธ์ประชากรที่กำหนด อย่างไรก็ตามฉันคิดว่ามันคุ้มค่าที่จะทำตามขั้นตอนนี้เพื่อดูว่าหลักการพื้นฐานบางอย่างเล่นง่าย

— gung - Reinstate Monica
แหล่งที่มา

วิธีการนี้ regressional หลักเป็นสิ่งที่ดีโดยเฉพาะอย่างยิ่งการปล่อยให้หนึ่งในการสร้างหนึ่งสุ่ม Y มีความสัมพันธ์กับจำนวนใด ๆที่มีอยู่ X "พยากรณ์" ฉันเข้าใจถูกต้องหรือไม่

— ttnphns

ขึ้นอยู่กับว่ารูปแบบของความสัมพันธ์ระหว่างตัวแปรที่คุณต้องการคืออะไร @ttnphns คุณสามารถทำซ้ำสิ่งนี้ผ่านทีละคน แต่มันจะน่าเบื่อ ในการสร้างตัวแปรที่มีความสัมพันธ์หลายอย่างพร้อมกับรูปแบบที่กำหนดควรใช้การสลายตัวของ Cholesky

— gung - Reinstate Monica

gung, คุณรู้วิธีการใช้ Cholesky เพื่อสร้างหนึ่งที่มีความสัมพันธ์ Y (โดยประมาณ, ในวิธีการของคุณ) ตามเวกเตอร์ของความสัมพันธ์กับXs ที่มีอยู่หลาย(ไม่ได้จำลอง)?

— ttnphns

@ttnphns คุณต้องการสร้าง Y เดี่ยว / สหสัมพันธ์ของประชากรที่กำหนด w / a ชุดของ X ไม่ใช่ชุดของตัวแปร p ที่ทุกคนมีความสัมพันธ์ของประชากรล่วงหน้า วิธีง่ายๆคือการเขียนสมการการถดถอยเพื่อสร้าง Y-hat เดี่ยวจาก X's ของคุณจากนั้นใช้วิธีการด้านบนเพื่อสร้าง Y เป็นสหสัมพันธ์ของ Y-hat ของคุณ คุณสามารถถามคำถามใหม่เกี่ยวกับมันถ้าคุณต้องการ

— gung - Reinstate Monica

1

นี่คือสิ่งที่ฉันหมายถึงในความคิดเห็นเริ่มต้นของฉัน: วิธีนี้จะเป็นส่วนขยายโดยตรงของสิ่งที่คุณพูดถึงในคำตอบของคุณ: เป็นหลักวิธีการถดถอย (หมวก)

— ttnphns

16

โดยทั่วไปแล้วนี่ไม่ใช่เรื่องง่ายที่จะทำ แต่ฉันเชื่อว่ามีแพ็กเกจสำหรับการสร้างตัวแปรแบบหลายตัวแปร (อย่างน้อยใน R, ดูmvrnormในMASSแพ็คเกจ) ที่คุณใส่เมทริกซ์ความแปรปรวนร่วมและเวกเตอร์เฉลี่ย

$(X_1,X_2)$ $F(x_1,x_2)$ $F$ $x_2$

F_{X_{1}} (x_{1}) = \int_{- \infty}^{\infty} F (x_{1}, x_{2}) d x_{2} .

$F_{X_1}(x_1)= \int_{-\infty}^{\infty} F(x_1,x_2)dx_2.$

F_{X_{1}}^{- 1}

$F^{-1}_{X_1}$

F_{X_{1}}

$F_{X_1}$

ξ_{1}

$\xi_1$

[0, 1]

$[0,1]$

{\hat{x}}_{1} = F_{X_{1}}^{- 1} (ξ)

$\hat{x}_1=F^{-1}_{X_1}(\xi)$

$F(x_1,x_2)$ $x_1=\hat{x}_1$

F (x_{2} | X_{1} = {\hat{x}}_{1}) = \frac{F ({\hat{x}}_{1}, x_{2})}{f_{X_{1}} ({\hat{x}}_{1})},

$F(x_2 | X_1=\hat{x}_1)= \frac{F(\hat{x}_1,x_2)}{f_{X_1}(\hat{x}_1)},$

f_{X_{1}}

$f_{X_1}$

X_{1}

$X_1$

F_{X_{1}}^{'} (x_{1}) = f_{X_{1}} (x_{1})

$F'_{X_1}(x_1)=f_{X_1}(x_1)$

$\xi_2$ $[0,1]$ $\xi_1$ $F(x_2 | X_1=\hat{x}_1)$ $\hat{x}_2=(F(x_2 | X_1=\hat{x}_1))^{-1}(\xi)$ $\hat x_2$ $F(\hat x_2 | X_1=\hat{x}_1) = \xi$

หากคุณไม่เข้าใจความหมายของการเสียบตัวแปรชุดเข้ากับฟังก์ชันการแจกแจงความน่าจะเป็นแบบผกผันให้ลองทำร่างของกรณีที่ไม่มีตัวแปรแล้วจดจำการตีความเชิงเรขาคณิตของฟังก์ชันผกผัน

— jem77bfp
แหล่งที่มา

ความคิดที่ฉลาด! มีการอุทธรณ์ที่ใช้งานง่าย แต่ใช่ว่ามีราคาแพง

— MichaelChirico

f_{X, Y} (x, y) = f_{X} (x) \cdot f_{Y | X} (y)

$f_{X,Y}(x,y)=f_X(x)\cdot f_{Y|X}(y)$

1

หากคุณพร้อมที่จะยอมแพ้อย่างมีประสิทธิภาพคุณสามารถใช้ alogorithm ที่ใช้แล้วทิ้งได้ ข้อได้เปรียบของมันคือมันช่วยให้มีการแจกแจงแบบใด ๆ (ไม่เพียงแค่เสียน)

$\{x_i\}_{i=1}^N$ $\{y_i\}_{i=1}^N$ $C$

$c_{old}=corr(\{x_i\},\{y_i\})$

$n_1$ $n_2: 1 \leq n_{1,2} \leq N$

$x_{n_1}$ $x_{n_2}$

$c_{new}=corr( \{x_i\},\{y_i\})$

$|C-c_{new}| < |C-c_{old}|$

$|C-c| < \epsilon$

${x_i}$

โชคดี!

— F. Jatpil
แหล่งที่มา

x_{i}

$x_i$

c o r r (x_{i}, y_{i})

$corr(x_i, y_i)$

x_{i}

$x_i$

{x_{i}}

$\{x_i\}$

y

$y$

c o r r (x_{i}, y_{i})

$corr(x_i,y_i)$

c o r r ({x_{i}}, {y_{i}}) = (1 / N) Σ_{i = 1}^{N} (x_{i} - \bar{x}) (y_{y} - \bar{y})

$corr(\{x_i\},\{y_i\}) = (1/N) \Sigma_{i=1}^{N}(x_i- \bar x)(y_y - \bar y)$

{}

$\{ \}$

c o r r ({x_{i}}, {y_{i}})

$corr(\{x_i\}, \{y_i\})$