ผูกพันกับความสัมพันธ์ของตัวแปรสุ่มสามตัว

28

มีสามตัวแปรสุ่มเป็น $x,y,z$ Zความสัมพันธ์สามประการระหว่างตัวแปรทั้งสามนั้นเหมือนกัน นั่นคือ,

ρ = cor (x, y) = cor (x, z) = cor (y, z)

$\rho=\textrm{cor}(x,y)=\textrm{cor}(x,z)=\textrm{cor}(y,z)$

แคบผูกคุณสามารถให้สำหรับคืออะไร $\rho$ ?

correlation correlation-matrix

— user1352399
แหล่งที่มา

1

สมมุติโดย "pho" คุณหมายถึงrho (

ρ

$\rho$ ) อย่างไรก็ตามคำถามของคุณยังไม่ชัดเจน คุณหมายถึงอะไรโดย "อะไรคือขอบเขตที่แคบที่สุดที่คุณสามารถให้ได้"

— gung - Reinstate Monica

ชื่อของตัวแปรก็แค่ดัมมี่ ตามขอบเขตที่แคบที่สุดฉันหมายถึงบางสิ่งบางอย่างเช่น [-1, 1] สำหรับความสัมพันธ์ แต่สิ่งนี้ชัดเจนว่าไม่ใช่ขอบเขตที่แคบที่สุดเท่าที่จะเป็นไปได้

— user1352399

คุณหมายถึง rho = cor (x, y) = cor (x, z) = cor (y, z) และขีด จำกัด ของ rho คืออะไร?

— user31264

ใช่ฉันหมายความว่า rho = cor (x, y) = cor (x, z) = cor (y, z) และขีด จำกัด ของ rho คืออะไร คุณสามารถขยายให้พูดว่า rho ต้องไม่ใช่ค่าลบเช่น> = 0 หรือไม่?

— user1352399

1

หนังสืออ้างอิงสำหรับเรื่องนี้คือ Seber & Lee "การวิเคราะห์การถดถอยเชิงเส้น" (อย่างน้อยก็ในฉบับพิมพ์ครั้งแรก ... )

— kjetil b halvorsen

29

ความสัมพันธ์ทั่วไปสามารถมีค่าแต่ไม่ 1ถ้าแล้วไม่สามารถที่เท่าเทียมกันแต่ในความเป็นจริง 1ค่าที่น้อยที่สุดของความสัมพันธ์ทั่วไปของตัวแปรสุ่มสามตัวคือ $\rho$ $+1$ $-1$ $\rho_{X,Y}= \rho_{X,Z}=-1$ $\rho_{Y,Z}$ $-1$ $+1$ . โดยทั่วไปแล้วความสัมพันธ์ขั้นต่ำทั่วไปของตัวแปรสุ่มคือ $-\frac{1}{2}$ $n$ เมื่อการยกย่องว่าเป็นพาหะพวกเขาอยู่ที่จุดของเริม (ที่ของมิติ) ในพื้นที่มิติ $-\frac{1}{n-1}$ $n-1$ $n$

พิจารณาความแปรปรวนของผลรวมของที่ ตัวแปรสุ่มหน่วยความแปรปรวนฉันเรามี $n$ $X_i$ ที่เป็นค่าเฉลี่ยของค่าสัมประสิทธิ์สหสัมพันธ์ แต่เนื่องจากเราได้รับจาก ว่า

\begin{aligned} var (\sum_{i = 1}^{n} X_{i}) & = \sum_{i = 1}^{n} var (X_{i}) + \sum_{i = 1}^{n} \sum_{j \neq i}^{n} cov (X_{i}, X_{j}) \\ = n + \sum_{i = 1}^{n} \sum_{j \neq i}^{n} ρ_{X_{i}, X_{j}} \\ (1) & = n + n (n - 1) \bar{ρ} \end{aligned}

$\begin{align*} \operatorname{var}\left(\sum_{i=1}^n X_i\right) &= \sum_{i=1}^n \operatorname{var}(X_i) + \sum_{i=1}^n\sum_{j\neq i}^n \operatorname{cov}(X_i,X_j)\\ &= n + \sum_{i=1}^n\sum_{j\neq i}^n \rho_{X_i,X_j}\\ &= n + n(n-1)\bar{\rho} \tag{1} \end{align*}$

\bar{ρ}

$\bar{\rho}$

(\binom{n}{2})

$\binom{n}{2}$

var (\sum_{i} X_{i}) \geq 0

$\operatorname{var}\left(\sum_i X_i\right) \geq 0$

(1)

$(1)$

\bar{ρ} \geq - \frac{1}{n - 1} .

$\bar{\rho} \geq -\frac{1}{n-1}.$

ดังนั้นค่าเฉลี่ยของค่าสัมประสิทธิ์สหสัมพันธ์เป็น อย่างน้อย {n-1} ถ้าทุกค่าสัมประสิทธิ์สหสัมพันธ์มีเดียวกันค่าแล้วพวกเขายังเฉลี่ยเท่ากับและเพื่อให้เรามีที่ มันเป็นไปได้ที่จะมีตัวแปรสุ่มที่ที่พบความสัมพันธ์ค่าเท่ากับ ? ใช่. สมมติว่ามีuncorrelated หน่วยความแปรปรวนตัวแปรสุ่มและการตั้งค่า {X} จากนั้นในขณะที่ $-\frac{1}{n-1}$ $\rho$ $\rho$

ρ \geq - \frac{1}{n - 1} .

$\rho \geq -\frac{1}{n-1}.$

ρ

$\rho$

- \frac{1}{n - 1}

$-\frac{1}{n-1}$

X_{i}

$X_i$

Y_{i} = X_{i} - \frac{1}{n} \sum_{j = 1}^{n} X_{j} = X_{i} - \bar{X}

$Y_i = X_i - \frac{1}{n}\sum_{j=1}^n X_j = X_i -\bar{X}$

E [Y_{i}] = 0

$E[Y_i]=0$

var (Y_{i}) = {(\frac{n - 1}{n})}^{2} + (n - 1) {(\frac{1}{n})}^{2} = \frac{n - 1}{n}

$\displaystyle \operatorname{var}(Y_i) = \left(\frac{n-1}{n}\right)^2 + (n-1)\left(\frac{1}{n}\right)^2 = \frac{n-1}{n}$ และ ให้ ดังนั้นเป็นตัวแปรสุ่มบรรลุขั้นต่ำค่าทั่วไปของความสัมพันธ์{n-1} หมายเหตุบังเอิญที่ และดังนั้นถือว่าเป็นเวกเตอร์ตัวแปรสุ่มอยู่ในมิติไฮเปอร์เพลนมิติของ

cov (Y_{i}, Y_{j}) = - 2 (\frac{n - 1}{n}) (\frac{1}{n}) + (n - 2) {(\frac{1}{n})}^{2} = - \frac{1}{n}

$\operatorname{cov}(Y_i,Y_j) = -2\left(\frac{n-1}{n}\right)\left(\frac{1}{n}\right) + (n-2)\left(\frac{1}{n}\right)^2 = -\frac{1}{n}$

ρ_{Y_{i}, Y_{j}} = \frac{cov (Y_{i}, Y_{j})}{\sqrt{var (Y_{i}) var (Y_{j})}} = \frac{- 1 / n}{(n - 1) / n} = - \frac{1}{n - 1} .

$\rho_{Y_i,Y_j} = \frac{\operatorname{cov}(Y_i,Y_j)}{\sqrt{\operatorname{var}(Y_i)\operatorname{var}(Y_j)}} =\frac{-1/n}{(n-1)/n} = -\frac{1}{n-1}.$

Y_{i}

$Y_i$

- \frac{1}{n - 1}

$-\frac{1}{n-1}$

\sum_{i} Y_{i} = 0

$\sum_i Y_i = 0$

(n - 1)

$(n-1)$

n

$n$ - มิติพื้นที่

— Dilip Sarwate
แหล่งที่มา

25

ที่เป็นไปได้แคบที่ถูกผูกไว้เป็น1 $-1/2 \le \rho \le 1$ ค่าดังกล่าวทั้งหมดสามารถปรากฏได้จริง - เป็นไปไม่ได้

เพื่อแสดงให้เห็นว่าไม่มีสิ่งใดที่ลึกหรือลึกลับเป็นพิเศษเกี่ยวกับผลลัพธ์คำตอบนี้นำเสนอวิธีแก้ปัญหาเบื้องต้นอย่างสมบูรณ์โดยต้องการเพียงความจริงที่ชัดเจนว่าความแปรปรวนซึ่งเป็นค่าคาดหวังของสี่เหลี่ยมจัตุรัสจะต้องไม่ใช่เชิงลบ ตามด้วยวิธีแก้ปัญหาทั่วไป (ซึ่งใช้ข้อเท็จจริงเชิงพีชคณิตที่ซับซ้อนกว่านี้เล็กน้อย)

วิธีการแก้ปัญหาเบื้องต้น

ความแปรปรวนของการรวมกันเชิงเส้นใด ๆ ของต้องไม่เป็นลบ $x,y,z$ ปล่อยให้ความแปรปรวนของตัวแปรเหล่านี้เป็นและตามลำดับ ทั้งหมดเป็นค่าที่ไม่ใช่ศูนย์ (ไม่เช่นนั้นความสัมพันธ์บางอย่างจะไม่ถูกกำหนด) การใช้คุณสมบัติพื้นฐานของความแปรปรวนที่เราอาจคำนวณ $\sigma^2, \tau^2,$ $\upsilon^2$

0 \leq Var (α x / σ + β y / τ + γ z / υ) = α^{2} + β^{2} + γ^{2} + 2 ρ (α β + β γ + γ α)

$0 \le \text{Var}(\alpha x/\sigma + \beta y/\tau + \gamma z/\upsilon) = \alpha^2 +\beta^2+\gamma^2 + 2\rho(\alpha\beta+\beta\gamma+\gamma\alpha)$

สำหรับตัวเลขจริงทั้งหมดแกมมา) $(\alpha, \beta, \gamma)$

สมมติว่า , การจัดการพีชคณิตเล็กน้อยหมายถึงสิ่งนี้เทียบเท่ากับ $\alpha+\beta+\gamma\ne 0$

\frac{- ρ}{1 - ρ} \leq \frac{1}{3} {(\frac{\sqrt{(α^{2} + β^{2} + γ^{2}) / 3}}{(α + β + γ) / 3})}^{2} .

$\frac{-\rho}{1-\rho} \le \frac{1}{3} \left(\frac{\sqrt{(\alpha^2+\beta^2+\gamma^2)/3}}{(\alpha+\beta+\gamma)/3}\right)^2.$

คำ Squared บนด้านขวามือคืออัตราส่วนของสองหมายถึงอำนาจของแกมมา) ประถมศึกษาไม่เท่าเทียมกันพลังงานเฉลี่ย (ที่มีน้ำหนัก ) อ้างว่าอัตราส่วนไม่เกิน (และจะเท่ากับเมื่อ ) พีชคณิตอีกเล็กน้อยจากนั้นก็หมายถึง $(\alpha, \beta, \gamma)$ $(1/3, 1/3, 1/3)$ $1$ $1$ $\alpha=\beta=\gamma\ne 0$

ρ \geq - 1 / 2.

$\rho \ge -1/2.$

ตัวอย่างที่ชัดเจนของด้านล่าง (เกี่ยวข้องกับตัวแปรปกติ trivariate ) แสดงให้เห็นว่าค่าดังกล่าวทั้งหมดคือจริงๆแล้วเกิดขึ้นในลักษณะที่สัมพันธ์กัน ตัวอย่างนี้ใช้เพียงคำจำกัดความของ Normals หลายตัวแปร แต่ไม่ได้เรียกผลลัพธ์ของแคลคูลัสหรือพีชคณิตเชิงเส้น $n=3$ $(x,y,z)$ $-1/2 \le \rho \le 1$

วิธีแก้ปัญหาทั่วไป

ภาพรวม

เมทริกซ์สหสัมพันธ์ใด ๆ คือเมทริกซ์ความแปรปรวนร่วมของตัวแปรสุ่มมาตรฐานดังนั้นไหน - เหมือนกับเมทริกซ์สหสัมพันธ์ทั้งหมด - มันต้องเป็นค่ากึ่งบวกแน่นอน ค่าลักษณะเฉพาะของมันนั้นไม่เท่ากัน สิ่งนี้กำหนดเงื่อนไขอย่างง่ายใน : ต้องไม่น้อยกว่า (และแน่นอนไม่เกิน ) ในทางกลับกันใด ๆ ที่สอดคล้องกับเมทริกซ์สหสัมพันธ์ของการแจกแจงแบบวริยาบางส่วนการพิสูจน์ขอบเขตเหล่านี้เป็นไปได้ที่แคบที่สุด $\rho$ $-1/2$ $1$ $\rho$

ที่มาของเงื่อนไขใน $\rho$

พิจารณาโดยเมทริกซ์ความสัมพันธ์กับค่าปิดเส้นทแยงมุมเท่ากับ(คำถามนี้เกี่ยวข้องกับกรณีแต่การวางนัยทั่วไปนี้ไม่ยากต่อการวิเคราะห์) ลองเรียกมันว่า ตามคำนิยามเป็นค่าเฉพาะของการให้มีอยู่ไม่ใช่ศูนย์เวกเตอร์เช่นนั้น $n$ $n$ $\rho.$ $n=3,$ $\mathbb{C}(\rho, n).$ $\lambda$ $\mathbf{x}_\lambda$

C (ρ, n) x_{λ} = λ x_{λ} .

$\mathbb{C}(\rho,n) \mathbf{x}_\lambda = \lambda \mathbf{x}_\lambda.$

ค่าลักษณะเฉพาะเหล่านี้หาได้ง่ายในกรณีปัจจุบันเพราะ

ให้คำนวณให้ $\mathbf{1} = (1, 1, \ldots, 1)'$

$C (ρ, n) 1 = (1 + (n - 1) ρ) 1 .$ $\mathbb{C}(\rho,n)\mathbf{1} = (1+(n-1)\rho)\mathbf{1}.$
การให้โดยที่มีเฉพาะในสถานที่ (สำหรับ ) คำนวณว่า $\mathbf{y}_j = (-1, 0, \ldots, 0, 1, 0, \ldots, 0)$ $1$ $j^\text{th}$ $j = 2, 3, \ldots, n$

$C (ρ, n) y_{j} = (1 - ρ) y_{j} .$ $\mathbb{C}(\rho,n)\mathbf{y}_j = (1-\rho)\mathbf{y}_j.$

เพราะ eigenvectors พบเพื่อให้ห่างไกลครอบคลุมเต็มมิติ (หลักฐาน: ง่ายต่อการแสดงการลดแถวค่าสัมบูรณ์ของปัจจัยของพวกเขาเท่ากับซึ่งไม่ใช่ศูนย์) พวกเขาเป็นพื้นฐานของทุก eigenvectors ดังนั้นเราจึงพบค่าลักษณะเฉพาะทั้งหมดและพิจารณาว่าเป็นหรือ (หลังที่มี multiplicity ) นอกเหนือจากความไม่เสมอภาคที่รู้จักกันดีพอใจจากสหสัมพันธ์ทั้งหมด $n$ $n$ $n$ $1+(n-1)\rho$ $1-\rho$ $n-1$ $-1 \le \rho \le 1$

ρ \geq - \frac{1}{n - 1}

$\rho \ge -\frac{1}{n-1}$

ในขณะที่การปฏิเสธของค่าลักษณะเฉพาะที่สองไม่มีเงื่อนไขใหม่

หลักฐานความเพียงพอของเงื่อนไข

ความหมายของการทำงานในทั้งสองทิศทาง: ให้เดอะเมทริกซ์เป็น nonnegative - แน่นอนและเป็นความสัมพันธ์ที่ถูกต้อง ตัวอย่างเช่นเมทริกซ์สหสัมพันธ์สำหรับการแจกแจงแบบพหุคูณ โดยเฉพาะเขียน $-1/(n-1)\le \rho \le 1,$ $\mathbb{C}(\rho, n)$

Σ (ρ, n) = (1 + (n - 1) ρ) I_{n} - \frac{ρ}{(1 - ρ) (1 + (n - 1) ρ)} 1 1^{'}

$\Sigma(\rho, n) = (1 + (n-1)\rho)\mathbb{I}_n - \frac{\rho}{(1-\rho)(1+(n-1)\rho)}\mathbf{1}\mathbf{1}'$

สำหรับการผกผันของเมื่อ ตัวอย่างเช่นเมื่อ $\mathbb{C}(\rho, n)$ $-1/(n-1) \lt \rho \lt 1.$ $n=3$

Σ (ρ, 3) = \frac{1}{(1 - ρ) (1 + 2 ρ)} (\begin{array}{ccc} ρ + 1 & - ρ & - ρ \\ - ρ & ρ + 1 & - ρ \\ - ρ & - ρ & ρ + 1 \end{array}) .

$\color{gray}{\Sigma(\rho, 3) = \frac{1}{(1-\rho)(1+2\rho)} \left( \begin{array}{ccc} \rho +1 & -\rho & -\rho \\ -\rho & \rho +1 & -\rho \\ -\rho & -\rho & \rho +1 \\ \end{array} \right)}.$

ให้เวกเตอร์ของตัวแปรสุ่มมีฟังก์ชันการแจกแจง $(X_1, X_2, \ldots, X_n)$

f_{ρ, n} (x) = \frac{\exp (- \frac{1}{2} x Σ (ρ, n) x^{'})}{(2 π)^{n / 2} {((1 - ρ)^{n - 1} (1 + (n - 1) ρ))}^{1 / 2}}

$f_{\rho, n}(\mathbf{x}) = \frac{\exp\left(-\frac{1}{2}\mathbf{x}\Sigma(\rho, n)\mathbf{x}'\right)}{(2\pi)^{n/2}\left((1-\rho)^{n-1}(1+(n-1)\rho)\right)^{1/2}}$

ที่x_n) ตัวอย่างเช่นเมื่อนี่เท่ากับ $\mathbf{x} = (x_1, x_2, \ldots, x_n)$ $n=3$

\frac{1}{\sqrt{(2 π)^{3} (1 - ρ)^{2} (1 + 2 ρ)}} \exp (- \frac{(1 + ρ) (x^{2} + y^{2} + z^{2}) - 2 ρ (x y + y z + z x)}{2 (1 - ρ) (1 + 2 ρ)}) .

$\color{gray}{\frac{1}{\sqrt{(2\pi)^{3}(1-\rho)^2(1+2\rho)}} \exp\left(-\frac{(1+\rho)(x^2+y^2+z^2) - 2\rho(xy+yz+zx)}{2(1-\rho)(1+2\rho)}\right)}.$

เมทริกซ์สหสัมพันธ์สำหรับตัวแปรสุ่มตัวนี้คือ $n$ $\mathbb{C}(\rho, n).$

รูป

ส่วนของฟังก์ชันความหนาแน่น จากซ้ายไปขวา8/10 หมายเหตุวิธีการเปลี่ยนแปลงความหนาแน่นจากการถูกความเข้มข้นใกล้เครื่องบินจะเป็นความเข้มข้นที่อยู่ใกล้เส้น Z $f_{\rho,3}.$ $\rho=-4/10, 0, 4/10, 8/10$ $x+y+z=0$ $x=y=z$

กรณีพิเศษและสามารถรับรู้ได้โดยการแจกแจงที่ลดลง ฉันจะไม่เข้าไปดูรายละเอียดยกเว้นเพื่อชี้ให้เห็นว่าในกรณีก่อนหน้านี้การพิจารณาการแจกจ่ายสามารถพิจารณาได้ในไฮเปอร์เพลนซึ่งเป็นผลรวมของค่าเฉลี่ยที่กระจายตัวเหมือนกัน -แจกแจงแบบปกติในขณะที่ในกรณีหลัง (ความสัมพันธ์เชิงบวกที่สมบูรณ์แบบ) จะได้รับการสนับสนุนในบรรทัดที่สร้างโดยซึ่งมีการกระจายแบบเฉลี่ย- $\rho = -1/(n-1)$ $\rho = 1$ $\mathbf{x}.\mathbf{1}=0$ $0$ $\mathbf{1}'$ $0$

เพิ่มเติมเกี่ยวกับการเสื่อมสภาพ

การทบทวนการวิเคราะห์นี้ทำให้เห็นได้ชัดว่าความสัมพันธ์เมทริกซ์มีอันดับของและมีอันดับ จาก (เพราะมีเพียงหนึ่งไอเกนิคเตอร์เท่านั้นที่มีค่าศูนย์ไม่เท่ากัน) สำหรับนี่จะทำให้เมทริกซ์สหสัมพันธ์ลดลงในทั้งสองกรณี มิฉะนั้นการดำรงอยู่ของสิ่งที่ตรงกันข้ามพิสูจน์ได้ว่ามันไม่ได้ถูกสร้าง $\mathbb{C}(-1/(n-1), n)$ $n-1$ $\mathbb{C}(1, n)$ $1$ $n\ge 2$ $\Sigma(\rho, n)$

— whuber
แหล่งที่มา

20

เมทริกซ์ความสัมพันธ์ของคุณคือ

(\begin{matrix} 1 & ρ & ρ \\ ρ & 1 & ρ \\ ρ & ρ & 1 \end{matrix})

$\begin{pmatrix} 1&\rho&\rho\\ \rho&1&\rho\\ \rho&\rho&1 \end{pmatrix}$

เมทริกซ์นั้นเป็นค่าเซมิตีบวกบวกหากผู้เยาว์หลักชั้นนำไม่ได้เป็นลบ ผู้เยาว์หลักเป็นตัวกำหนดของบล็อก "ทางตะวันตกเฉียงเหนือ" ของเมทริกซ์คือ 1 ซึ่งเป็นดีเทอร์มิแนนต์ของ

(\begin{matrix} 1 & ρ \\ ρ & 1 \end{matrix})

$\begin{pmatrix} 1&\rho\\ \rho&1\end{pmatrix}$

และดีเทอร์มีแนนต์ของเมทริกซ์สหสัมพันธ์นั้น

1 เป็นบวกอย่างเห็นได้ชัดผู้เยาว์หลักที่สองคือซึ่งเป็นค่าลบสำหรับความสัมพันธ์ที่ยอมรับใด ๆ[-1,1] ดีเทอร์มิแนนต์ของเมทริกซ์สหสัมพันธ์ทั้งหมดคือ $1-\rho^2$ $\rho\in[-1,1]$

2 ρ^{3} - 3 ρ^{2} + 1.

$2\rho^3-3\rho^2+1.$

พล็อตแสดงให้เห็นว่าปัจจัยของการทำงานในช่วงของความสัมพันธ์ที่ยอมรับ[-1,1] $[-1,1]$ ป้อนคำอธิบายรูปภาพที่นี่

คุณเห็นว่าฟังก์ชั่นนั้นไม่เป็นลบในช่วงที่กำหนดโดย @stochazesthai (ซึ่งคุณสามารถตรวจสอบได้โดยการค้นหารากของสมการดีเทอร์แนนตัล)

— คริสโตฟฮันค์
แหล่งที่มา

เราไม่ได้สมมติในคำตอบของคุณว่าหรือไม่? ทำไมเรา

V a r () = 1

$Var( )=1$

— ชายชราในทะเล

1

@Anold คุณดูเหมือนจะอ่าน "ความแปรปรวนร่วม" ที่เขียน "ความสัมพันธ์"

— whuber

6

มีตัวแปรสุ่ม ,และมีความสัมพันธ์แบบจับคู่ถ้าหากเมทริกซ์สหสัมพันธ์นั้นเป็น semidefinite เชิงบวก นี้เกิดขึ้นเฉพาะสำหรับ1] $X$ $Y$ $Z$ $\rho_{XY} = \rho_{YZ} = \rho_{XZ} = \rho$ $\rho \in [-\frac{1}{2},1]$

— stochazesthai
แหล่งที่มา

2

คุณสามารถอธิบายสิ่งนี้ในแง่ง่ายมาก

— Elizabeth Susan Joseph

1

ฉันไม่คิดว่ามีคำอธิบายที่ไม่ต้องการความรู้เกี่ยวกับพีชคณิตเมทริกซ์ ฉันแนะนำให้คุณดูที่หน้า Wikipedia ( en.wikipedia.org/wiki/… )

— stochazesthai

4

ฉันพบคำอธิบายที่ต้องการเพียงพีชคณิตพื้นฐาน (ระดับมัธยม) และได้รวมไว้ในคำตอบของฉัน