ความคล้ายคลึงของ Pearson สหสัมพันธ์สำหรับ 3 ตัวแปร

17

ฉันสนใจว่า "ความสัมพันธ์" ของตัวแปรสามตัวเป็นอะไรหรือไม่และถ้าเป็นเช่นนั้นจะเป็นอย่างไร

ค่าสัมประสิทธิ์สหสัมพันธ์ของเพียร์สัน

\frac{E {(X - μ_{X}) (Y - μ_{Y})}}{\sqrt{V a r (X) V a r (Y)}}

$\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)\}}{\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)}}$

ตอนนี้คำถามสำหรับ 3 ตัวแปร: คือ

\frac{E {(X - μ_{X}) (Y - μ_{Y}) (Z - μ_{Z})}}{\sqrt{V a r (X) V a r (Y) V a r (Z)}}

$\frac{\mathrm{E}\{(X-\mu_X)(Y-\mu_Y)(Z-\mu_Z)\}} {\sqrt{\mathrm{Var}(X)\mathrm{Var}(Y)\mathrm{Var}(Z)}}$

อะไร?

ใน R ดูเหมือนว่าสิ่งที่ตีความได้:

> a <- rnorm(100); b <- rnorm(100); c <- rnorm(100)
> mean((a-mean(a)) * (b-mean(b)) * (c-mean(c))) / (sd(a) * sd(b) * sd(c))
[1] -0.3476942

ปกติแล้วเราจะดูความสัมพันธ์ระหว่าง 2 ตัวแปรที่กำหนดค่าคงที่ของตัวแปรที่สาม มีคนอธิบายไหม

correlation pearson-r

— PascalVKooten
แหล่งที่มา

2

1) ในสูตรเพียร์สัน bivariate ของคุณถ้า "E" (หมายถึงในรหัสของคุณ) หมายถึงการหารด้วยnแล้วเซนต์ การเบี่ยงเบนต้องขึ้นอยู่กับn (ไม่ใช่ n-1) 2) ให้ทั้งสามตัวแปรเป็นตัวแปรเดียวกัน ในกรณีนี้เราคาดว่าความสัมพันธ์จะเป็น 1 (เหมือนในกรณี bivariate) แต่อนิจจา ...

— ttnphns

สำหรับการแจกแจงแบบปกติขนาดเล็กมันเป็นศูนย์โดยไม่คำนึงว่าสหสัมพันธ์นั้นคืออะไร

— Ray Koopman

1

ฉันคิดว่าชื่อเรื่องจะได้รับประโยชน์จากการเปลี่ยนเป็น "Analogy of Pearson correlation สำหรับ 3 ตัวแปร" หรือคล้ายกัน - มันจะทำให้การเชื่อมโยงที่นี่ค่อนข้างมีข้อมูลมากกว่านี้

— Silverfish

1

@ Silververfish ฉันเห็นด้วย! ฉันได้อัปเดตชื่อขอบคุณ

— PascalVKooten

11

มันเป็นสิ่งที่แน่นอน เพื่อค้นหาเราจำเป็นต้องตรวจสอบสิ่งที่เรารู้เกี่ยวกับความสัมพันธ์ของตัวเอง

เมทริกซ์สหสัมพันธ์ของตัวแปรสุ่มเวกเตอร์ $\mathbf{X}=(X_1,X_2,\ldots,X_p)$ เป็นเมทริกซ์ความแปรปรวนความแปรปรวนหรือ "แปรปรวน" ของรุ่นมาตรฐานของX $\mathbf{X}$ นั่นคือแต่ละ $X_i$ จะถูกแทนที่ด้วยเวอร์ชันที่ได้รับการปรับสภาพใหม่
ความแปรปรวนร่วมของ $X_i$ และ $X_j$ คือความคาดหวังของผลิตภัณฑ์ของรุ่นที่มีศูนย์กลาง นั่นคือการเขียน $X^\prime_i = X_i - E[X_i]$ และ $X^\prime_j = X_j - E[X_j]$ เรามี

$Cov (X_{i}, X_{j}) = E [X_{i}^{'} X_{j}^{'}] .$ $\operatorname{Cov}(X_i,X_j) = E[X^\prime_i X^\prime_j].$
ความแปรปรวนของซึ่งฉันจะเขียนไม่ใช่ตัวเลขเดียว มันเป็นอาร์เรย์ของค่า $\mathbf{X}$ $\operatorname{Var}(\mathbf{X})$
$Var (X)_{i j} = Cov (X_{i}, X_{j}) .$ $\operatorname{Var}(\mathbf{X})_{ij}=\operatorname{Cov}(X_i,X_j).$
วิธีการคิดของความแปรปรวนสำหรับลักษณะทั่วไปมีจุดมุ่งหมายคือการคิดว่ามันเป็นเมตริกซ์ นั่นหมายความว่าเป็นชุดของปริมาณทั้งหมด , จัดทำดัชนีโดยและตั้งแต่ถึงซึ่งค่าจะเปลี่ยนไปในวิธีที่คาดการณ์ได้ง่ายโดยเฉพาะเมื่อผ่านการแปลงเชิงเส้น โดยเฉพาะให้เป็นตัวแปรสุ่มที่มีค่าเวกเตอร์อีกตัวที่กำหนดโดย $v_{ij}$ $i$ $j$ $1$ $p$ $\mathbf{X}$ $\mathbf{Y}=(Y_1,Y_2,\ldots,Y_q)$

$Y_{i} = \sum_{j = 1}^{p} a_{i}^{j} X_{j} .$ $Y_i = \sum_{j=1}^p a_i^{\,j}X_j.$
ค่าคง (และเป็นindexes-ไม่ใช่พลัง) ก่อให้เกิดอาร์เรย์ $a_i^{\,j}$ $i$ $j$ $j$ $q\times p$ ,และQเส้นตรงของความคาดหมาย $\mathbb{A} = (a_i^{\,j})$ $j=1,\ldots, p$ $i=1,\ldots, q$

$var (Y)_{ผม J} = Σ a_{ผม}^{k} a_{J}^{ล.} var (X)_{k ล.} .$ $\operatorname{Var}(\mathbf Y)_{ij} = \sum a_i^{\,k}a_j^{\,l}\operatorname{Var}(\mathbf X)_{kl} .$
ในสัญกรณ์เมทริกซ์

$Var (Y) = A Var (X) A^{'} .$ $\operatorname{Var}(\mathbf Y) = \mathbb{A}\operatorname{Var}(\mathbf X) \mathbb{A}^\prime .$
ส่วนประกอบทั้งหมดของจริงแล้วเป็นความแปรปรวนแบบไม่แปรเปลี่ยนเนื่องจากโพลาไรซ์เอกลักษณ์ $\operatorname{Var}(\mathbf{X})$

$4 Cov (X_{i}, X_{j}) = Var (X_{i} + X_{j}) - Var (X_{i} - X_{j}) .$ $4\operatorname{Cov}(X_i,X_j) = \operatorname{Var}(X_i+X_j) - \operatorname{Var}(X_i-X_j).$
สิ่งนี้บอกเราว่าถ้าคุณเข้าใจความแปรปรวนของตัวแปรสุ่มที่ไม่แปรคุณจะเข้าใจความแปรปรวนร่วมของตัวแปรตัวแปรที่แปรผันกันแล้วพวกมันคือการรวมเชิงเส้นของความแปรปรวนเชิงเส้น

การแสดงออกในคำถามจะคล้ายคลึงอย่างสมบูรณ์แบบ: ตัวแปรได้รับมาตรฐานในขณะที่ )เราสามารถเข้าใจในสิ่งที่มันหมายถึงโดยพิจารณาสิ่งที่มันหมายถึงการใด ๆตัวแปรมาตรฐานหรือไม่ เราจะแทนที่แต่ละอันด้วยเวอร์ชันกึ่งกลางเช่นเดียวกับในและจัดรูปแบบปริมาณที่มีสามดัชนี $X_i$ $(1)$ $X_i$ $(2)$

μ_{3} (X)_{i j k} = E [X_{i}^{'} X_{j}^{'} X_{k}^{'}] .

$\mu_3(\mathbf{X})_{ijk} = E[X_i^\prime X_j^\prime X_k^\prime].$

เหล่านี้เป็นกลาง (หลายตัวแปร) ช่วงเวลาของการศึกษาระดับปริญญา $3$ 3เช่นเดียวกับในพวกเขาสร้างเมตริกซ์: เมื่อแล้ว $(4)$ $\mathbf{Y} = \mathbb{A}\mathbf{X}$

μ_{3} (Y)_{i j k} = \sum_{l, m, n} a_{i}^{l} a_{j}^{m} a_{k}^{n} μ_{3} (X)_{l m n} .

$\mu_3(\mathbf{Y})_{ijk} = \sum_{l,m,n} a_i^{\,l}a_j^{\,m}a_k^{\,n} \mu_3(\mathbf{X})_{lmn}.$

ดัชนีอยู่ในช่วงสามจำนวนนี้กว่ารวมกันทั้งหมดของจำนวนเต็มจากผ่านหน้า $1$ $p$

อะนาล็อกของโพลาไรเซชันเอกลักษณ์คือ

\begin{aligned} 24 μ_{3} (X)_{i j k} = \\ μ_{3} (X_{i} + X_{j} + X_{k}) - μ_{3} (X_{i} - X_{j} + X_{k}) - μ_{3} (X_{i} + X_{j} - X_{k}) + μ_{3} (X_{i} - X_{j} - X_{k}) . \end{aligned}

$\eqalign{&24\mu_3(\mathbf{X})_{ijk} = \\ &\mu_3(X_i+X_j+X_k) - \mu_3(X_i-X_j+X_k) - \mu_3(X_i+X_j-X_k) + \mu_3(X_i-X_j-X_k).}$

ทางด้านขวามือหมายถึงช่วงเวลาที่สาม (univariate) ตอนกลางที่สาม: ค่าที่คาดหวังของคิวบ์ของตัวแปรกึ่งกลาง เมื่อตัวแปรมีมาตรฐานในขณะนี้มักจะเรียกว่าเบ้ ดังนั้นเราอาจคิดว่าในฐานะที่เป็นเบ้หลายตัวแปรของXมันเป็นเมตริกซ์ของการจัดอันดับสาม (นั่นคือมีสามดัชนี) ที่มีค่าเป็นผลรวมเชิงเส้นของ skewnesses ของผลรวมที่หลากหลายและความแตกต่างของฉันถ้าเราต้องแสวงหาการตีความเราก็จะคิดว่าองค์ประกอบเหล่านี้เป็นตัววัดใน $\mu_3$ $\mu_3(\mathbf{X})$ $\mathbf{X}$ $X_i$ $p$ มิติใดก็ตามที่ความเบ้วัดในมิติเดียว ในหลายกรณี,

ช่วงเวลาแรกทำการวัดตำแหน่งของการแจกแจง
ช่วงเวลาที่สอง (เมทริกซ์ความแปรปรวนแปรปรวน) วัดของการแพร่กระจาย ;
ช่วงเวลามาตรฐานที่สอง (ความสัมพันธ์) บ่งชี้ว่าการแพร่กระจายแตกต่างกันในพื้นที่ -dimensional อย่างไร และ $p$
ช่วงเวลาที่สามและสี่ที่เป็นมาตรฐานจะถูกนำมาใช้เพื่อวัดรูปร่างของการแจกแจงที่สัมพันธ์กับการแพร่กระจาย

ในการอธิบายอย่างละเอียดเกี่ยวกับสิ่งที่รูปร่าง "หลายมิติ" อาจหมายถึงสังเกตว่าเราสามารถเข้าใจ PCA เป็นกลไกในการลดการกระจายหลายตัวแปรใด ๆ ให้เป็นรุ่นมาตรฐานซึ่งตั้งอยู่ที่จุดกำเนิดและกระจายอย่างเท่าเทียมกันในทุกทิศทาง หลังจากดำเนินการ PCA แล้วจะให้ตัวชี้วัดที่ง่ายที่สุดของรูปทรงหลายมิติของการแจกแจง แนวคิดเหล่านี้ใช้กับข้อมูลได้ดีพอ ๆ กับตัวแปรสุ่มเนื่องจากสามารถวิเคราะห์ข้อมูลในแง่ของการกระจายเชิงประจักษ์ได้เสมอ $\mu_3$

การอ้างอิง

Alan Stuart & J. Keith Ord, ทฤษฎีขั้นสูงทางสถิติของเคนดัลล์ ฉบับที่ห้า, เล่มที่ 1: ทฤษฎีการกระจาย ; บทที่ 3 ช่วงเวลาและ Cumulants สำนักพิมพ์มหาวิทยาลัยออกซ์ฟอร์ด (2530)

ภาคผนวก: หลักฐานการแสดงตนของโพลาไรเซชัน

ให้เป็นตัวแปรพีชคณิต มีวิธีในการเพิ่มและลบทั้งหมดของพวกเขา เมื่อเรายกแต่ละเหล่านี้จำนวนเงินและความแตกต่างให้กับอำนาจรับสัญญาณที่เหมาะสมสำหรับแต่ละผลลัพธ์เหล่านั้นและเพิ่มขึ้นเราจะได้รับหลายของ n $x_1,\ldots, x_n$ $2^n$ $n$ $n^\text{th}$ $x_1x_2\cdots x_n$

อีกอย่างเป็นทางการให้เป็นชุดของทั้งหมด -tuples ของเพื่อให้องค์ประกอบใด ๆเป็นเวกเตอร์ที่มี ค่าสัมประสิทธิ์มีทั้งหมด 1การเรียกร้องคือ $S=\{1,-1\}^n$ $n$ $\pm 1$ $s\in S$ $s=(s_1,s_2,\ldots,s_n)$ $\pm 1$

\begin{matrix} (1) & 2^{n} n! x_{1} x_{2} \dots x_{n} = \sum_{s \in S} s_{1} s_{2} \dots s_{n} (s_{1} x_{1} + s_{2} x_{2} + \dots + s_{n} x_{n})^{n} . \end{matrix}

$2^n n!\, x_1x_2\cdots x_n = \sum_{s\in S} \color{red}{s_1s_2\cdots s_n}(s_1x_1+s_2x_2+\cdots+s_nx_n)^n.\tag{1}$

อันที่จริงทฤษฎีบท Multinomial ระบุว่าสัมประสิทธิ์ของ monomial (ที่เป็นจำนวนเต็ม nonnegative รวมถึง ) ในการขยายตัวของคำใด ๆ ทางด้านขวามือคือ $x_1^{i_1}x_2^{i_2}\cdots x_n^{i_n}$ $i_j$ $n$

(\binom{n}{i_{1}, i_{2}, \dots, i_{n}}) s_{1}^{i_{1}} s_{2}^{i_{2}} \dots s_{n}^{i_{n}} .

$\binom{n}{i_1,i_2,\ldots,i_n}s_1^{i_1}s_2^{i_2}\cdots s_n^{i_n}.$

ในผลรวมค่าสัมประสิทธิ์ที่เกี่ยวข้องกับปรากฏในคู่ที่หนึ่งของแต่ละคู่จะเกี่ยวข้องกับกรณีที่มีค่าสัมประสิทธิ์สัดส่วนกับ ครั้งเท่ากับและอื่น ๆ ของ แต่ละคู่เกี่ยวข้องกับกรณีโดยมีค่าสัมประสิทธิ์เป็นสัดส่วนครั้งเท่ากับ $(1)$ $x_1^{i_1}$ $s_1=1$ $\color{red}{s_1}$ $s_1^{i_1}$ $1$ $s_1=-1$ $\color{red}{-1}$ $(-1)^{i_1}$ 1พวกเขายกเลิกเป็นผลรวมเมื่อใดก็ตามที่เป็นเลขคี่ อาร์กิวเมนต์เดียวกันนี้ใช้กับ . ดังนั้นmonomials เท่านั้นที่เกิดขึ้นกับค่าสัมประสิทธิ์ภัณฑ์จะต้องมีอำนาจคี่ของทุกฉัน monomial เพียงดังกล่าวเป็น nมันจะปรากฏขึ้นพร้อมค่าสัมประสิทธิ์ $(-1)^{i_1+1}$ $i_1+1$ $i_2, \ldots, i_n$ $x_i$ $x_1x_2\cdots x_n$ ในเงื่อนไขทั้งหมดของผลรวม ดังนั้นค่าสัมประสิทธิ์ของมันคือ,QED $\binom{n}{1,1,\ldots,1}=n!$ $2^n$ $2^nn!$

เราจำเป็นต้องใช้เพียงครึ่งเดียวของแต่ละคู่ที่เกี่ยวข้องกับ : นั่นคือเราสามารถ จำกัด ด้านขวามือของกับเงื่อนไขด้วยและลดสัมประสิทธิ์ทางซ้ายมือเป็น. นั่นให้โพลาไรเซชันเอกลักษณ์ทั้งสองที่ระบุอย่างแม่นยำในคำตอบนี้สำหรับเคสและ : และ $x_1$ $(1)$ $s_1=1$ $2^{n-1}n!$ $n=2$ $n=3$ $2^{2-1}2! = 4$ 24 $2^{3-1}3!=24$

แน่นอน Polarization เอกลักษณ์สำหรับตัวแปรพีชคณิตทันทีหมายถึงมันสำหรับตัวแปรสุ่มขอให้แต่ละจะเป็นตัวแปรสุ่มฉันคาดหวังจากทั้งสองฝ่าย ผลลัพธ์จะเป็นไปตามเส้นตรงของความคาดหวัง $x_i$ $X_i$

— whuber
แหล่งที่มา

ทำได้ดีมากในการอธิบายจนถึงตอนนี้! หลายตัวแปรความเบ้ทำให้รู้สึก คุณอาจเพิ่มตัวอย่างที่จะแสดงความสำคัญของความเบ้หลายตัวแปรนี้ได้หรือไม่? ไม่ว่าจะเป็นปัญหาในแบบจำลองทางสถิติหรืออาจจะน่าสนใจกว่านั้นกรณีชีวิตจริงอะไรที่จะต้องเกิดความเบ้หลายตัวแปร :)

— PascalVKooten

3

อืมม ถ้าเราวิ่ง ...

a <- rnorm(100);
b <- rnorm(100);
c <- rnorm(100)
mean((a-mean(a))*(b-mean(b))*(c-mean(c)))/
  (sd(a) * sd(b) * sd(c))

ดูเหมือนว่าจะอยู่ตรงกลางที่ 0 (ฉันยังไม่ได้ทำการจำลองจริง) แต่เป็น @ttnphns alludes เรียกใช้สิ่งนี้ (ตัวแปรทั้งหมดเหมือนกัน)

a <- rnorm(100)
mean((a-mean(a))*(a-mean(a))*(a-mean(a)))/
  (sd(a) * sd(a) * sd(a))

ดูเหมือนว่าจะเน้นที่ 0 ซึ่งทำให้ฉันสงสัยว่าการใช้สิ่งนี้อาจเป็นเช่นไร

— Peter Flom - Reinstate Monica
แหล่งที่มา

2

The nonsense apparently comes from the fact that sd or variance is a function of squaring, as is covariance. But with 3 variables, cubing occurs in the numerator while denominator remains based on originally squared terms

— ttnphns

2

Is that the root of it (pun intended)? Numerator and denominator have the same dimensions and units, which cancel, so that alone doesn't make the measure poorly formed.

— Nick Cox

3

@Nick That's right. This is simply one of the multivariate central third moments. It is one component of a rank-three tensor giving the full set of third moments (which is closely related to the order-3 component of the multivariate cumulant generating function). In conjunction with the other components it could be of some use in describing asymmetries (higher-dimensional "skewness") in the distribution. It's not what anyone would call a "correlation," though: almost by definition, a correlation is a second-order property of the standardized variable.

— whuber

1

หากคุณจำเป็นต้องคำนวณ "ความสัมพันธ์" ระหว่างสามหรือมากกว่าตัวแปรคุณไม่สามารถใช้เพียร์สันเช่นเดียวกับในกรณีนี้มันจะแตกต่างกันสำหรับการสั่งซื้อที่แตกต่างกันของตัวแปรได้ดูที่นี่ หากคุณน่าสนใจในการพึ่งพาแบบเส้นตรงหรือว่าติดตั้งกับเส้น 3 มิติได้ดีแค่ไหนคุณอาจใช้ PCA รับความแปรปรวนที่อธิบายสำหรับพีซีเครื่องแรกเปลี่ยนแปลงข้อมูลของคุณและค้นหาความน่าจะเป็นซึ่งค่านี้อาจเป็นเหตุผลแบบสุ่ม ฉันพูดถึงสิ่งที่คล้ายกันที่นี่ (ดูรายละเอียดทางเทคนิคด้านล่าง)

รหัส Matlab

% Simulate our experimental data
x=normrnd(0,1,100,1);
y=2*x.*normrnd(1,0.1,100,1);
z=(-3*x+1.5*y).*normrnd(1,2,100,1);
% perform pca
[loadings, scores,variance]=pca([x,y,z]);
% Observed Explained Variance for first principal component
OEV1=variance(1)/sum(variance)
% perform permutations
permOEV1=[];
for iPermutation=1:1000
    permX=datasample(x,numel(x),'replace',false);
    permY=datasample(y,numel(y),'replace',false);
    permZ=datasample(z,numel(z),'replace',false);
    [loadings, scores,variance]=pca([permX,permY,permZ]);
    permOEV1(end+1)=variance(1)/sum(variance);
end

% Calculate p-value
p_value=sum(permOEV1>=OEV1)/(numel(permOEV1)+1)

— zlon
แหล่งที่มา