เมทริกซ์ความแปรปรวนร่วมตัวอย่างเป็นสมมาตรและแน่นอนแน่นอนเสมอใช่หรือไม่

33

เมื่อคำนวณเมทริกซ์ความแปรปรวนร่วมของตัวอย่างจะมีการรับประกันว่าจะได้เมทริกซ์สมมาตรและบวกแน่นอนหรือไม่

ปัจจุบันปัญหาของฉันมีตัวอย่างของเวกเตอร์สังเกต 4600 และ 24 มิติ

sampling covariance

สำหรับการสุ่มตัวอย่างเมทริกซ์ความแปรปรวนร่วมฉันใช้สูตร:

Q_{n} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}

$Q_n = \frac{1}{n} \sum\limits_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top$ โดยที่

n

$n$ คือจำนวนตัวอย่างและ

\bar{x}

$\bar{x}$ คือค่าเฉลี่ยตัวอย่าง

— มอร์เทน

4

โดยปกติจะเรียกว่า 'การคำนวณเมทริกซ์ความแปรปรวนร่วมตัวอย่าง' หรือ 'การประมาณเมทริกซ์ความแปรปรวนร่วม' แทน 'การสุ่มตัวอย่างเมทริกซ์ความแปรปรวนร่วม'

— Glen_b -Reinstate Monica

1

สถานการณ์ทั่วไปที่เมทริกซ์ความแปรปรวนร่วมไม่แน่นอนคือเมื่อ 24 "มิติ" บันทึกองค์ประกอบของส่วนผสมที่รวมเป็น 100%

— whuber

41

สำหรับตัวอย่างเวกเตอร์ $x_i=(x_{i1},\dots,x_{ik})^\top$ , กับ $i=1,\dots,n$ , ค่าเฉลี่ยเวกเตอร์ตัวอย่างคือ

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i},

$\bar{x}=\frac{1}{n} \sum_{i=1}^n x_i \, ,$ และเมทริกซ์ตัวอย่างแปรปรวนคือ

Q = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} .

$Q = \frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top \, .$ สำหรับเวกเตอร์ที่ไม่ใช่ศูนย์

y \in R^{k}

$y\in\mathbb{R}^k$ เรามี

Y^{⊤} Q Y = Y^{⊤} (\frac{1}{n} Σ_{ผม = 1}^{n} (x_{ผม} - \bar{x}) (x_{ผม} - \bar{x})^{⊤}) Y

$y^\top Qy = y^\top\left(\frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top\right) y$

= \frac{1}{n} Σ_{ผม = 1}^{n} Y^{⊤} (x_{ผม} - \bar{x}) (x_{ผม} - \bar{x})^{⊤} Y

$= \frac{1}{n} \sum_{i=1}^n y^\top (x_i-\bar{x})(x_i-\bar{x})^\top y$

= \frac{1}{n} Σ_{ผม = 1}^{n} {((x_{ผม} - \bar{x})^{⊤} Y)}^{2} \geq 0 . (* * * *)

$= \frac{1}{n} \sum_{i=1}^n \left( (x_i-\bar{x})^\top y \right)^2 \geq 0 \, . \quad (*)$ ดังนั้น

Q

$Q$ จึงเป็นบวกกึ่งแน่นอนเสมอเสมอ

เงื่อนไขเพิ่มเติมสำหรับ $Q$ จะเป็นบวกแน่นอนได้รับในข้อคิดเห็นของ whuber มันไปดังนี้

กำหนด $z_i=(x_i-\bar{x})$ สำหรับ $i=1,\dots,n$ nสำหรับค่าใด ๆ ที่ไม่ใช่ศูนย์ $y\in\mathbb{R}^k$ , $(*)$ เป็นศูนย์ถ้าและถ้า $z_i^\top y=0$ สำหรับแต่ละnสมมติว่าชุดมีช่วงเท่านั้น จากนั้นมีจำนวนจริงนั่น $i=1,\dots,n$ $\{z_1,\dots,z_n\}$ $\mathbb{R}^k$ $\alpha_1,\dots,\alpha_n$ $y=\alpha_1 z_1 +\dots+\alpha_n z_n$ . แต่เรามี $y^\top y=\alpha_1 z_1^\top y + \dots +\alpha_n z_n^\top y=0$ โดยให้ $y=0$ ซึ่งเป็นความขัดแย้ง ดังนั้นถ้า $z_i$ ขยาย $\mathbb{R}^k$ แล้ว $Q$ เป็นบวกแน่นอน เงื่อนไขนี้จะเทียบเท่ากับ $\mathrm{rank} [z_1 \dots z_n] = k$ k

— เซน
แหล่งที่มา

2

ฉันชอบวิธีการนี้ แต่จะแนะนำการดูแล:

ไม่จำเป็นต้องเป็นบวกแน่นอน เงื่อนไข (จำเป็นและเพียงพอ) เพื่อให้เป็นเช่นนั้นอธิบายไว้ในความคิดเห็นของฉันต่อคำตอบของ Konstantin

Q

$Q$

— whuber

1

ตั้งแต่อันดับ

น้อยกว่าหรือเท่ากับ

เงื่อนไขสามารถลดความซับซ้อนของอันดับได้เท่ากับ k

[z_{1}, z_{2}, \dots, z_{n}]

$[z_1, z_2, \cdots, z_n]$

k

$k$

— ข้อเสนอไม่สามารถปฏิเสธได้ใน

13

ถูกต้องเมทริกซ์ความแปรปรวนอยู่เสมอสมมาตรและบวก * กึ่ง * แน่นอน

แปรปรวนร่วมระหว่างสองตัวแปรคือการท้าทายเป็น ] $\sigma(x,y) = E [(x-E(x))(y-E(y))]$

สมการนี้จะไม่เปลี่ยนถ้าคุณสลับตำแหน่งของและy ที่ดังนั้นเมทริกซ์จะต้องสมมาตร $x$ $y$

มันจะต้องเป็นบวก * semi- * แน่นอนเพราะ:

คุณสามารถค้นหาการเปลี่ยนแปลงของตัวแปรของคุณได้ในแบบที่ความแปรปรวนร่วมเมทริกซ์เปลี่ยนเป็นเส้นทแยงมุม บนเส้นทแยงมุมคุณจะพบความแปรปรวนของตัวแปรที่แปลงแล้วซึ่งมีค่าเป็นศูนย์หรือบวกมันง่ายที่จะเห็นว่าสิ่งนี้ทำให้เมทริกซ์เชิงบวกที่เปลี่ยนรูปได้เป็นกึ่งบวก อย่างไรก็ตามเนื่องจากคำจำกัดความของความแน่นอนคือการเปลี่ยนแปลงไม่แปรเปลี่ยนดังนั้นจึงเป็นไปตามที่ความแปรปรวนร่วมเมทริกซ์นั้นเป็นค่ากึ่งบวกเชิงบวกในระบบพิกัดที่เลือก

เมื่อคุณประเมินเมทริกซ์ความแปรปรวนร่วมของคุณ (นั่นคือเมื่อคุณคำนวณความแปรปรวนร่วมตัวอย่างของคุณ) ด้วยสูตรที่คุณระบุไว้ข้างต้นมันจะ obv ยังคงสมมาตร นอกจากนี้ยังต้องเป็น semidefinite บวก (ฉันคิดว่า) เพราะสำหรับแต่ละตัวอย่างไฟล์ pdfที่ให้แต่ละจุดตัวอย่างน่าจะเท่ากันมีความแปรปรวนร่วมตัวอย่างเป็นความแปรปรวนร่วม (ใครก็ได้โปรดตรวจสอบเรื่องนี้) ดังนั้นทุกอย่างที่กล่าวไว้ข้างต้น

— คอนสแตนตินชูเบิร์ต
แหล่งที่มา

1

PS: ฉันเริ่มที่จะคิดว่านี่ไม่ใช่คำถามของคุณ ...

— Konstantin Schubert

แต่ถ้าคุณต้องการทราบว่าอัลกอริทึมการสุ่มตัวอย่างของคุณรับประกันหรือไม่คุณจะต้องระบุวิธีการสุ่มตัวอย่างของคุณ

— Konstantin Schubert

1

มอร์เทนสมมาตรนั้นเกิดจากสูตร ในการแสดงกึ่งชัดเจนคุณจะต้องสร้างที่

สำหรับเวกเตอร์ยู

แต่

คือ

ครั้งผลรวมของ

(ที่

ดังนั้น

เป็นผลรวมของ

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u

$u$

Q_{n}

$Q_n$

1 / n

$1/n$

v_{i} v_{i}^{'}

$v_iv_i'$

v_{i} = x_{i} - \bar{x})

$v_i=x_i-\bar{x})$

n u Q_{n} u^{'}

$n uQ_nu'$

=

ซึ่งเป็นกำลังสองความยาวของเวกเตอร์

ฉัน

เพราะ

และผลรวมของสี่เหลี่ยมไม่สามารถที่เคยเป็นลบ,

,QED นี่ก็แสดงให้เห็นว่า

แม่นยำสำหรับเวกเตอร์เหล่านั้น

ซึ่งมีมุมฉากกับ

(

u (v_{i} v_{i}^{'}) u^{'}

$u(v_iv_i')u'$

(u v_{i}) (u v_{i})^{'}

$(uv_i)(uv_i)'$

u v_{i}

$uv_i$

n > 0

$n\gt 0$

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u Q_{n} u^{'} = 0

$uQ_nu'=0$

u

$u$

v_{i}

$v_i$ เช่น,

สำหรับทุกคน

) เมื่อ

ขยายดังนั้น

และ

แน่นอน

u v_{i} = 0

$uv_i=0$

i

$i$

v_{i}

$v_i$

u = 0

$u=0$

Q_{n}

$Q_n$

— whuber

1

@ มอร์เทนการเปลี่ยนแปลงแปรปรวนค่อนข้างชัดเจนถ้าคุณเข้าใจการคูณเมทริกซ์ในเชิงเรขาคณิต คิดว่าเวกเตอร์ของคุณเป็นลูกศร ตัวเลขที่อธิบายการเปลี่ยนแปลงเวกเตอร์ของคุณด้วยระบบพิกัด แต่ทิศทางและความยาวของเวกเตอร์ของคุณไม่ได้ ทีนี้การคูณด้วยเมทริกซ์หมายความว่าคุณเปลี่ยนความยาวและทิศทางของลูกศรนั้น แต่ผลกระทบก็เหมือนกันในเรขาคณิตในระบบพิกัด เช่นเดียวกับผลิตภัณฑ์เซนต์คิตส์และเนวิส: มันถูกกำหนดทางเรขาคณิตและ Geometriy นั้นไม่แปรเปลี่ยน ดังนั้นสมการของคุณจึงมีผลเหมือนกันในทุกระบบ

— Konstantin Schubert

1

@Morten เมื่อคุณคิดในพิกัดอาร์กิวเมนต์จะเป็นดังนี้: เมื่อ

คือเมทริกซ์การแปลงของคุณดังนั้น:

กับ

เป็นพิกัดแปลงเวกเตอร์,

ดังนั้นเมื่อคุณเปลี่ยนแต่ละ องค์ประกอบในสมการ

คุณจะได้

A

$A$

v^{'} = A v

$v'=Av$

v^{'}

$v'$

M^{'} = A M A^{T}

$M'=AMA^T$

v^{T} M v > 0

$v^T M v > 0$

ซึ่งเท่ากับ

v^{' T} M^{'} v^{'} = (A v)^{T} A M A^{T} A v > 0

$v'^T M' v' = (Av)^T A M A^T A v > 0$

และเนื่องจาก A คือ orthogonal,

เป็นเมทริกซ์หน่วยและเราได้รับ

อีกครั้งซึ่งหมายความว่าการแปลงและสมการที่ไม่แปรเปลี่ยนมีผลสเกลาเดียวกันดังนั้น พวกเขามีทั้งหรือทั้งสองไม่เป็นศูนย์มากขึ้น

v^{T} A^{T} A M A^{T} A v > 0

$v^T A^T A M A^T A v > 0$

A^{T} A

$A^T A$

v^{T} M v > 0

$v^T M v > 0$

— คอนสแตนตินชูเบิร์ต

0

เมทริกซ์ความแปรปรวน - โควาริอิ้งนั้นมีความสมมาตรอยู่เสมอเนื่องจากสามารถพิสูจน์ได้จากสมการที่เกิดขึ้นจริงเพื่อคำนวณแต่ละเทอมของเมทริกซ์ดังกล่าว

นอกจากนี้เมทริกซ์ Variance-Covariance ยังเป็นเมทริกซ์จตุรัสขนาด n เสมอโดยที่ n คือจำนวนตัวแปรในการทดสอบของคุณ

Eigenvectors ของเมทริกซ์สมมาตรเป็นมุมฉากเสมอ

ด้วย PCA คุณจะกำหนดค่าลักษณะเฉพาะของเมทริกซ์เพื่อดูว่าคุณสามารถลดจำนวนตัวแปรที่ใช้ในการทดสอบของคุณหรือไม่

— GEN
แหล่งที่มา

1

ยินดีต้อนรับพล. โปรดทราบว่าชื่อผู้ใช้ตัวบ่งชี้ & ลิงก์ไปยังหน้าผู้ใช้ของคุณจะถูกเพิ่มในทุกโพสต์ที่คุณทำโดยอัตโนมัติดังนั้นไม่จำเป็นต้องลงชื่อโพสต์ของคุณ

— Antoine Vernet

3

คำตอบนี้สามารถปรับปรุงได้โดยการแก้ไขปัญหาของความชัดเจนเชิงบวก

— Silverfish

สิ่งนี้ไม่ได้ตอบคำถามจริงๆ: มันเป็นเพียงชุดของการยืนยันที่ไม่ได้รับการสนับสนุนที่อาจจะเกี่ยวข้องหรือไม่เกี่ยวข้อง คุณสามารถใส่กรอบใหม่ในลักษณะที่แสดงให้เห็นว่าคำถามนั้นตอบแล้วอธิบายเหตุผลได้อย่างไร

— whuber

0

ฉันจะเพิ่มอาร์กิวเมนต์ที่ดีของ Zen ต่อไปนี้ซึ่งอธิบายว่าทำไมเรามักจะพูดว่าเมทริกซ์ความแปรปรวนร่วมเป็นบวกแน่นอนถ้า $n-1\geq k$ k

ถ้าเป็นตัวอย่างที่สุ่มจากการกระจายความน่าจะเป็นอย่างต่อเนื่องแล้วเกือบจะแน่นอน (ในแง่ของทฤษฎีความน่าจะเป็น) เป็นเส้นตรง ตอนนี้ไม่ได้เป็นเชิงเส้นอย่างอิสระเนื่องจาก $x_1,x_2,...,x_n$ $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ $\sum_{i=1}^n z_i = 0$ แต่เป็นเพราะการเป็นอิสระเชิงเส้น, เป็นช่วง 1ถ้า , พวกมันจะขยายด้วย $x_1,x_2,...,x_n$ $z_1,z_2,...,z_n$ $\mathbb{R}^{n-1}$ $n-1\geq k$ $\mathbb{R}^k$

สรุปถ้าเป็นตัวอย่างแบบสุ่มของการแจกแจงความน่าจะเป็นแบบต่อเนื่องและ , เมทริกซ์ความแปรปรวนร่วมเป็นบวกแน่นอน $x_1,x_2,...,x_n$ $n-1\geq k$

— giominas
แหล่งที่มา

0

สำหรับผู้ที่มีพื้นหลังที่ไม่ใช่ทางคณิตศาสตร์อย่างฉันที่ไม่ได้จับสูตรทางคณิตศาสตร์อย่างรวดเร็วนี่เป็นตัวอย่างที่ได้จาก excel สำหรับคำตอบที่ได้รับการโหวตมากที่สุด เมทริกซ์ความแปรปรวนร่วมสามารถได้มาในรูปแบบอื่นเช่นกัน

— Parikshit Bhinde
แหล่งที่มา

คุณช่วยอธิบายว่าสเปรดชีตนี้แสดงให้เห็นถึงความแน่นอนเชิงบวกของเมทริกซ์ความแปรปรวนร่วมได้อย่างไร

— whuber

มันไม่ใช่. ฉันมีช่วงเวลาที่ยากลำบากในการมองเห็นเมทริกซ์ความแปรปรวนร่วมในรูปแบบโน้ตของมันเอง ดังนั้นฉันจึงสร้างแผ่นงานนี้ขึ้นมาสำหรับตัวเองและคิดว่ามันจะช่วยคนได้

— Parikshit Bhinde

โปรดแก้ไขเพื่อรวมคำตอบสำหรับคำถาม

— whuber

เสร็จแล้ว :) ขอบคุณที่แนะนำ

— Parikshit Bhinde

คำถามคือ "เป็นหนึ่งในนั้นรับประกันว่าจะได้รับเมทริกซ์สมมาตรและบวกแน่นอน?" ฉันไม่สามารถรับรู้องค์ประกอบใด ๆ ของโพสต์ของคุณที่กล่าวถึงเรื่องนี้เพราะ (1) ไม่เคยระบุเมทริกซ์ความแปรปรวนร่วมได้ (2) มันไม่ได้แสดงให้เห็นถึงความแตกต่างในเชิงบวกของอะไร

— whuber