ส่วนประกอบ PCA ของข้อมูลแบบหลายตัวแปร Gaussian เป็นอิสระทางสถิติหรือไม่?

ส่วนประกอบ PCA (ในการวิเคราะห์องค์ประกอบหลัก) มีความเป็นอิสระทางสถิติหรือไม่หากข้อมูลของเรามีการกระจายหลายตัวแปรตามปกติ ถ้าเป็นเช่นนั้นสิ่งนี้สามารถแสดง / พิสูจน์ได้อย่างไร?

ฉันถามเพราะฉันเห็นโพสต์นี้ซึ่งคำตอบยอดนิยมระบุไว้:

PCA ไม่ได้ทำการตั้งสมมติฐาน Gaussianity ที่ชัดเจน พบว่าค่าไอเกนที่ผู้ใช้อธิบายความแปรปรวนสูงสุดในข้อมูล orthogonality ขององค์ประกอบหลักหมายความว่าจะพบส่วนประกอบที่ไม่เกี่ยวข้องมากที่สุดเพื่ออธิบายความแปรปรวนของข้อมูลให้มากที่สุด สำหรับการแจกแจงแบบเกาส์หลายตัวแปรความสัมพันธ์แบบไม่มีศูนย์ระหว่างส่วนประกอบหมายถึงความเป็นอิสระซึ่งไม่เป็นความจริงสำหรับการแจกแจงส่วนใหญ่

คำตอบจะถูกระบุโดยไม่มีการพิสูจน์และดูเหมือนจะบอกเป็นนัยว่า PCA ผลิตชิ้นส่วนที่เป็นอิสระหากข้อมูลเป็นตัวแปรปกติ

โดยเฉพาะกล่าวว่าข้อมูลของเราเป็นตัวอย่างจาก:

x \sim N (μ, Σ)

$\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma})$

เราใส่ $n$ ตัวอย่าง $\mathbf{x}$ เป็นแถวของเมทริกซ์ของตัวอย่างของเรา $\mathbf{X}$ เพื่อให้ $\mathbf{X}$ เป็น $n \times m$ เมตรการคำนวณ SVD ของ $\mathbf{X}$ (หลังจากศูนย์กลาง) ให้ผลตอบแทน

X = {U S V}^{T}

$\mathbf{X} = \mathbf{USV}^{T}$

เราบอกได้ไหมว่าคอลัมน์ของ $\mathbf{U}$ นั้นมีความเป็นอิสระทางสถิติแล้วก็แถวของ $\mathbf{V}^T$ โดยทั่วไปแล้วนี่เป็นเพียงแค่สำหรับ $\mathbf{x} \sim \mathcal N(\mathbf{\mu}, \mathbf{\Sigma})$ หรือไม่เป็นความจริงเลย?

pca independence svd

— bill_e
แหล่งที่มา

stats.stackexchange.com/q/110508/3277เป็นคำถามที่คล้ายกัน

— ttnphns

ฉันไม่เห็นว่าพีซีอาจถูกพิจารณาว่าเป็น "อิสระทางสถิติ" ได้มากกว่าหนึ่งมิติ ท้ายที่สุดโดยคำจำกัดความแต่ละคนมีมุมฉากกับคนอื่น ๆ ; การพึ่งพาฟังก์ชั่นนี้สร้างการพึ่งพาทางสถิติที่แข็งแกร่งมาก

— whuber

@amoeba ฉันหวังว่าฉันได้รับอย่างสม่ำเสมอที่ชัดเจนเช่นเดียวกับการซื่อสัตย์กับคำถามที่ฉันพบจะได้รับการระบุไว้อย่างชัดเจนและโปร่งใส: เนื่องจากข้อมูล

จะสุ่มเพื่อให้มีรายการทั้งหมดในU

ฉันใช้คำจำกัดความความเป็นอิสระทางสถิติกับพวกเขาแล้ว นั่นคือทั้งหมดที่ ปัญหาของคุณดูเหมือนจะเป็นไปได้ว่าคุณกำลังใช้คำว่า "ไม่มีความ" ในสองความรู้สึกที่แตกต่างกันมากโดยไม่ต้องดูเหมือนจะทราบว่ามัน: โดยอาศัยอำนาจตามวิธีคอลัมน์ของ

จะสร้างพวกเขามีทางเรขาคณิตมุมฉากเป็นพาหะในแต่พวกเขาอยู่ด้วยกันไม่ หมายถึงเวกเตอร์สุ่มอิสระ!

X

$X$

U

$U$

U

$U$ $\mathbb{R}^n$

— whuber

@ amoeba คุณพูดถูก - การจำลองค่อนข้างน่าเชื่อถือแสดงให้เห็นถึงความสัมพันธ์ที่อาจเป็น (อย่างยิ่ง) ไม่ใช่ศูนย์ อย่างไรก็ตามฉันไม่ได้โต้แย้งว่า "องค์ประกอบ PCA ไม่มีการเชื่อมโยง" ในแง่ของ "สหสัมพันธ์" = "มุมฉาก" และฉันไม่ได้บอกว่าตำราเรียนใดไม่ถูกต้อง ข้อกังวลของฉันคือคำแถลงที่เข้าใจอย่างเหมาะสมนั้นไม่เกี่ยวข้องกับคำถามที่สิ่งที่มันสามารถทำได้ (และทำไปแล้ว) คือความสับสนอย่างกว้างขวางในบริบทปัจจุบัน

— whuber

@ โฮเบอร์ฉันแน่ใจว่าคุณรอคอยคำตอบของฉันอีกฉบับ! นี่ไง ฉันรับทราบจุดของคุณอย่างชัดเจนเกี่ยวกับการพึ่งพาและทำให้คำสั่งที่คอลัมน์ของ

มีความอิสระเชิงเส้นเป็นจุดหลักของฉัน ที่นี่ "asymptotically" หมายถึงจำนวน

ของการสังเกต (แถว) ฉันหวังเป็นอย่างยิ่งว่าเราจะสามารถเห็นด้วยกับเรื่องนี้! ฉันยังยืนยันว่าสำหรับ

เหมาะสมเช่น

การพึ่งพาระหว่างคอลัมน์คือ "ไม่เกี่ยวข้องกับกลุ่ม" ฉันเดาว่านี่เป็นประเด็นที่ถกเถียงกันมากขึ้น แต่ฉันพยายามทำให้มันแม่นยำในคำตอบของฉัน

U

$U$

n

$n$

n

$n$

n = 100

$n=100$

— อะมีบาพูดว่า Reinstate Monica

ฉันจะเริ่มต้นด้วยการสาธิตที่ใช้งานง่าย

ฉันสร้างการสังเกต (a) จากการแจกแจงแบบ 2 มิติที่ไม่ใช่แบบเกาส์อย่างรุนแรงและ (b) จากการแจกแจงแบบเกาส์ 2D ในทั้งสองกรณีผมเป็นศูนย์กลางข้อมูลและดำเนินการค่าการสลายตัวเอกพจน์ ⊤จากนั้นในแต่ละกรณีฉันทำโครงเรื่องของคอลัมน์สองคอลัมน์แรกของต่ออีกคอลัมน์หนึ่ง โปรดทราบว่าโดยปกติจะเป็นคอลัมน์ของที่เรียกว่า "ส่วนประกอบหลัก" (พีซี) คอลัมน์ของคือขนาดพีซีที่มีหน่วยเป็นบรรทัดฐาน ยังคงอยู่ในคำตอบนี้ฉันกำลังมุ่งเน้นไปที่คอลัมน์ของUนี่คือแผนการกระจาย: $n=100$ $\mathbf X=\mathbf{USV}^\top$ $\mathbf U$ $\mathbf{US}$ $\mathbf U$ $\mathbf U$

PCA of Gaussian and non-Gaussian data

ฉันคิดว่าข้อความเช่น "ส่วนประกอบ PCA ไม่มีการเชื่อมโยง" หรือ "ส่วนประกอบ PCA ขึ้นอยู่กับ / เป็นอิสระ" มักจะทำตัวอย่างเมทริกซ์หนึ่งตัวอย่างและอ้างอิงถึงสหสัมพันธ์ / การพึ่งพาข้ามแถว (ดูคำตอบของ @ ttnphns ที่นี่ ) PCA ให้ผลเมทริกซ์ข้อมูลที่ถูกแปลงซึ่งแถวคือการสังเกตและคอลัมน์เป็นตัวแปร PC คือเราเห็นเป็นตัวอย่างและถามว่าอะไรคือความสัมพันธ์ตัวอย่างระหว่างตัวแปร PC เมทริกซ์สหสัมพันธ์ตัวอย่างนี้เป็นของหลักสูตรโดย $\mathbf X$ $\mathbf U$ $\mathbf U$ $\mathbf U^\top \mathbf U=\mathbf I$ หมายถึงความสัมพันธ์ตัวอย่างระหว่างตัวแปร PC เป็นศูนย์ นี่คือสิ่งที่ผู้คนหมายถึงเมื่อพวกเขาพูดว่า "PCA diagonalizes เมทริกซ์ความแปรปรวนร่วม" เป็นต้น

สรุป 1: ในพิกัด PCA ข้อมูลใด ๆ ที่มีความสัมพันธ์เป็นศูนย์

นี่เป็นเรื่องจริงสำหรับทั้งสองแผนการกระจายด้านบน อย่างไรก็ตามเป็นที่ชัดเจนทันทีว่าตัวแปร PC สองตัวและที่ scatterplot ทางซ้าย (ไม่ใช่แบบเกาส์) นั้นไม่เป็นอิสระ แม้จะมีศูนย์ความสัมพันธ์ที่พวกเขาจะขึ้นอยู่และในความเป็นจริงที่เกี่ยวข้องโดย 2และแน่นอนมันเป็นที่รู้จักกันดีว่าไม่มีความเป็นอิสระไม่ได้หมายความว่า $x$ $y$ $y\approx a(x-b)^2$

ในทางตรงกันข้ามตัวแปร PC สองตัวและ $x$ $y$ ทางด้านขวา (Gaussian) scatterplot ดูเหมือนจะเป็น "ค่อนข้างอิสระ" การคำนวณข้อมูลร่วมกันระหว่างพวกเขา (ซึ่งเป็นตัวชี้วัดของการพึ่งพาทางสถิติ: ตัวแปรอิสระมีข้อมูลร่วมกันเป็นศูนย์) โดยอัลกอริทึมมาตรฐานใด ๆ ที่จะให้ค่าใกล้เคียงกับศูนย์ มันจะไม่เป็นศูนย์อย่างแน่นอนเพราะมันจะไม่เป็นศูนย์สำหรับขนาดตัวอย่าง จำกัด ใด ๆ (เว้นแต่จะมีการปรับจูน) นอกจากนี้ยังมีวิธีการต่าง ๆ ในการคำนวณข้อมูลร่วมกันของสองตัวอย่างให้คำตอบที่แตกต่างกันเล็กน้อย แต่เราสามารถคาดหวังได้ว่าวิธีการใด ๆ จะให้ข้อมูลประมาณการร่วมกันที่ใกล้เคียงกับศูนย์มาก

สรุป 2: ในพิกัด PCA ข้อมูล Gaussian นั้น "ค่อนข้างอิสระ" ซึ่งหมายความว่าการประเมินมาตรฐานการพึ่งพาจะอยู่ที่ประมาณศูนย์

อย่างไรก็ตามคำถามนั้นค่อนข้างยุ่งยากกว่าดังที่แสดงโดยสายความคิดเห็นที่ยาว แน่นอน @whuber ชี้ให้เห็นอย่างถูกต้องว่าตัวแปร PCA และ (คอลัมน์ของ ) จะต้องขึ้นอยู่กับสถิติ: คอลัมน์จะต้องมีความยาวของหน่วยและจะต้องเป็นมุมฉากและสิ่งนี้จะแนะนำการพึ่งพา เช่นถ้าค่าบางอย่างในคอลัมน์แรกมีค่าเท่ากับแล้วค่าที่สอดคล้องกันในคอลัมน์ที่สองจะต้องเป็น0 $x$ $y$ $\mathbf U$ $1$ $0$

สิ่งนี้เป็นจริง แต่มีความเกี่ยวข้องในทางปฏิบัติสำหรับขนาดเล็กมากเช่น (โดยที่หลังจากที่อยู่ตรงกลางจะมีเพียงพีซีเดียว) สำหรับขนาดตัวอย่างที่เหมาะสมเช่นแสดงในรูปของฉันด้านบนผลของการพึ่งพาจะเล็กน้อย คอลัมน์ของคือการประมาณขนาดของข้อมูล Gaussian ดังนั้นจึงเป็น Gaussian ซึ่งทำให้เป็นไปไม่ได้เลยที่ค่าหนึ่งจะใกล้เคียงกับ (สิ่งนี้จะต้องใช้องค์ประกอบอื่น ๆ ที่ใกล้เคียงซึ่งแทบจะไม่ การกระจายแบบเกาส์) $n$ $n=3$ $n=2$ $n=100$ $\mathbf U$ $1$ $n-1$ $0$

Conclusion 3: strictly speaking, for any finite $n$ , Gaussian data in PCA coordinates are dependent; however, this dependency is practically irrelevant for any $n\gg 1$ .

We can make this precise by considering what happens in the limit of $n \to \infty$ . In the limit of infinite sample size, the sample covariance matrix is equal to the population covariance matrix $\mathbf \Sigma$ . So if the data vector $X$ is sampled from $\vec X \sim \mathcal N(0,\boldsymbol \Sigma)$ , then the PC variables are $\vec Y = \Lambda^{-1/2}V^\top \vec X/(n-1)$ (where $\Lambda$ and $V$ are eigenvalues and eigenvectors of $\boldsymbol \Sigma$ ) and $\vec Y \sim \mathcal N(0, \mathbf I/(n-1))$ . I.e. PC variables come from a multivariate Gaussian with diagonal covariance. But any multivariate Gaussian with diagonal covariance matrix decomposes into a product of univariate Gaussians, and this is the definition of statistical independence:

\begin{aligned} N (0, d i a g (σ_{i}^{2})) & = \frac{1}{(2 π)^{k / 2} det (d i a g (σ_{i}^{2}))^{1 / 2}} \exp [- x^{⊤} d i a g (σ_{i}^{2}) x / 2] \\ = \frac{1}{(2 π)^{k / 2} (\prod_{i = 1}^{k} σ_{i}^{2})^{1 / 2}} \exp [- \sum_{i = 1}^{k} σ_{i}^{2} x_{i}^{2} / 2] \\ = \prod \frac{1}{(2 π)^{1 / 2} σ_{i}} \exp [- σ_{i}^{2} x_{i}^{2} / 2] \\ = \prod N (0, σ_{i}^{2}) . \end{aligned}

$\begin{align} \mathcal N(\mathbf 0,\mathrm{diag}(\sigma^2_i)) &= \frac{1}{(2\pi)^{k/2} \det(\mathrm{diag}(\sigma^2_i))^{1/2}} \exp\left[-\mathbf x^\top \mathrm{diag}(\sigma^2_i) \mathbf x/2\right]\\&=\frac{1}{(2\pi)^{k/2} (\prod_{i=1}^k \sigma_i^2)^{1/2}} \exp\left[-\sum_{i=1}^k \sigma^2_i x_i^2/2\right] \\&=\prod\frac{1}{(2\pi)^{1/2}\sigma_i} \exp\left[-\sigma_i^2 x^2_i/2\right] \\&= \prod \mathcal N(0,\sigma^2_i). \end{align}$

Conclusion 4: asymptotically ( $n \to \infty$ ) PC variables of Gaussian data are statistically independent as random variables, and sample mutual information will give the population value zero.

I should note that it is possible to understand this question differently (see comments by @whuber): to consider the whole matrix $\mathbf U$ a random variable (obtained from the random matrix $\mathbf X$ via a specific operation) and ask if any two specific elements $U_{ij}$ and $U_{kl}$ from two different columns are statistically independent across different draws of $\mathbf X$ . We explored this question in this later thread.

Here are all four interim conclusions from above:

In PCA coordinates, any data have zero correlation.
In PCA coordinates, Gaussian data are "pretty much independent", meaning that standard estimates of dependency will be around zero.
Strictly speaking, for any finite $n$ , Gaussian data in PCA coordinates are dependent; however, this dependency is practically irrelevant for any $n\gg 1$ .
Asymptotically ( $n \to \infty$ ) PC variables of Gaussian data are statistically independent as random variables, and sample mutual information will give the population value zero.

— amoeba says Reinstate Monica
แหล่งที่มา

You write "However, if the data are multivariate Gaussian, then they are indeed independent". 'They' being the principal components, and their coefficients? What do you mean by PCA diagonalizes the covariance matrix? Thank you for your response!

— bill_e

"They" refers to principal components (which are projections of the data on the directions of maximal variance). PCA looks for directions of maximal variance; turns out that these directions are given by the eigenvectors of the covariance matrix. If you change the coordinates to the "PCA coordinates", then the covariance matrix will be diagonal, that is how eigendecomposition works. Equivalently, matrix

S

$S$ in the SVD from your question is a diagonal matrix. Also, matrix

U

$U$ is orthogonal, meaning that its covariance matrix is diagonal. All of that means that PCs have correlation zero.

— amoeba says Reinstate Monica

Cool, thank you! The combination of your answer and this comment helps clear things up for me a lot. Can I edit your comment into your answer?

— bill_e

I expanded the answer by incorporating the comment; see if you are happy with it now.

— amoeba says Reinstate Monica

Interesting discussion! When I asked the question, my thought of statistical dependence was "if you know PC1, is it possible infer PC2?, etc." I will look more into independence tests based on mutual information now.

— bill_e