ปรับภาพใหม่ให้เหมาะสมจากการคำนวณ SVD / PCA

ฉันพยายามที่จะทำซ้ำความคิดจากหน้า Eigenfaceในวิกิพีเดีย จากภาพตัวอย่างร้อยภาพที่แสดงโดยเมทริกซ์ข้อมูล (ซึ่งภาพแต่ละภาพแบนไปเป็นเวกเตอร์ที่มีความยาวดังนั้นคือ $\bf X$ $n$ $\bf X$ $100$ เมทริกซ์คูณ ) ฉันได้คำนวณการสลายตัวของ SVD: $n$

X = U Σ V^{T}

$\begin{equation} \bf X = U \Sigma V^{T} \end{equation}$

ด้วยเหตุนี้:

X X^{T} = U Σ^{2} U^{T}

$\begin{equation} \bf X X^{T} = U \Sigma^2 U^{T} \end{equation}$

โดยการย่อยของที่ใหญ่ที่สุด eigenmodes ฉันสามารถใกล้เคียงกับเมทริกซ์ (ขอ ): $q$ $\sigma_1 \ge \sigma_2 \ge \cdots$

X \approx σ_{1} u_{1} v_{1}^{T} + σ_{2} u_{2} v_{2}^{T} + \dots + σ_{q} u_{q} v_{q}^{T}

$\begin{equation} {\bf X} \approx \sigma_1 u_1 v_1^{T} + \sigma_2 u_2 v_2^{T} + \cdots + \sigma_q u_q v_q^{T} \end{equation}$

ตอนนี้ได้รับเวกเตอร์ใหม่ซึ่งหมายถึงภาพที่ไม่ได้อยู่ในฉันจะกำหนดน้ำหนักของ eigenvectors ที่จะเป็นตัวแทนของภาพใหม่ของฉัน ? การแสดงนี้มีลักษณะเฉพาะหรือไม่? $y$ $\bf X$ $q$ $\bf U$ $y$

ในระยะสั้นสิ่งที่ฉันต้องการจะทำคือ (จากหน้า wiki):

eigenfaces เหล่านี้สามารถใช้เพื่อแสดงทั้งที่มีอยู่และ ใบหน้าใบหน้าใหม่ได้ : เราสามารถฉายภาพ (ลบค่าเฉลี่ย) ใหม่บน eigenfaces และบันทึกว่าใบหน้าใหม่แตกต่างจากใบหน้าเฉลี่ยอย่างไร

ฉันจะฉายภาพนั้นได้อย่างไร

computer-vision linear-systems linear-algebra

— ติดยาเสพติด
แหล่งที่มา

ผู้อ่านในอนาคตอาจพบว่าการดำเนินการนี้มีค่า

— เอ็ม

"การฉาย" ที่จะเรียกว่าเป็นโปรเจคเวกเตอร์ ในการคำนวณโปรเจคชันของเวกเตอร์บนเวกเตอร์คุณใช้ผลิตภัณฑ์ภายในของเวกเตอร์สองตัว: $\mathbf{a}$ $\mathbf{b}$

a_{p r o j} = ⟨ a, b ⟩ b

$\mathbf{a_{proj}} = \langle \mathbf{a}, \mathbf{b} \rangle \mathbf{b}$

ในกรณีนี้เป็นองค์ประกอบเวกเตอร์ของว่าโกหกในทิศทางเดียวกันของขในพื้นที่แบบยุคลิดผู้ประกอบการผลิตภัณฑ์ด้านในถูกกำหนดให้เป็นผลิตภัณฑ์แบบจุด: $\mathbf{a_{proj}}$ $\mathbf{a}$ $\mathbf{b}$

⟨ a, b ⟩ = a \cdot b = \sum_{i = 1}^{n} a_{i} b_{i}

$\langle \mathbf{a}, \mathbf{b} \rangle = \mathbf{a} \cdot \mathbf{b} = \sum_{i=1}^{n}a_ib_i$

$n$ $\mathbf{a}$ $\mathbf{b}$ $a_i$ $b_i$ $i$ $\mathbf{a}$ $\mathbf{b}$ $\mathbf{a}$ $\mathbf{b}$ . Note that this is a signed quantity, so a negative value would mean that the angle between the two vectors is greater than 90 degrees, as illustrated by an alternative definition for the projection operator:

a_{p r o j} = | a | \cos (θ) b

$\mathbf{a_{proj}} = |\mathbf{a}| \cos(\theta) \mathbf{b}$

where $\theta$ is the angle between the two vectors.

So, given a vector $\mathbf{a}$ and a bunch of basis vectors $\mathbf{b_i}$ , one can find "how much of $\mathbf{a}$ " goes in each of the directions of each of the basis vectors. Typically, those basis vectors will all be mutually orthogonal. In your case, the SVD is an orthogonal decomposition, so this condition should be satisfied. So, to accomplish what you describe, you would take the matrix of eigenvectors $\mathbf{U}$ and calculate the inner product of the candidate vector $\mathbf{y}$ with each of the matrix's columns:

p_{i} = y \cdot u_{i}

$p_i = \mathbf{y} \cdot \mathbf{u_i}$

The scalar value $p_i$ that you get from each inner product represents how well the vector $\mathbf{y}$ "lined up" with the $i$ -th eigenvector. Since the eigenvectors are orthonormal, you could then reconstruct the original vector $\mathbf{y}$ as follows:

y = \sum_{i = 1}^{n} p_{i} u_{i}

$\mathbf{y} = \sum_{i=1}^n p_i \mathbf{u_i}$

You asked whether this representation is unique; I'm not sure exactly what you mean, but it is not unique in the sense that a given vector $\mathbf{y}$ could be decomposed by projection onto any number of orthonormal bases. The eigenvectors contained in the matrix $\mathbf{U}$ are one such example, but you could use any number of others. For instance, calculating the discrete Fourier transform of $\mathbf{y}$ can be viewed as projecting it onto an orthonormal basis of complex exponential vectors of varying frequency.

— Jason R
แหล่งที่มา

Great answer thanks! For "unique", I meant unique in the sense of the basis given by the SVD. I'm guessing that given an orthonormal basis, then the

y

$\bf y$ you compute must be unique - but if the basis is not orthonormal then it may not be (since if they weren't orthogonal, then we could find a smaller basis set)?

— Hooked

Still not sure what you're getting at.

y

$\mathbf{y}$ is the vector that you've distilled your new image down to, so it's only as unique as the original image and the process that you use to determine the corresponding vector. A vector space basis by definition consists of linearly-independent vectors, which forces the property of mutual orthogonality. You do note correctly that if you projected

y

$\mathbf{y}$ onto a set of nonorthogonal vectors, you could possibly come up with a more compact representation if the space spanned by the vectors had lesser underlying dimensionality (a smaller basis).

— Jason R