บรรทัดฐานใดของข้อผิดพลาดในการสร้างใหม่จะถูกย่อให้เล็กสุดโดยเมทริกซ์การประมาณอันดับต่ำที่ได้จาก PCA

ได้รับ PCA (หรือ SVD) ประมาณของเมทริกซ์ $X$ กับเมทริกซ์เรารู้ว่าที่ดีที่สุดคือประมาณต่ำยศX $\hat X$ $\hat X$ $X$

นี่คือตามที่เหนี่ยวนำให้เกิด $\parallel \cdot \parallel_2$ บรรทัดฐาน (เช่นที่ใหญ่ที่สุดบรรทัดฐาน eigenvalue) หรือตามที่ Frobenius $\parallel \cdot \parallel_F$ บรรทัดฐาน?

pca svd matrix-decomposition

— Donbeo
แหล่งที่มา

คำตอบเดียว: ทั้งสอง

$X$ $2$

‖ X ‖_{2} = s u p \frac{‖ X v ‖_{2}}{‖ v ‖_{2}} = m a x (s_{i})

$\|X\|_2 = \mathrm{sup}\frac{\|Xv\|_2}{\|v\|_2} = \mathrm{max}(s_i)$

‖ X ‖_{F} = \sqrt{\sum_{i j} X_{i j}^{2}} = t r (X^{⊤} X) = \sqrt{\sum s_{i}^{2}},

$\|X\|_F = \sqrt {\sum_{ij} X_{ij}^2} = \mathrm{tr}(X^\top X) = \sqrt{\sum s_i^2},$

s_{i}

$s_i$

X

$X$

S

$S$

X = U S V^{⊤}

$X = USV^\top$

PCA จะได้รับจากการสลายตัวของค่าเอกฐานเดียวกันเมื่อข้อมูลอยู่กึ่งกลาง เป็นส่วนประกอบหลักเป็นแกนหลักเช่น eigenvectors ของเมทริกซ์ความแปรปรวนและการฟื้นฟูของมีเพียงองค์ประกอบหลักที่สอดคล้องกับค่าเอกพจน์ที่ใหญ่ที่สุดจะได้รับโดยV_k $US$ $V$ $X$ $k$ $k$ $X_k = U_k S_k V_k^\top$

Eckart หนุ่มทฤษฎีบทบอกว่าเป็นเมทริกซ์ที่ลดบรรทัดฐานของข้อผิดพลาดการฟื้นฟูในทุกเมทริกซ์ยศkสิ่งนี้เป็นจริงสำหรับทั้ง Frobenius norm และ operator -norm ตามที่ระบุไว้โดย @ cardinal ในความคิดเห็นมันได้รับการพิสูจน์ครั้งแรกโดย Schmidt (จากชื่อเสียง Gram-Schmidt) ในปี 1907 สำหรับคดี Frobenius ต่อมาถูกค้นพบโดย Eckart และ Young ในปี 1936 และตอนนี้ส่วนใหญ่เกี่ยวข้องกับชื่อของพวกเขา มีร์คทั่วไปทฤษฎีบทในปี 1958 กับบรรทัดฐานทั้งหมดที่ไม่เปลี่ยนแปลงภายใต้การเปลี่ยนแปลงแบบรวมและรวมถึงผู้ประกอบการ 2-norm $X_k$ $\|X-A\|$ $A$ $k$ $2$

ทฤษฎีบทนี้บางครั้งเรียกว่าทฤษฎีบท Eckart-Young-Mirsky Stewart (1993) เรียกมันว่าทฤษฎีบทการประมาณชมิดท์ ฉันเคยเห็นมันเรียกว่าทฤษฎีบทชมิดท์ - อีคาร์ท - ยัง - เมียร์สกี้

พิสูจน์สำหรับผู้ปฏิบัติงาน -noorm $2$

Let จะเต็มอันดับnในฐานะที่เป็นเป็นอันดับพื้นที่ null ที่มีมิติ พื้นที่ทอดโดยเวกเตอร์เอกพจน์ขวาของที่สอดคล้องกับค่าเอกพจน์ที่ใหญ่ที่สุดมีมิติ ดังนั้นช่องว่างทั้งสองนี้จะต้องตัดกัน ให้เป็นหน่วยเวกเตอร์จากจุดตัด จากนั้นเราก็จะได้รับ: $X$ $n$ $A$ $k$ $n-k$ $k+1$ $X$ $k+1$ $w$ QED

‖ X - A ‖_{2}^{2} \geq ‖ (X - A) w ‖_{2}^{2} = ‖ X w ‖_{2}^{2} = \sum_{i = 1}^{k + 1} s_{i}^{2} (v_{i}^{⊤} w)^{2} \geq s_{k + 1}^{2} = ‖ X - X_{k} ‖_{2}^{2},

$\|X-A\|^2_2 \ge \|(X-A)w\|^2_2 = \|Xw\|^2_2 = \sum_{i=1}^{k+1}s_i^2(v_i^\top w)^2 \ge s_{k+1}^2 = \|X-X_k\|_2^2,$

พิสูจน์สำหรับบรรทัดฐาน Frobenius

เราต้องการที่จะหาเมทริกซ์ยศที่ช่วยลด Fเราสามารถแยกโดยที่มีคอลัมน์ orthonormal ลดสำหรับการแก้ไขเป็นปัญหากับการแก้ปัญหาการถดถอย Wเสียบเข้าไปเราจะเห็นว่าตอนนี้เราต้องลด $A$ $k$ $\|X-A\|^2_F$ $A=BW^\top$ $W$ $k$ $\|X-BW^\top\|^2$ $W$ $B=XW$ ที่เป็นเมทริกซ์ความแปรปรวนของคือ )ซึ่งหมายความว่าข้อผิดพลาดการฟื้นฟูจะลดลงโดยการเป็นคอลัมน์ของบาง orthonormal เวกเตอร์เพิ่มความแปรปรวนรวมของการฉาย

‖ X - X W W^{⊤} ‖^{2} = ‖ X ‖^{2} - ‖ X W W^{⊤} ‖^{2} = c o n s t - t r (W W^{⊤} X^{⊤} X W W^{⊤}) = c o n s t - c o n s t \cdot t r (W^{⊤} Σ W),

$\|X-XWW^\top\|^2=\|X\|^2-\|XWW^\top\|^2=\mathrm{const}-\mathrm{tr}(WW^\top X^\top XWW^\top)\\=\mathrm{const}-\mathrm{const}\cdot\mathrm{tr}(W^\top\Sigma W),$

Σ

$\Sigma$

X

$X$

Σ = X^{⊤} X / (n - 1)

$\Sigma=X^\top X/(n-1)$

W

$W$

k

$k$

เป็นที่ทราบกันดีว่าสิ่งเหล่านี้เป็น eigenvector แรกของเมทริกซ์ความแปรปรวนร่วม แน่นอนถ้าแล้ว ⊤เขียนซึ่งยังมีคอลัมน์ orthonormal เราได้รับ $k$ $X=USV^\top$ $\Sigma=VS^2V^\top/(n-1)=V\Lambda V^\top$ $R=V^\top W$ สูงสุดทำได้เมื่อ kทฤษฎีบทจะตามมาทันที

t r (W^{⊤} Σ W) = t r (R^{⊤} Λ R) = \sum_{i} λ_{i} \sum_{j} R_{i j}^{2} \leq \sum_{i = 1}^{k} λ_{k},

$\mathrm{tr}(W^\top\Sigma W)=\mathrm{tr}(R^\top\Lambda R)=\sum_i \lambda_i \sum_j R_{ij}^2 \le \sum_{i=1}^k \lambda_k,$

W = V_{k}

$W=V_k$

ดูสามหัวข้อที่เกี่ยวข้องต่อไปนี้:

ความพยายามในการพิสูจน์ก่อนหน้านี้สำหรับบรรทัดฐาน Frobenius

หลักฐานนี้ฉันพบบางแห่งออนไลน์ แต่มันผิด (มีช่องว่าง) ตามที่อธิบายโดย @ cardinal ในความคิดเห็น

‖ X - A ‖_{F} = ‖ U S V^{⊤} - A ‖ = ‖ S - U^{⊤} A V ‖ = ‖ S - B ‖,

$\|X-A\|_F=\|USV^\top - A\| = \|S - U^\top A V\| = \|S-B\|,$

B = U^{⊤} A V

$B=U^\top A V$

‖ X - A ‖_{F} = \sum_{i j} (S_{i j} - B_{i j})^{2} = \sum_{i} (s_{i} - B_{i i})^{2} + \sum_{i \neq j} B_{i j}^{2} .

$\|X-A\|_F = \sum_{ij}(S_{ij}-B_{ij})^2 = \sum_i (s_i-B_{ii})^2 + \sum_{i\ne j}B_{ij}^2.$

B

$B$

k

$k$

k

$k$

s_{i}

$s_i$

B_{o p t i m a l} = S_{k}

$B_\mathrm{optimal}=S_k$

A_{o p t i m a l} = U_{k} S_{k} V_{k}^{⊤}

$A_\mathrm{optimal} = U_k S_k V_k^\top$

— อะมีบาพูดว่า Reinstate Monica
แหล่งที่มา

การพิสูจน์ในกรณีของบรรทัดฐาน Frobeniius นั้นไม่ถูกต้อง (หรืออย่างน้อยก็สมบูรณ์) เนื่องจากการโต้เถียงที่นี่ไม่ได้ขัดขวางความเป็นไปได้ที่เมทริกซ์ของตำแหน่งเดียวกันจะสามารถตัดคำบางส่วนของแนวทแยงออกได้ขณะที่มี "เล็ก" เส้นทแยงมุม หากต้องการดูช่องว่างที่ชัดเจนยิ่งขึ้นโปรดทราบว่าการถือ diagonals คงที่และ "zeroing" off-diagonals มักจะสามารถเพิ่มอันดับของเมทริกซ์ในคำถาม

— พระคาร์ดินัล

โปรดทราบว่า SVD เป็นที่รู้จักของ Beltrami (อย่างน้อยก็ในกรณีทั่วไป แต่เป็นกรณีพิเศษ) และ Jordan เร็วเท่าปี 1874

— พระคาร์ดินัล

B

$B$

S

$S$

k

$k$

\sum_{i} (s_{i} - B_{i i})^{2}

$\sum_{i}(s_i-B_{ii})^2$

\sum_{i \neq j} B_{i j}^{2}

$\sum_{i\ne j}B_{ij}^2$

— อะมีบาพูดว่า Reinstate Monica

ฉันทำเช่น GW สจ๊วต (1993) ในสมัยก่อนประวัติศาสตร์ของการสลายตัวมูลค่าเอกพจน์สยามรีวิวฉบับ 35, ไม่ 4, 551-566 และจากความสนใจในประวัติศาสตร์ที่ผ่านมาฉันคิดว่าคุณก็จะทำเช่นกัน น่าเสียดายที่ฉันคิดว่าสจ๊วร์ตไม่สนใจเรื่องความสง่างามของบทพิสูจน์ของชมิดท์ในปี 1907 โดยไม่ได้ตั้งใจ สิ่งที่ซ่อนอยู่ข้างในนั้นคือการตีความการถดถอยที่สจวร์ตมองเห็นและเป็นสิ่งที่ค่อนข้างสวย มีข้อพิสูจน์อีกประการหนึ่งซึ่งเป็นไปตามวิธีการเริ่มต้นในแนวทแยงมุมที่คุณทำ แต่ต้องใช้งานพิเศษเพื่อเติมช่องว่าง (ต่อ)

— สำคัญเมื่อ

@ cardinal: ใช่คุณพูดถูกฉันเห็นช่องว่างด้วย ขอบคุณมากสำหรับกระดาษสจ๊วตนั่นเป็นสิ่งที่น่าสนใจมากสำหรับการอ่าน ฉันเห็นว่า Stewart นำเสนอบทพิสูจน์ของ Schmidt และ Weyl แต่ทั้งคู่ดูซับซ้อนกว่าสิ่งที่ฉันต้องการคัดลอกที่นี่ (และจนถึงตอนนี้ฉันยังไม่มีเวลาศึกษาอย่างรอบคอบ) ฉันประหลาดใจ: ฉันคาดว่าสิ่งนี้จะเป็นผลลัพธ์ที่ง่ายมาก แต่ดูเหมือนว่ามันเล็กน้อยเล็กน้อยกว่าที่ฉันคิด โดยเฉพาะอย่างยิ่งฉันไม่คาดหวังว่ากรณีของ Frobenius นั้นซับซ้อนกว่าตัวดำเนินการมาตรฐานมากนัก ฉันจะแก้ไขโพสต์ทันที สวัสดีปีใหม่!