สัญชาตญาณของ SVD คืออะไร?

ฉันได้อ่านเกี่ยวกับการสลายตัวของค่าเอกพจน์ (SVD) แล้ว ในหนังสือเกือบทุกเล่มมีการกล่าวถึงว่ามันทำให้เมทริกซ์แยกตัวเป็นเมทริกซ์สามตัวพร้อมการกำหนด

แต่ปรีชาที่อยู่เบื้องหลังการแยกเมทริกซ์ในรูปแบบดังกล่าวคืออะไร? PCA และอัลกอริธึมอื่น ๆ สำหรับการลดขนาดนั้นใช้งานง่ายในแง่ที่ว่าอัลกอริทึมมีคุณสมบัติการสร้างภาพที่ดี แต่ด้วย SVD ไม่ใช่กรณี

— SHASHANK GUPTA
แหล่งที่มา

คุณอาจต้องการเริ่มต้นจากการหยั่งรู้ค่าของการสลายตัวของ eigenvalue-eigenvector เนื่องจาก SVD เป็นส่วนเสริมสำหรับเมทริกซ์ทุกชนิดแทนที่จะเป็นสี่เหลี่ยมจัตุรัส

— JohnK

มีบันทึกมากมายบนอินเทอร์เน็ตและคำตอบที่นี่เกี่ยวกับ CV เกี่ยวกับ SVD และผลงานของมัน

— Vladislavs Dovgalecs

SVD สามารถคิดเป็นอัลกอริทึมการบีบอัด / การเรียนรู้ มันเป็นตัวบีบอัดคอมเพรสเซอร์เชิงเส้น เมทริกซ์ M สามารถแสดงได้ด้วยการคูณ SVD S คือตัวบีบอัด V กำหนดจำนวนข้อผิดพลาดที่คุณต้องการ (การบีบอัดแบบสูญเสีย) และ D คือตัวขยายการบีบอัด หากคุณรักษาค่าในแนวทแยงทั้งหมดของ V แล้วคุณมีคอมเพรสเซอร์แบบไม่สูญเสีย หากคุณเริ่มทิ้งค่าเอกพจน์ขนาดเล็ก (zeroing พวกเขา) แล้วคุณไม่สามารถสร้างเมทริกซ์เริ่มต้นได้อย่างแน่นอน แต่จะยังคงปิด ที่นี่คำว่าปิดวัดด้วยบรรทัดฐาน Frobenius

— Cagdas Ozgenc

@Cagdas ถ้าคุณทำอย่างนั้นโปรดกำหนดสิ่งที่คุณกำลังใช้ "S" "V" และ "D" อย่างระมัดระวัง ฉันไม่เคยเห็นชื่อย่อโอเวอร์โหลดเข้าไปในสัญกรณ์ตัวเองมาก่อน (ซึ่งมีค่าเอกพจน์ในนั้นตัวอย่างเช่น?) ดูเหมือนว่าจะเป็นแหล่งที่มาของความสับสน

— Glen_b

คุณรู้วิธีการประมาณ PCA ด้วย SVD หรือไม่ หากคุณทำเช่นนั้นคุณสามารถอธิบายได้หรือไม่ว่าทำไมคุณถึงรู้สึกว่ามีบางสิ่งที่ขาดหายไปในความเข้าใจในแผนกบริการของคุณ? ดูสิ่งนี้

— Aksakal

คำตอบ:

เขียน SVD ของเมทริกซ์ (จริง ) เป็น ที่คือ ,เป็นเส้นทแยงมุมและคือครั้งหน้า ในแง่ของคอลัมน์ของเมทริกซ์ที่และเราสามารถเขียน T นั่นแสดงให้เห็นว่าเขียนเป็นผลรวมของเมทริกซ์อันดับ 1 เมทริกซ์อันดับ 1 มีลักษณะอย่างไร มาดูกัน: $X$ $n\times p$

X = U D V^{T}

$X = U D V^T$

U

$U$

n \times p

$n\times p$

D

$D$

p \times p

$p\times p$

V^{T}

$V^T$

p \times p

$p\times p$

U

$U$

V

$V$

X = \sum_{i = 1}^{p} d_{i} u_{i} v_{i}^{T}

$X=\sum_{i=1}^p d_i u_i v_i^T$

X

$X$

p

$p$

(\begin{matrix} 1 \\ 2 \\ 3 \end{matrix}) (\begin{matrix} 4 & 5 & 6 \end{matrix}) = (\begin{matrix} 4 & 5 & 6 \\ 8 & 10 & 12 \\ 12 & 15 & 18 \end{matrix})

$\begin{pmatrix} 1 \\ 2 \\ 3 \end{pmatrix} \begin{pmatrix} 4 & 5 & 6 \end{pmatrix} = \begin{pmatrix} 4 & 5 & 6 \\ 8 & 10 & 12 \\ 12 & 15 & 18 \end{pmatrix}$ แถวเป็นสัดส่วนและคอลัมน์เป็นสัดส่วน

คิดว่าตอนนี้เกี่ยวกับว่ามีค่า greyscale ของภาพขาวดำซึ่งแต่ละรายการในเมทริกซ์คิดเป็นหนึ่งพิกเซล ตัวอย่างเช่นรูปภาพของลิงบาบูน: $X$

อ่านแล้วภาพนี้ลงใน R pixmapและได้รับส่วนเมทริกซ์ของโครงสร้างที่เกิดขึ้นอาจจะใช้ห้องสมุด

หากคุณต้องการคำแนะนำทีละขั้นตอนเป็นวิธีการที่จะทำให้เกิดผลลัพธ์ที่คุณสามารถหารหัสที่นี่

คำนวณ SVD:

baboon.svd  <-  svd(bab) # May take some time

เราจะคิดอย่างไรเกี่ยวกับเรื่องนี้? เราได้รับภาพลิงบาบูนที่แสดงเป็นผลรวมของภาพที่เรียบง่ายภาพโดยแต่ละภาพแสดงโครงสร้างแนวตั้งและแนวนอนเท่านั้นนั่นคือภาพของลายเส้นแนวตั้งและแนวนอน! ดังนั้น SVD ของลิงบาบูนจึงแสดงภาพลิงบาบูนเป็นภาพซ้อนทับที่เรียบง่ายจำนวนภาพแต่ละภาพแสดงแถบแนวนอน / แนวตั้งเท่านั้น ให้เราคำนวณการสร้างภาพระดับต่ำใหม่ด้วยและองค์ประกอบ: $512 \times 512$ $512$ $512$ $1$ $20$

baboon.1  <-  sweep(baboon.svd$u[,1,drop=FALSE],2,baboon.svd$d[1],"*") %*%
                   t(baboon.svd$v[,1,drop=FALSE])

baboon.20 <-  sweep(baboon.svd$u[,1:20,drop=FALSE],2,baboon.svd$d[1:20],"*") %*%
                   t(baboon.svd$v[,1:20,drop=FALSE])

ทำให้ภาพสองภาพต่อไปนี้:

ทางด้านซ้ายเราสามารถเห็นลายเส้นแนวตั้ง / แนวนอนได้อย่างง่ายดายในรูปภาพอันดับ 1

ให้เราดูที่ "ภาพที่เหลือ" ซึ่งเป็นภาพที่สร้างขึ้นใหม่ (ดังที่แสดงไว้ด้านบน, โค้ดไม่แสดง) จากภาพอันดับ - อันดับหนึ่งที่มีค่าเอกฐานต่ำที่สุด นี่มันคือ: $20$

ซึ่งน่าสนใจมาก: เราเห็นส่วนต่าง ๆ ของภาพต้นฉบับซึ่งยากที่จะนำเสนอเป็นภาพซ้อนทับของเส้นแนวตั้ง / แนวนอนส่วนใหญ่ขนจมูกเส้นทแยงมุมและพื้นผิวและดวงตา!

— kjetil b halvorsen
แหล่งที่มา

ฉันคิดว่าคุณหมายถึงการสร้างใหม่ระดับต่ำไม่ใช่ระดับต่ำ ไม่เป็นไร. นี่เป็นภาพประกอบที่ดีมาก (+1) นั่นเป็นเหตุผลว่าทำไมมันถึงเป็นคอมเพรสเซอร์บีบอัดเชิงเส้น ภาพประมาณด้วยเส้น หากคุณทำ autoencoder ที่คล้ายกันกับเครือข่ายประสาทที่มีฟังก์ชั่นการเปิดใช้งานเชิงเส้นคุณจะเห็นว่ามันช่วยให้เส้นที่มีความลาดชันไม่เพียง แต่เส้นแนวตั้งและแนวนอนซึ่งทำให้มีประสิทธิภาพมากกว่า SVD เล็กน้อย

— Cagdas Ozgenc

@ kjetil-b-halvorsen ไม่ควร SVDสำหรับเมทริกซ์ส่งผลให้เป็น ,เป็นและเป็น ? สะกดผิด?

X = U Σ V^{*}

$X = U \Sigma V^*$

n \times p

$n \times p$

X

$X$

U

$U$

n \times n

$n \times n$

Σ

$\Sigma$

n \times p

$n \times p$

V

$V$

p \times p

$p \times p$

— Martin Krämer

ดูmath.stackexchange.com/questions/92171/ … สำหรับตัวอย่างอื่น ๆ

— kjetil b halvorsen

@ kjetil-b-halvorsen ฉันสนใจที่จะรู้ว่า decription จะเปลี่ยนไปอย่างไรหากฉันใช้ PCA ในการปฏิเสธแอปพลิเคชัน ฉันจะขอบคุณถ้าคุณสามารถตอบคำถามของฉันได้ที่นี่stats.stackexchange.com/questions/412123//

— Dushyant Kumar

@CowboyTrader สังเกตที่น่าสนใจ ความเข้าใจเกี่ยวกับการเรียนรู้ของเครื่อง / เครือข่ายประสาทเทียมของฉันค่อนข้าง จำกัด ดังนั้นฉันจึงล้มเหลวที่จะเข้าใจว่าหากมีภาพที่มีเสียงดังเพียงอย่างเดียวและไม่มีสิ่งอื่นใดให้ฝึกฝนต่อโครงข่ายประสาทจะทำงานอย่างไร

— Dushyant Kumar

ปล่อยให้เป็นจริง matrix ฉันจะสมมติว่าเพื่อความง่าย เป็นเรื่องปกติที่จะถามว่าทิศทางใดที่ทำมีผลกระทบมากที่สุด (หรือระเบิดได้มากที่สุดหรือกำลังขยายสูงสุด) คำตอบคือ คำถามติดตามที่เป็นธรรมชาติคือหลังจากแล้วทิศทางการระเบิดที่รุนแรงที่สุดต่อไปของ ? คำตอบคือ $A$ $m \times n$ $m \geq n$ $v$ $A$

\begin{aligned} (1) & v_{1} = & \arg max_{v \in R^{n}} ‖ A v ‖_{2} \\ subject to ‖ v ‖_{2} = 1. \end{aligned}

$\begin{align} \tag{1}v_1 = \,\,& \arg \max_{v \in \mathbb R^n} \quad \| A v \|_2 \\ & \text{subject to } \, \|v\|_2 = 1. \end{align}$

v_{1}

$v_1$

A

$A$

\begin{aligned} v_{2} = & \arg max_{v \in R^{n}} ‖ A v ‖_{2} \\ subject to ⟨ v_{1}, v ⟩ = 0, \\ ‖ v ‖_{2} = 1. \end{aligned}

$\begin{align} v_2 = \,\,& \arg \max_{v \in \mathbb R^n} \quad \| A v \|_2 \\ & \text{subject to } \,\langle v_1, v \rangle = 0, \\ & \qquad \qquad \, \, \, \, \|v\|_2 = 1. \end{align}$ อย่างต่อเนื่องเช่นนี้เราได้รับการ orthonormal พื้นฐานของ n นี้พื้นฐานพิเศษบอกเราทิศทางที่อยู่ในความรู้สึกบางอย่างที่สำคัญที่สุดสำหรับการทำความเข้าใจ

v_{1}, \dots, v_{n}

$v_1, \ldots, v_n$

R^{n}

$\mathbb R^n$

R^{n}

$\mathbb R^n$

A

$A$

ปล่อยให้ (ดังนั้นปริมาณพลังงานระเบิดของในทิศทาง ) สมมติว่าหน่วยเวกเตอร์ถูกกำหนดไว้เพื่อให้ สมการ (2) สามารถแสดงออกอย่างกระชับโดยใช้สัญลักษณ์เมทริกซ์เป็น ที่คือเมทริกซ์ซึ่งคอลัมน์ th คือ ,คือเมทริกซ์ที่คอลัมน์ที่สองคือและ $\sigma_i = \|A v_i \|_2$ $\sigma_i$ $A$ $v_i$ $u_i$

\begin{matrix} (2) & A v_{i} = σ_{i} u_{i} for i = 1, \dots, n . \end{matrix}

$\tag{2} A v_i = \sigma_i u_i \quad \text{for } i = 1, \ldots, n.$

\begin{matrix} (3) & A V = U Σ, \end{matrix}

$\tag{3} A V = U \Sigma,$

V

$V$

n \times n

$n \times n$

i

$i$

v_{i}

$v_i$

U

$U$

m \times n

$m \times n$

i

$i$

u_{i}

$u_i$

Σ

$\Sigma$ เป็นเมทริกซ์ทแยงมุมมี th เส้นทแยงมุมรายการเป็น\เมทริกซ์คือมุมฉากดังนั้นเราสามารถคูณทั้งสองด้านของ (3) ด้วยเพื่อรับ ดูเหมือนว่าขณะนี้เราได้รับ SVD ของด้วยความพยายามเกือบเป็นศูนย์ ไม่มีขั้นตอนใดที่ยุ่งยาก อย่างไรก็ตามชิ้นส่วนสำคัญของภาพหายไป - เรายังไม่ทราบว่าเป็นมุมฉาก

n \times n

$n \times n$

i

$i$

σ_{i}

$\sigma_i$

V

$V$

V^{T}

$V^T$

A = U Σ V^{T} .

$A = U \Sigma V^T.$

A

$A$

U

$U$

นี่คือความจริงที่สำคัญชิ้นส่วนที่ขาดหายไป: ปรากฎว่าเป็นฉากกับ : ฉันอ้างว่าหากนี่ไม่เป็นจริงแล้วจะไม่เหมาะที่สุดสำหรับปัญหา (1) แน่นอนถ้า (4) ไม่พอใจแล้วมันจะเป็นไปได้ที่จะปรับปรุงโดยรบกวนมันเล็กน้อยในทิศทางที่v_2 $A v_1$ $A v_2$

\begin{matrix} (4) & ⟨ A v_{1}, A v_{2} ⟩ = 0. \end{matrix}

$\tag{4} \langle A v_1, A v_2 \rangle = 0.$ $v_1$

v_{1}

$v_1$

v_{2}

$v_2$

สมมติว่า (เพื่อแย้ง) ที่ (4) ไม่พอใจ หากถูกรบกวนเล็กน้อยในทิศทางมุมฉากบรรทัดฐานของจะไม่เปลี่ยนแปลง (หรืออย่างน้อยที่สุดการเปลี่ยนแปลงในมาตรฐานของนั้นเล็กน้อย) เมื่อฉันเดินบนพื้นผิวโลกระยะทางของฉันจากศูนย์กลางของโลกไม่เปลี่ยนแปลง อย่างไรก็ตามเมื่อถูกรบกวนในทิศทางเวกเตอร์จะถูกรบกวนในทิศทางที่ไม่ใช่มุมฉากและดังนั้นการเปลี่ยนแปลงในมาตรฐานของนั้นไม่สำคัญเลย บรรทัดฐานของ $v_1$ $v_2$ $v_1$ $v_1$ $v_1$ $v_2$ $A v_1$ $A v_2$ $A v_1$ $A v_1$ สามารถเพิ่มได้ตามจำนวนที่ไม่สามารถเพิกเฉยได้ ซึ่งหมายความว่าไม่เหมาะสำหรับปัญหา (1) ซึ่งขัดแย้งกัน ฉันชอบเรื่องนี้เพราะ: 1) สัญชาตญาณชัดเจนมาก 2) สัญชาตญาณสามารถแปลงเป็นหลักฐานที่เข้มงวดโดยตรง $v_1$

อาร์กิวเมนต์ที่คล้ายกันแสดงให้เห็นว่าเป็นมุมฉากของทั้งและและอื่น ๆ เวกเตอร์เป็นแบบมุมฉากแบบคู่ ซึ่งหมายความว่าหน่วยเวกเตอร์สามารถเลือกให้เป็น orthogonal แบบ pairwise ซึ่งหมายความว่าเมทริกซ์ด้านบนเป็นเมทริกซ์มุมฉาก สิ่งนี้ทำให้การค้นพบ SVD ของเราเสร็จสมบูรณ์ $A v_3$ $A v_1$ $A v_2$ $A v_1, \ldots, A v_n$ $u_1, \ldots, u_n$ $U$

ในการแปลงอาร์กิวเมนต์ที่เข้าใจง่ายข้างต้นเป็นหลักฐานที่เข้มงวดเราต้องเผชิญหน้ากับความจริงที่ว่าหากถูกรบกวนในทิศทางเวกเตอร์ที่ถูกรบกวน ไม่ใช่หน่วยเวกเตอร์อย่างแท้จริง (บรรทัดฐานคือ ) เพื่อให้ได้หลักฐานที่เข้มงวดให้นิยาม vectorเป็นเวกเตอร์หน่วยอย่างแท้จริง แต่อย่างที่คุณสามารถแสดงให้เห็นได้อย่างง่ายดายหาก (4) ไม่พอใจดังนั้นสำหรับค่าเล็ก ๆ ของเพียงพอเรามี (สมมติว่าสัญลักษณ์ของ $v_1$ $v_2$

{\tilde{v}}_{1} = v_{1} + ϵ v_{2}

$\tilde v_1 = v_1 + \epsilon v_2$

\sqrt{1 + ϵ^{2}}

$\sqrt{1 + \epsilon^2}$

{\bar{v}}_{1} (ϵ) = \sqrt{1 - ϵ^{2}} v_{1} + ϵ v_{2} .

$\bar v_1(\epsilon) = \sqrt{1 - \epsilon^2} v_1 + \epsilon v_2.$

{\bar{v}}_{1} (ϵ)

$\bar v_1(\epsilon)$

ϵ

$\epsilon$

f (ϵ) = ‖ A {\bar{v}}_{1} (ϵ) ‖_{2}^{2} > ‖ A v_{1} ‖_{2}^{2}

$f(\epsilon) = \| A \bar v_1(\epsilon) \|_2^2 > \| A v_1 \|_2^2$

ϵ

$\epsilon$ เลือกอย่างถูกต้อง) ในการแสดงนี้เพียงแค่ตรวจสอบว่า0 ซึ่งหมายความว่าไม่เหมาะสำหรับปัญหา (1) ซึ่งขัดแย้งกัน

f^{'} (0) \neq 0

$f'(0) \neq 0$

v_{1}

$v_1$

(โดยวิธีการที่ผมขอแนะนำให้อ่านคำอธิบาย Qiaochu หยวนของ SVD ที่นี่ . โดยเฉพาะอย่างยิ่งจะดูที่ "คีย์แทรก # 1" ซึ่งเป็นสิ่งที่เรากล่าวข้างต้น. เป็น Qiaochu กล่าวว่าที่สำคัญแทรก # 1 คือ "หัวใจทางเทคนิค ของการสลายตัวของค่าเอกพจน์ ".)

— littleO
แหล่งที่มา

เพื่อนใช้เวลาหนึ่งชั่วโมงต่อวันของคุณและดูการบรรยายนี้: https://www.youtube.com/watch?v=EokL7E6o1AE

ผู้ชายคนนี้ตรงไปตรงมาเป็นสิ่งสำคัญมากที่จะไม่ข้ามสิ่งใด ๆ เพราะมันมารวมกันในตอนท้าย แม้ว่ามันอาจจะดูช้าไปนิดหน่อยในตอนแรกเขาพยายามที่จะปักหลักจุดสำคัญซึ่งเขาทำ!

ฉันจะสรุปให้คุณแทนที่จะให้เมทริกซ์สามตัวที่ทุกคนทำ (เพราะนั่นทำให้ฉันสับสนเมื่อฉันอ่านคำอธิบายอื่น ๆ ) เมทริกซ์เหล่านั้นมาจากไหนและทำไมเราถึงตั้งค่าแบบนั้น การบรรยายเล็บมัน! เมทริกซ์ทุกตัว (เคยมีมาในประวัติศาสตร์ของความเป็นอมตะ) สามารถสร้างขึ้นได้จากเมทริกซ์ฐานที่มีขนาดเท่ากันจากนั้นหมุนมันและยืดออก (นี่คือทฤษฎีบทพื้นฐานของพีชคณิตเชิงเส้น) แต่ละเมทริกซ์สามคนที่อยู่รอบตัวเป็นตัวแทนเมทริกซ์เริ่มต้น (U) เมทริกซ์ปรับขนาด (ซิกม่า) และเมทริกซ์การหมุน (V)

เมทริกซ์มาตราส่วนแสดงให้เห็นว่าเวกเตอร์การหมุนใดที่มีอิทธิพลเหนือสิ่งเหล่านี้เรียกว่าค่าเอกพจน์ การสลายตัวคือการแก้สำหรับ U, Sigma และ V

— Tim Johnsen
แหล่งที่มา