วิธี Nystroem สำหรับการประมาณเคอร์เนล

ฉันได้อ่านเกี่ยวกับวิธีNyströmสำหรับการประมาณเคอร์เนลระดับต่ำ วิธีนี้ถูกนำมาใช้ในการเรียนรู้ scikit [1] เป็นวิธีการฉายตัวอย่างข้อมูลไปยังการประมาณระดับต่ำของการแมปฟีเจอร์เคอร์เนล

ตามความรู้ของฉันที่สุดให้ชุดฝึกอบรมและฟังก์ชันเคอร์เนลมันสร้างการประมาณอันดับต่ำของเคอร์เนลเมทริกซ์โดยใช้ SVD กับและC $\{x_i\}_{i=1}^n$ $n \times n$ $K$ $W$ $C$

$K = \left [ \begin{array}{cc} W & K_{21}^T \\ K_{21} & K_{22} \end{array} \right ]$ $C = \left [\begin{array}{cc} W \\ K_{21} \end{array}\right ]$ , $W \in \mathbb{R}^{l\times l}$

อย่างไรก็ตามฉันไม่เข้าใจว่าการประมาณระดับต่ำของเมทริกซ์เคอร์เนลสามารถใช้เพื่อฉายตัวอย่างใหม่ไปยังพื้นที่คุณลักษณะเคอร์เนลโดยประมาณได้อย่างไร เอกสารที่ฉันได้พบ (เช่น [2]) ไม่ได้ช่วยอะไรมากเพราะมันเป็นการสอนน้อย

นอกจากนี้ฉันยังสงสัยเกี่ยวกับความซับซ้อนในการคำนวณของวิธีนี้ทั้งในขั้นตอนการฝึกอบรมและการทดสอบ

[1] http://scikit-learn.org/stable/modules/kernel_approximation.html#nystroem-kernel-approx

[2] http://www.jmlr.org/papers/volume13/kumar12a/kumar12a.pdf

— Daniel López
แหล่งที่มา

มาหาการประมาณค่าNyströmในแบบที่ควรทำให้คำตอบของคำถามของคุณชัดเจนขึ้น

สมมติฐานที่สำคัญในการ Nystrom คือฟังก์ชั่นเคอร์เนลเป็นยศเมตร(จริงๆเราคิดว่ามันเป็นประมาณยศแต่สำหรับความเรียบง่ายให้เพียงแสร้งทำเป็นว่ามันเป็นตรงยศสำหรับในตอนนี้.) นั่นหมายความว่าการใด ๆเมทริกซ์เคอร์เนลจะมีอันดับที่มากที่สุดและโดยเฉพาะ เป็นอันดับเมตรดังนั้นจึงมีค่าลักษณะเฉพาะภัณฑ์และเราสามารถเขียน eigendecomposition ของเป็น $m$ $m$ $m$ $m$

K = [\begin{matrix} k (x_{1}, x_{1}) & \dots & k (x_{1}, x_{n}) \\ ⋮ & ⋱ & ⋮ \\ k (x_{n}, x_{1}) & \dots & k (x_{n}, x_{n}) \end{matrix}],

$K = \begin{bmatrix} k(x_1, x_1) & \dots & k(x_1, x_n) \\ \vdots & \ddots & \vdots \\ k(x_n, x_1) & \dots & k(x_n, x_n) \end{bmatrix} ,$

m

$m$

m

$m$

K

$K$

K = U Λ U^{T}

$K = U \Lambda U^T$ กับ eigenvectors เก็บไว้ใน , รูปร่าง , และค่าลักษณะเฉพาะที่จัดใน ,เมทริกซ์แนวทแยง

U

$U$

n \times m

$n \times m$

Λ

$\Lambda$

m \times m

$m \times m$

ดังนั้นให้เราเลือกองค์ประกอบโดยทั่วไปจะมีการสุ่มแบบสุ่ม แต่อาจเป็นไปตามแผนการอื่น ๆ - สิ่งที่สำคัญในเวอร์ชั่นที่ง่ายนี้คืออยู่ในอันดับเต็ม เมื่อเราทำเสร็จแล้วให้ติดฉลากใหม่เพื่อที่เราจะได้จบลงด้วยเคอร์เนลเมทริกซ์ในบล็อก: ซึ่งเราประเมินแต่ละรายการใน (ซึ่งคือ ) และ ( ) แต่ไม่ต้องการประเมินรายการใด ๆ ใน . $m$ $K_{11}$

K = [\begin{matrix} K_{11} & K_{21}^{T} \\ K_{21} & K_{22} \end{matrix}],

$K = \begin{bmatrix} K_{11} & K_{21}^T \\ K_{21} & K_{22} \end{bmatrix} ,$

K_{11}

$K_{11}$

m \times m

$m \times m$

K_{21}

$K_{21}$

(n - m) \times m

$(n-m) \times m$

K_{22}

$K_{22}$

ตอนนี้เราสามารถแบ่ง eigendecomposition ตามโครงสร้างบล็อกนี้ด้วย: start ที่เป็นและเป็นm แต่ทราบว่าตอนนี้เรามี T ดังนั้นเราจึงสามารถหาและโดย eigendecomposing เมทริกซ์ที่รู้จักกัน{11}

\begin{aligned} K & = U Λ U^{T} \\ = [\begin{matrix} U_{1} \\ U_{2} \end{matrix}] Λ {[\begin{matrix} U_{1} \\ U_{2} \end{matrix}]}^{T} \\ = [\begin{matrix} U_{1} Λ U_{1}^{T} & U_{1} Λ U_{2}^{T} \\ U_{2} Λ U_{1}^{T} & U_{2} Λ U_{2}^{T} \end{matrix}], \end{aligned}

$\begin{align} K &= U \Lambda U^T \\&= \begin{bmatrix}U_1 \\ U_2\end{bmatrix} \Lambda \begin{bmatrix}U_1 \\ U_2\end{bmatrix}^T \\&= \begin{bmatrix} U_1 \Lambda U_1^T & U_1 \Lambda U_2^T \\ U_2 \Lambda U_1^T & U_2 \Lambda U_2^T \end{bmatrix} ,\end{align}$

U_{1}

$U_1$

m \times m

$m \times m$

U_{2}

$U_2$

(n - m) \times m

$(n-m) \times m$

K_{11} = U_{1} Λ U_{1}^{T}

$K_{11} = U_1 \Lambda U_1^T$

U_{1}

$U_1$

Λ

$\Lambda$

K_{11}

$K_{11}$

นอกจากนี้เรายังรู้ว่า T ที่นี่เรารู้ทุกอย่างในสมการนี้ยกเว้นเพื่อให้เราสามารถแก้ปัญหาสำหรับสิ่งที่ค่าลักษณะเฉพาะที่แสดงถึง: ขวาคูณทั้งสองข้างด้วยที่จะได้รับ ตอนนี้เรามีทุกสิ่งที่เราต้องประเมิน : $K_{21} = U_2 \Lambda U_1^T$ $U_2$ $(\Lambda U_1^T)^{-1} = U_1 \Lambda^{-1}$

U_{2} = K_{21} U_{1} Λ^{- 1} .

$U_2 = K_{21} U_1 \Lambda^{-1} .$

K_{22}

$K_{22}$

\begin{aligned} K_{22} & = U_{2} Λ U_{2}^{T} \\ = (K_{21} U_{1} Λ^{- 1}) Λ {(K_{21} U_{1} Λ^{- 1})}^{T} \\ = K_{21} U_{1} (Λ^{- 1} Λ) Λ^{- 1} U_{1}^{T} K_{21}^{T} \\ = K_{21} U_{1} Λ^{- 1} U_{1}^{T} K_{21}^{T} \\ (*) & = K_{21} K_{11}^{- 1} K_{21}^{T} \\ (**) & = (K_{21} K_{11}^{- \frac{1}{2}}) {(K_{21} K_{11}^{- \frac{1}{2}})}^{T} . \end{aligned}

$\begin{align} K_{22} &= U_2 \Lambda U_2^T \\&= \left(K_{21} U_1 \Lambda^{-1}\right) \Lambda \left(K_{21} U_1 \Lambda^{-1}\right)^T \\&= K_{21} U_1 (\Lambda^{-1} \Lambda) \Lambda^{-1} U_1^T K_{21}^T \\&= K_{21} U_1 \Lambda^{-1} U_1^T K_{21}^T \\&= K_{21} K_{11}^{-1} K_{21}^T \tag{*} \\&= \left( K_{21} K_{11}^{-\frac12} \right) \left( K_{21} K_{11}^{-\frac12} \right)^T \tag{**} .\end{align}$

ใน (*) เราพบเวอร์ชันของNyströmที่ฝังคุณอาจจะเห็นว่าเป็นคำจำกัดความ นี้จะบอกเราค่าเคอร์เนลที่มีประสิทธิภาพที่เรากำลัง imputing สำหรับบล็อก{22} $K_{22}$

ใน (**) เราจะเห็นว่าคุณลักษณะเมทริกซ์ ซึ่งเป็นรูปร่างสอดคล้องกับค่าเคอร์เนลที่กำหนดเหล่านี้ ถ้าเราใช้สำหรับจุดที่เรามีชุดของคุณสมบัติมิติ เราสามารถยืนยันได้อย่างรวดเร็วว่าสอดคล้องกับเคอร์เนลเมทริกซ์ที่ถูกต้อง: $K_{21} K_{11}^{-\frac12}$ $(n-m) \times m$ $K_{11}^{\frac12}$ $m$ $m$

Φ = [\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}] .

$\Phi = \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix} .$

Φ

$\Phi$

\begin{aligned} Φ Φ^{T} & = [\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}] {[\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}]}^{T} \\ = [\begin{matrix} K_{11}^{\frac{1}{2}} K_{11}^{\frac{1}{2}} & K_{11}^{\frac{1}{2}} K_{11}^{- \frac{1}{2}} K_{21}^{T} \\ K_{21} K_{11}^{- \frac{1}{2}} K_{11}^{\frac{1}{2}} & K_{21} K_{11}^{- \frac{1}{2}} K_{11}^{- \frac{1}{2}} K_{21}^{T} \end{matrix}] \\ = [\begin{matrix} K_{11} & K_{21}^{T} \\ K_{21} & K_{21} K_{11}^{- 1} K_{21}^{T} \end{matrix}] \\ = K . \end{aligned}

$\begin{align} \Phi \Phi^T &= \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix} \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix}^T \\&=\begin{bmatrix} K_{11}^{\frac12} K_{11}^{\frac12} & K_{11}^{\frac12} K_{11}^{-\frac12} K_{21}^T \\ K_{21} K_{11}^{-\frac12} K_{11}^{\frac12} & K_{21} K_{11}^{-\frac12} K_{11}^{-\frac12} K_{21}^T \end{bmatrix} \\&=\begin{bmatrix} K_{11} & K_{21}^T \\ K_{21} & K_{21} K_{11}^{-1} K_{21}^T \end{bmatrix} \\&= K .\end{align}$

ดังนั้นสิ่งที่เราต้องทำคือการฝึกอบรมการเรียนรู้แบบปกติของเรากับคุณสมบัติมิติ\นี้จะตรงเหมือนกัน (ภายใต้สมมติฐานที่เราได้ทำ) เป็นรุ่น kernelized ของปัญหาการเรียนรู้กับK $m$ $\Phi$ $K$

ตอนนี้สำหรับจุดข้อมูลแต่ละจุดคุณลักษณะในตรงกับ สำหรับจุดในพาร์ติชัน 2 เวกเตอร์เป็นเพียงแถวที่เกี่ยวข้องของดังนั้นการซ้อน สิ่งเหล่านี้ทำให้เรา - ดังนั้นเห็นด้วยกับคะแนนในการแบ่งพาร์ติชัน 2 มันทำงานในพาร์ติชัน 1: นั่นเวกเตอร์เป็นแถวของดังนั้นการรวมเข้าด้วยกันจะทำให้ตกลงอีกครั้งกับ $x$ $\Phi$

ϕ (x) = [\begin{matrix} k (x, x_{1}) & \dots & k (x, x_{m}) \end{matrix}] K_{11}^{- \frac{1}{2}} .

$\phi(x) = \begin{bmatrix} k(x, x_1) & \dots & k(x, x_m) \end{bmatrix} K_{11}^{-\frac12} .$

x

$x$

[\begin{matrix} k (x, x_{1}) & \dots & k (x, x_{m}) \end{matrix}]

$\begin{bmatrix} k(x, x_1) & \dots & k(x, x_m) \end{bmatrix}$

K_{21}

$K_{21}$

K_{21} K_{11}^{- \frac{1}{2}}

$K_{21} K_{11}^{-\frac12}$

ϕ (x)

$\phi(x)$

K_{11}

$K_{11}$

K_{11} K_{11}^{- \frac{1}{2}} = K_{11}^{\frac{1}{2}}

$K_{11} K_{11}^{-\frac12} = K_{11}^{\frac12}$

Φ

$\Phi$ . ดังนั้น ... ก็ยังคงเป็นจริงสำหรับที่มองไม่เห็นที่ฝึกอบรมเวลาทดสอบจุด{} คุณทำสิ่งเดียวกัน: เนื่องจากเราถือว่าเคอร์เนลอยู่ในอันดับเมทริกซ์ยังเป็นยศและการฟื้นฟูของยังคงเป็นที่แน่นอนว่าโดยตรรกะเช่นเดียวกับ{22}

x_{new}

$x_\text{new}$

Φ_{test} = K_{test, 1} K_{11}^{- \frac{1}{2}} .

$\Phi_\text{test} = K_{\text{test},1} K_{11}^{-\frac12} .$

m

$m$

[\begin{matrix} K_{train} & K_{train,test} \\ K_{test,train} & K_{test} \end{matrix}]

$\begin{bmatrix}K_{\text{train}} & K_{\text{train,test}} \\ K_{\text{test,train}} & K_{\text{test}} \end{bmatrix}$

m

$m$

K_{test}

$K_\text{test}$

K_{22}

$K_{22}$

ข้างต้นเราสันนิษฐานว่าเมทริกซ์เคอร์เนลเป็นว่ายศเมตรนี่ไม่ใช่กรณีปกติ สำหรับเคอร์เนลเกาส์เซนเช่นอยู่ในอันดับที่เสมอแต่โดยทั่วไปค่าลักษณะเฉพาะจะลดลงอย่างรวดเร็วดังนั้นมันจะใกล้กับเมทริกซ์ของอันดับและของเราหรือจะใกล้เคียงกับค่าจริง แต่ไม่เหมือนกันทุกประการ พวกมันจะเป็นการสร้างไทปันได้ดียิ่งขึ้นใกล้กับ Eigenspace ของที่เข้าใกล้ของ

K

$K$

m

$m$

K

$K$

n

$n$

m

$m$

K_{21}

$K_{21}$

K_{test, 1}

$K_{\text{test},1}$

K_{11}

$K_{11}$

K

$K$ โดยรวมซึ่งเป็นเหตุผลที่การเลือกคะแนนถูกต้องเป็นสิ่งสำคัญในการปฏิบัติ

m

$m$

โปรดทราบว่าหากมีค่าลักษณะศูนย์ใด ๆ คุณสามารถแทนที่ผู้รุกรานด้วย pseudoinverses และทุกอย่างยังคงใช้ได้ คุณเพียงแค่เปลี่ยนในการฟื้นฟูบูรณะที่มี{11} $K_{11}$ $K_{21}$ $K_{21} K_{11}^\dagger K_{11}$

คุณสามารถใช้ SVD แทน eigendecomposition หากคุณต้องการ; เนื่องจากคือ psd พวกมันเหมือนกัน แต่ SVD อาจจะมีข้อผิดพลาดเล็กน้อยที่แข็งแกร่งกว่าเล็กน้อยในเคอร์เนลเมทริกซ์และนั่นก็คือสิ่งที่ scikit เรียนรู้ทำ การใช้งานจริงของ scikit-Learn ทำสิ่งนี้แม้ว่าจะใช้ในการผกผันแทนการ pseudoinverse $K$ $\max(\lambda_i, 10^{-12})$

— Dougal
แหล่งที่มา

เมื่อคือ semidefinite บวก Eigendecompositionเกิดขึ้นพร้อมกับ SVD scikit - เรียนรู้เนื่องจากข้อผิดพลาดทางตัวเลขอาจไม่ใช่ psd เล็กน้อยแทนที่จะคำนวณและใช้ดังนั้น ที่คุณลักษณะ 's กลายเป็นfrac12} มันเป็นสิ่งเดียวกันโดยทั่วไป

A

$A$

U Λ U^{T}

$U \Lambda U^T$

A

$A$

U Σ V^{T}

$U \Sigma V^T$

A^{- \frac{1}{2}} = V Σ^{- \frac{1}{2}} V^{T}

$A^{-\frac12} = V \Sigma^{-\frac12} V^T$

A

$A$

A V Σ^{- \frac{1}{2}} V^{T} = U Σ V^{T} V Σ^{- \frac{1}{2}} V^{T} = U Σ^{\frac{1}{2}} V^{T} = A^{\frac{1}{2}}

$A V \Sigma^{-\frac12} V^T = U \Sigma V^T V \Sigma^{-\frac12} V^T = U \Sigma^{\frac12} V^T = A^{\frac12}$

— Dougal

อ๊ะขอโทษใช่พวกเขาใช้frac12} มันไม่ได้มีความสำคัญอะไรเลยตั้งแต่แต่เนื่องจากพวกเขาทำหน้าที่ขนย้ายคุณสมบัติสำหรับจบลงด้วยการเป็น T

U Σ^{- \frac{1}{2}} V^{T} = K^{- \frac{1}{2}}

$U \Sigma^{-\frac12} V^T = K^{-\frac12}$

U \approx V

$U \approx V$

K_{11}

$K_{11}$

U Σ V^{T} V Σ^{- \frac{1}{2}} U^{T} = U Σ^{\frac{1}{2}} U^{T}

$U\Sigma V^T V \Sigma^{-\frac12} U^T = U \Sigma^{\frac12} U^T$

— Dougal

เพิ่มเมทริกซ์ทแยงมุมเพื่ออำนาจเป็นเช่นเดียวกับการเพิ่มแต่ละองค์ประกอบจะมีอำนาจและx ในสัญกรณ์การกระจายเสียงแบบ numpy การคูณ elementwise โดยเวกเตอร์จะเหมือนกับการคูณขวาด้วยเมทริกซ์แนวทแยง นอกจากนี้ที่ใช้รหัสหมายถึงสิ่งที่ผมเรียก T

x^{- \frac{1}{2}} = 1 / \sqrt{x}

$x^{-\frac12} = 1 / \sqrt x$

V

$V$

V^{T}

$V^T$

— Dougal

อ๊ะขออภัยที่ควรมีมากถึง (ในการสั่งซื้อที่ติดป้ายใหม่เพื่อให้เป็นคะแนนพื้นฐานของNyström) จะแก้ไข

x_{m}

$x_m$

— Dougal

x

$x$ เป็นจุดข้อมูลมิติไม่ได้ระบุไว้ที่นี่ อาจอยู่ในหรืออาจเป็นสตริงหรืออะไรก็ได้ เพียงแค่บอกว่าเพื่อให้R จากนั้นเพียงเรียงซ้อนสำหรับอินพุตที่แตกต่างกัน

x

$x$

R^{d}

$\mathbb R^d$

x \in X

$x \in \mathcal X$

k : X \times X \to R

$k : \mathcal X \times \mathcal X \to \mathbb R$

ϕ : X \to R^{m}

$\phi : \mathcal X \to \mathbb R^m$

k (x, x_{i})

$k(x, x_i)$

m

$m$

— Dougal