เชิงเส้นตรงกับ RKHS- การถดถอย

ฉันกำลังศึกษาความแตกต่างระหว่างการทำให้เป็นปกติในการถดถอย RKHS และการถดถอยเชิงเส้น แต่ฉันมีเวลายากที่จะเข้าใจความแตกต่างที่สำคัญระหว่างทั้งสอง

รับคู่อินพุต - เอาต์พุต $(x_i,y_i)$ ฉันต้องการประเมินฟังก์ชั่น $f(\cdot)$ ดังนี้

f (x) \approx u (x) = \sum_{i = 1}^{m} α_{i} K (x, x_{i}),

$\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation}$ ที่ไหน

K (\cdot, \cdot)

$K(\cdot,\cdot)$ เป็นฟังก์ชั่นเคอร์เนล ค่าสัมประสิทธิ์

α_{m}

$\alpha_m$ สามารถพบได้โดยการแก้

min_{α \in R^{n}} \frac{1}{n} ‖ Y - K α ‖_{R^{n}}^{2} + λ α^{T} K α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}$ ที่มีการละเมิดบางส่วนของโน้ตที่

i, j

$i,j$ 'รายการของเมทริกซ์เคอร์เนลวันที่

K

$K$ คือ

K (x_{i}, x_{j})

$K(x_{i},x_{j})$ {J})} สิ่งนี้จะให้

α^{*} = (K + λ n I)^{- 1} Y .

$\begin{equation} \alpha^*=(K+\lambda nI)^{-1}Y. \end{equation}$ อีกวิธีหนึ่งเราสามารถรักษาปัญหาดังกล่าวเป็นปัญหาการถดถอยแบบเส้นตรง / ปัญหาการถดถอยเชิงเส้น:

min_{α \in R^{n}} \frac{1}{n} ‖ Y - K α ‖_{R^{n}}^{2} + λ α^{T} α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}\alpha},\end{equation}$ พร้อมทางออก

α^{*} = (K^{T} K + λ n I)^{- 1} K^{T} Y .

$\begin{equation} {\alpha^*=(K^{T}K +\lambda nI)^{-1}K^{T}Y}. \end{equation}$

อะไรคือความแตกต่างที่สำคัญระหว่างทั้งสองแนวทางและวิธีแก้ปัญหาของพวกเขา

— MthQ
แหล่งที่มา

stats.stackexchange.com/questions/79192/…

— Cagdas Ozgenc

@MThQ - คำอธิบายของคุณเกี่ยวกับการถดถอยแนวสัน 'ปกติ' ยังคงใช้ได้หรือไม่? เพียงเพื่อชี้แจงว่าฉันคิดว่าการถดถอยของสันเขาปกติจะถือว่าเป็นการทำงานครั้งแรก (ซึ่งเป็นการนำเสนอคุณลักษณะที่ชัดเจน)

— rnoodle

ดังที่คุณอาจสังเกตเห็นเมื่อเขียนปัญหาการปรับให้เหมาะสมความแตกต่างเพียงเล็กน้อยในการย่อขนาดคือบรรทัดฐานของฮิลแบร์ตที่ใช้สำหรับการลงโทษ นั่นคือการหาปริมาณของค่าใหญ่ของสำหรับการลงโทษ ในการตั้งค่า RKHS เราใช้ผลิตภัณฑ์ภายใน RKHSในขณะที่การถดถอยของสันเขาลงโทษด้วยความเคารพต่อกฎเกณฑ์แบบยุคลิด $\alpha$ $\alpha^tK\alpha$

ผลที่ตามทฤษฎีที่น่าสนใจคือว่าวิธีการแต่ละผลกระทบคลื่นความถี่ของการทำซ้ำเคอร์เนลKตามทฤษฎีของ RKHS เรามีว่าเป็นสมการเชิงบวกแน่นอน จากทฤษฎีบทของสเปกตรัมเราสามารถเขียนโดยที่คือเมทริกซ์แนวทแยงของค่าลักษณะเฉพาะและคือเมทริกซ์แบบของ eigenvectors ดังนั้นในการตั้งค่า RKHS start ในขณะเดียวกันในการตั้งค่าการถดถอยริดจ์ให้สังเกตว่าโดยสมมาตร $K$ $K$ $K = U^tDU$ $D$ $U$

\begin{aligned} (K + λ n I)^{- 1} Y & = [U^{t} (D + λ n I) U]^{- 1} Y \\ = U^{t} [D + λ n I]^{- 1} U Y . \end{aligned}

$\begin{align} (K+\lambda nI)^{-1}Y &= [U^t(D+\lambda nI)U]^{-1}Y\\ &= U^t[D+\lambda nI]^{-1}UY. \end{align}$

K^{t} K = K^{2}

$K^tK=K^2$

\begin{aligned} (K^{2} + λ n I)^{- 1} K Y & = [U^{t} (D^{2} + λ n I) U]^{- 1} K Y \\ = U^{t} [D^{2} + λ n I]^{- 1} U K Y \\ = U^{t} [D^{2} + λ n I]^{- 1} D U Y \\ = U^{t} [D + λ n D^{- 1}]^{- 1} U Y . \end{aligned}

$\begin{align} (K^2+\lambda nI)^{-1}KY &= [U^t(D^2+\lambda nI)U]^{-1}KY\\ &= U^t[D^2+\lambda nI]^{-1}UKY\\ &= U^t[D^2+\lambda nI]^{-1}DUY\\ &= U^t[D+\lambda nD^{-1}]^{-1}UY. \end{align}$ ให้สเปกตรัมของเป็น\ใน RKHS ถดถอยค่าลักษณะเฉพาะที่มีเสถียรภาพโดย n ในการถดถอยริดจ์เรามี n เป็นผลให้ RKHS ปรับเปลี่ยนค่าลักษณะเฉพาะอย่างสม่ำเสมอในขณะที่ Ridge เพิ่มค่าที่มากขึ้นหากสอดคล้องกันมีขนาดเล็กลง

K

$K$

ν_{1}, \dots, ν_{n}

$\nu_1,\ldots,\nu_n$

ν_{i} \to ν_{i} + λ n

$\nu_i\rightarrow\nu_i+\lambda n$

ν_{i} \to ν_{i} + λ n / ν_{i}

$\nu_i\rightarrow \nu_i + \lambda n/\nu_i$

ν_{i}

$\nu_i$

ขึ้นอยู่กับทางเลือกของเคอร์เนลการประมาณสองค่าสำหรับอาจใกล้หรือไกลจากกัน ระยะทางในความรู้สึกปกติของผู้ปฏิบัติงานคือ อย่างไรก็ตามสิ่งนี้ยังคงถูก จำกัด ขอบเขตสำหรับกำหนด $\alpha$

\begin{aligned} ‖ α_{RKHS} - α_{Ridge} ‖_{ℓ^{2}} & = ‖ A_{RKHS} Y - A_{Ridge} Y ‖_{ℓ^{2}} \\ \leq ‖ [D + λ n I]^{- 1} - [D + λ n D^{- 1}]^{- 1} ‖_{\infty} ‖ Y ‖_{ℓ^{2}} \\ \leq max_{i = 1, \dots, n} {| (ν_{i} + λ n)^{- 1} - (ν_{i} + λ n / ν_{i})^{- 1} |} ‖ Y ‖_{ℓ^{2}} \\ \leq max_{i = 1, \dots, n} {\frac{λ n | 1 - ν_{i} |}{(ν_{i} + λ n) (ν_{i}^{2} + λ n)}} ‖ Y ‖_{ℓ^{2}} \end{aligned}

$\begin{align} \|{\alpha_\text{RKHS}-\alpha_\text{Ridge}}\|_{\ell^2} &= \|{ A_\text{RKHS}Y-A_\text{Ridge}Y }\|_{\ell^2}\\ &\le \|[D+\lambda nI]^{-1}-[D+\lambda n D^{-1}]^{-1}\|_\infty\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{| (\nu_i+\lambda n)^{-1} - (\nu_i+\lambda n/\nu_i)^{-1} |\right\}\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{ \frac{\lambda n|1-\nu_i|}{(\nu_i+\lambda n)(\nu_i^2+\lambda n)} \right\}\|Y\|_{\ell^2}\\ \end{align}$

Y

$Y$ ดังนั้นตัวประมาณสองค่าของคุณจึงไม่สามารถแยกออกจากกันได้โดยพลการ ดังนั้นหากเคอร์เนลของคุณใกล้กับตัวตนแล้วส่วนใหญ่จะมีความแตกต่างเล็กน้อยในแนวทาง ถ้าเมล็ดของคุณแตกต่างกันอย่างมากทั้งสองวิธียังสามารถนำไปสู่ผลลัพธ์ที่คล้ายกันได้

ในทางปฏิบัติมันเป็นการยากที่จะพูดอย่างชัดเจนหากคนหนึ่งดีกว่าคนอื่นสำหรับสถานการณ์ที่กำหนด เมื่อเราลดข้อผิดพลาดกำลังสองลงเมื่อแสดงข้อมูลในแง่ของฟังก์ชันเคอร์เนลเราจึงเลือกเส้นโค้งการถดถอยที่ดีที่สุดจากฟังก์ชันของ Hilbert ที่สอดคล้องกัน ดังนั้นการลงโทษด้วยความเคารพต่อผลิตภัณฑ์ภายใน RKHS ดูเหมือนจะเป็นวิธีธรรมชาติในการดำเนินการ

— Adam B Kashlak
แหล่งที่มา

คุณมีการอ้างอิงสำหรับสิ่งนี้หรือไม่?

— rnoodle