ความแตกต่างระหว่าง Primal, Dual และ Kernel Ridge Regression

ความแตกต่างระหว่างPrimal , DualและKernel Ridge Regression คืออะไร? ผู้คนกำลังใช้ทั้งสามและเนื่องจากความแตกต่างของสัญลักษณ์ที่ทุกคนใช้ในแหล่งที่แตกต่างกันเป็นเรื่องยากสำหรับฉันที่จะติดตาม

ดังนั้นใครบางคนสามารถบอกฉันด้วยคำพูดง่ายๆสิ่งที่แตกต่างระหว่างสามคนนี้คืออะไร? นอกจากนี้สิ่งที่อาจเป็นข้อดีหรือข้อเสียของแต่ละคนและสิ่งที่มีความซับซ้อนของพวกเขา?

คำตอบสั้น ๆ : ไม่มีความแตกต่างระหว่าง Primal และ Dual - เป็นเพียงเกี่ยวกับวิธีการแก้ปัญหา การถดถอยของสันเคอร์เนลเป็นหลักเช่นเดียวกับการถดถอยสันปกติ แต่ใช้เคล็ดลับเคอร์เนลเพื่อไปที่ไม่ใช่เชิงเส้น

การถดถอยเชิงเส้น

ก่อนอื่นการถดถอยเชิงเส้นแบบ Least Squares แบบปกติพยายามที่จะใส่เส้นตรงกับชุดของจุดข้อมูลในลักษณะที่ผลรวมของข้อผิดพลาดกำลังสองน้อยที่สุด

เรา parametrize เส้นแบบที่ดีที่สุดกับ$\mathbb w$และแต่ละจุดข้อมูล$(\mathbf x_i, y_i)$เราต้องการ$\mathbf w^T \mathbf x_i \approx y_i$ฉัน ให้$e_i = y_i - \mathbf w^T \mathbf x_i$เป็นข้อผิดพลาด - ระยะห่างระหว่างค่าคาดการณ์และความจริง ดังนั้นเป้าหมายของเราคือการลดผลรวมของความคลาดเคลื่อนกำลังสองน้อยที่สุด$\sum e_i^2 = \| \mathbf e \|^2 = \| X \mathbf w - \mathbf y \|^2$โดยที่$X = \begin{bmatrix} — \mathbf x_1 \,— \\ — \mathbf x_2 \,— \\ \vdots \\ — \mathbf x_n \,— \end{bmatrix}$- เมทริกซ์ข้อมูลกับแต่ละ$\mathbf x_i$เป็นแถวและ$\mathbf y = (y_1 , \ ... \ , y_n)$เวกเตอร์ที่มีทุก$y_i$'s

ดังนั้นวัตถุประสงค์คือ$\min\limits_{\mathbf w} \| X \mathbf w - \mathbf y \|^2$และวิธีแก้ไขคือ$\mathbf w = (X^T X)^{-1} X^T \mathbf y$ (รู้จักกันในชื่อ "สมการปกติ")

สำหรับจุดที่มองไม่เห็นข้อมูลใหม่$\mathbf x$เราคาดการณ์ค่าเป้าหมายของYเป็นY = W T x$\hat y$$\hat y = \mathbf w^T \mathbf x$

การถดถอยของสัน

เมื่อมีตัวแปรที่สัมพันธ์กันจำนวนมากในตัวแบบการถดถอยเชิงเส้นสัมประสิทธิ์$\mathbf w$สามารถกำหนดได้ไม่ดีและมีความแปรปรวนจำนวนมาก หนึ่งของการแก้ปัญหาในการแก้ไขปัญหานี้คือการ จำกัด น้ำหนัก$\mathbf w$เพื่อให้พวกเขาจะไม่เกินงบประมาณบางC$C$นี่คือเทียบเท่ากับการใช้$L_2$ -regularization ยังเป็นที่รู้จักในฐานะ "ผุน้ำหนัก" มันจะลดความแปรปรวนที่ค่าใช้จ่ายของบางครั้งหายไปผลลัพธ์ที่ถูกต้อง (เช่นโดยการแนะนำอคติบางอย่าง)

เป้าหมายตอนนี้กลายเป็น$\min\limits_{\mathbf w} \| X \mathbf w - y \|^2 + \lambda \, \| \mathbf w \|^2$โดย$\lambda$เป็นพารามิเตอร์การทำให้เป็นมาตรฐาน เราจะได้คำตอบดังต่อไปนี้:$\mathbf w = (X^T X + \lambda \, I )^{-1} X^T \mathbf y$ Y มันคล้ายกันมากกับการถดถอยเชิงเส้นปกติ แต่ที่นี่เราเพิ่ม$\lambda$แต่ละองค์ประกอบเส้นทแยงมุมของ$X^T X$ X

โปรดทราบว่าเราสามารถเขียน$\mathbf w$เป็น$\mathbf w = X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$ (ดูที่นี่สำหรับรายละเอียด) สำหรับจุดที่มองไม่เห็นข้อมูลใหม่$\mathbf x$เราคาดการณ์ค่าเป้าหมายของปีเป็นปี$\hat y$$\hat y = \mathbf x^T \mathbf w = \mathbf x^T X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$ปี ให้$\boldsymbol \alpha = (X X^T + \lambda \, I)^{-1} \mathbf y$ปี แล้ว Y = x T X T α = n Σฉัน= 1 α ฉัน ⋅ x T xฉัน$\hat y = \mathbf x^T X^T \boldsymbol \alpha = \sum\limits_{i=1}^{n} \alpha_i \cdot \mathbf x^T \mathbf x_i$

ริดจ์ถดถอยแบบคู่

เราสามารถดูวัตถุประสงค์ของเราได้ - และกำหนดปัญหาโปรแกรมกำลังสองต่อไปนี้:

$\min\limits_{\mathbf e, \mathbf w} \sum\limits_{i = 1}^n e_i^2$ st$e_i = y_i - \mathbf w^T \mathbf x_i$สำหรับ$i = 1 \, .. \, n$และ$\| \mathbf w \|^2 \leqslant C$ C

มันเป็นวัตถุประสงค์เดียวกัน แต่แสดงออกค่อนข้างแตกต่างกันและที่นี่มีข้อ จำกัด เกี่ยวกับขนาดของ$\mathbf w$อย่างชัดเจน เพื่อแก้ปัญหานั้นเราได้นิยาม Lagrangian $\mathcal L_p(\mathbf w, \mathbf e ; C)$ - นี่คือรูปแบบดั้งเดิมที่มีตัวแปรดั้งเดิม$\mathbf w$และ$\mathbf e$แล้วเราจะเพิ่มประสิทธิภาพของมัน WRT $\mathbf e$และW$\mathbf w$เพื่อให้ได้สูตรคู่เราใส่$\mathbf e$และ$\mathbf w$กลับไปที่$\mathcal L_p(\mathbf w, \mathbf e ; C)$ )

ดังนั้น$\mathcal L_p(\mathbf w, \mathbf e ; C) = \| \mathbf e \|^2 + \boldsymbol \beta^T (\mathbf y - X \mathbf w - \mathbf e) - \lambda \, (\| \mathbf w \|^2 - C)$ ) ด้วยการใช้อนุพันธ์ wrt$\mathbf w$และ $\mathbf e$เราได้$\mathbf e = \cfrac{1}{2} \boldsymbol \beta$และ$\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta$β โดยให้$\boldsymbol \alpha = \cfrac{1}{2 \lambda} \boldsymbol \beta$และวาง$\mathbf e$และ$\mathbf w$กลับไป$\mathcal L_p(\mathbf w, \mathbf e ; C)$เราได้รับคู่ลากรองจ์$\mathcal L_d(\boldsymbol \alpha, \lambda; C) = -\lambda^2 \| \boldsymbol \alpha \|^2 + 2 \lambda \, \boldsymbol \alpha^T y - \lambda \| X^T \boldsymbol \alpha \| - \lambda C$ C หากเราหาอนุพันธ์ wrt$\boldsymbol \alpha$เราจะได้$\boldsymbol \alpha = (XX^T - \lambda I)^{-1} \mathbf y$ - คำตอบเดียวกับ Kernel Ridge Regression ไม่จำเป็นต้องใช้อนุพันธ์ wrt$\lambda$ - ขึ้นอยู่กับ$C$ซึ่งเป็นพารามิเตอร์การทำให้เป็นมาตรฐาน - และมันก็ทำให้พารามิเตอร์$\lambda$ normalization เช่นกัน

ถัดไปใส่$\boldsymbol \alpha$ไปยังโซลูชันรูปแบบเบื้องต้นสำหรับ$\mathbf w$และรับ$\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta = X^T \boldsymbol \alpha$α ดังนั้นรูปแบบที่สองให้วิธีการแก้ปัญหาเช่นเดียวกับสันถดถอยปกติและเป็นเพียงวิธีที่แตกต่างกันในการแก้ปัญหาเดียวกัน

การถดถอยของเคอร์เนลเคอร์เนล

Kernels are used to calculate inner product of two vectors in some feature space without even visiting it. We can view a kernel $k$ as $k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$, although we don't know what $\phi(\cdot)$ is - we only know it exists. There are many kernels, e.g. RBF, Polynonial, etc.

We can use kernels to make our Ridge Regression non-linear. Suppose we have a kernel $k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$. Let $\Phi(X)$ be a matrix where each row is $\phi(\mathbf x_i)$, i.e. $\Phi(X) = \begin{bmatrix} — \phi(\mathbf x_1) \,— \\ — \phi(\mathbf x_2) \,— \\ \vdots \\ — \phi(\mathbf x_n) \,— \end{bmatrix}$

Now we can just take the solution for Ridge Regression and replace every $X$ with $\Phi(X)$: $\mathbf w = \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$. For a new unseen data point $\mathbf x$ we predict its target value $\hat y$ as $\hat y= \mathbf \phi(\mathbf x)^T \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$.

First, we can replace $\Phi(X) \Phi(X)^T$ by a matrix $K$, calculated as $(K)_{ij} = k(\mathbf x_i, \mathbf x_j)$. Then, $\phi(\mathbf x)^T \Phi(X)^T$ is $\sum\limits_{i = 1}^n \phi(\mathbf x)^T \phi(\mathbf x_i) = \sum\limits_{i = 1}^n k(\mathbf x, \mathbf x_j)$. So here we managed to express every dot product of the problem in terms of kernels.

Finally, by letting $\boldsymbol \alpha = (K + \lambda \, I)^{-1} \mathbf y$ (as previously), we obtain $\hat y= \sum\limits_{i = 1}^n \alpha_i k(\mathbf x, \mathbf x_j)$

References

• Machine Learning I class at TU Berlin
• Elements of Statistical Learning, http://statweb.stanford.edu/~tibs/ElemStatLearn/
• http://0agr.ru/wiki/index.php/Normal_Equation
• http://stat.wikia.com/wiki/Kernel_Ridge_Regression
• http://stat.rutgers.edu/home/tzhang/papers/ml02_dual.pdf
• http://www.ics.uci.edu/~welling/classnotes/papers_class/Kernel-Ridge.pdf
• http://www.cs.nyu.edu/~mohri/mls/lecture_8.pdf