ความสัมพันธ์ระหว่างการถดถอยของสันเขากับการถดถอย PCA

ฉันจำได้ว่ามีการอ่านการเชื่อมต่อระหว่างสันเขา (กับการทำให้เป็นมาตรฐาน $\ell_2$ ) และการถดถอย PCA: ในขณะที่ใช้การถดถอยปกติกับ hyperparameterถ้าแล้วการถดถอยนั้นเทียบเท่ากับการลบ ตัวแปร PC ที่มีค่าลักษณะเฉพาะน้อยที่สุด $\ell_2$ $\lambda$ $\lambda \to 0$

ทำไมเรื่องนี้ถึงเป็นจริง?
สิ่งนี้เกี่ยวข้องกับกระบวนการเพิ่มประสิทธิภาพหรือไม่ ฉันจะคาดหวังให้เทียบเท่ากับ OLS อย่างไร้เดียงสา
ใครบ้างมีการอ้างอิงสำหรับเรื่องนี้?

— Jose G
แหล่งที่มา

คุณช่วยอธิบายวิธีการเชื่อมโยง PCA และการถดถอยให้ชัดเจนขึ้นได้อย่างไร การถดถอยนั้นขึ้นอยู่กับตัวแปรอิสระในขณะที่ไม่มีการเรียงลำดับใด ๆ ใน PCA แล้วคุณใช้ตัวแปร PCA กับอะไร มันไม่สามารถเป็นเพียงตัวแปรอิสระเพราะมันมีส่วนเกี่ยวข้องกับการถดถอยเล็กน้อย แต่ถ้ามันใช้กับตัวแปรทั้งหมดแล้ว eigenvector ก็คือการรวมกันเชิงเส้นของพวกมันทั้งหมด มันอาจหมายถึงสิ่งที่อาจจะลบใด ๆองค์ประกอบดังกล่าวจากชุดเพราะมันเกี่ยวข้องกับตัวแปรตาม?

— whuber

การเชื่อมต่อ (เท่าที่ฉันเข้าใจ) ก็คือถ้าคุณใช้การปรับให้เป็นมาตรฐานเล็กน้อยมากการถดถอยปกติ L2 จะเป็นการลบตัวแปรที่มีค่าลักษณะเฉพาะน้อยที่สุด ดังนั้นการทำ SVD บนเมทริกซ์การออกแบบและการลบตัวแปรด้วยค่าลักษณะเฉพาะที่เล็กที่สุดนั้นเทียบเท่ากับการถดถอยที่มีโทษแบบ "นุ่มนวล" ... นี่เป็นคำอธิบายที่ใกล้เคียงที่สุดที่ฉันพบ: sites.stat.psu edu / ~ jiali / course / stat597e / notes2 / lreg.pdf

— Jose G

การอ้างอิงของคุณดูเหมือนจะแสดงสิ่งที่ตรงกันข้ามกับสิ่งที่คุณพูดในความคิดเห็นของคุณ: สำหรับขนาดเล็ก

λ

$\lambda$ มีการเปลี่ยนแปลงเล็กน้อยในผลลัพธ์ ไม่มีอะไรถูกลบเลย ในความเป็นจริงสไลด์หลาย ๆ ตัวดูเหมือนจะชี้ให้เห็นถึงความแตกต่างระหว่างการถดถอย

L^{2}

$L^2$ ถูกลงโทษ (ซึ่งการประมาณการลดลงเหลือ

0

$0$ ) และ "การถดถอย PCA" (ซึ่งองค์ประกอบที่เล็กที่สุดจะถูกลบออกทั้งหมด - ซึ่งอาจเป็นสิ่งที่แย่มาก บางสถานการณ์)

— whuber

อืม .. พบการอ้างอิงอื่น: statweb.stanford.edu/~owen/courses/305/Rudyregularization.pdf ในสไลด์ "

และส่วนประกอบหลัก" มันบอกว่า ridge ถดถอยโครงการ y บนองค์ประกอบเหล่านี้ด้วย dj ขนาดใหญ่ * ถอนหายใจ *

y^{r i d g e}

$y^{ridge}$

— Jose G

คุณสังเกตเห็นว่าหน้า 14 ข้ออ้างอิงล่าสุดตอบคำถามของคุณอย่างชัดเจนหรือไม่

— whuber

คำตอบ:

ให้เป็นศูนย์กลางเมทริกซ์ทำนายและพิจารณาความคุ้มค่าจากการสลายตัวเอกพจน์กับเป็นเมทริกซ์ทแยงมุมกับองค์ประกอบในแนวทแยง ฉัน $\mathbf X$ $n \times p$ $\mathbf X = \mathbf{USV}^\top$ $\mathbf S$ $s_i$

ค่าติดตั้งของสี่เหลี่ยมน้อยสามัญ (OLS) ถดถอยจะได้รับจากค่าติดตั้งของการถดถอยสันจะได้รับจาก

{\hat{y}}_{O L S} = X β_{O L S} = X (X^{⊤} X)^{- 1} X^{⊤} y = U U^{⊤} y .

$\hat {\mathbf y}_\mathrm{OLS} = \mathbf X \beta_\mathrm{OLS} = \mathbf X (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y = \mathbf U \mathbf U^\top \mathbf y.$

ค่าติดตั้งของ PCA ถดถอย (PCR) กับ

ส่วนประกอบจะได้รับจาก

{\hat{y}}_{r i d g e} = X β_{r i d g e} = X (X^{⊤} X + λ I)^{- 1} X^{⊤} y = U d i a g {\frac{s_{i}^{2}}{s_{i}^{2} + λ}} U^{⊤} y .

$\hat {\mathbf y}_\mathrm{ridge} = \mathbf X \beta_\mathrm{ridge} = \mathbf X (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y = \mathbf U\: \mathrm{diag}\left\{\frac{s_i^2}{s_i^2+\lambda}\right\}\mathbf U^\top \mathbf y.$

k

$k$

ที่มี

คนตามด้วยเลขศูนย์

{\hat{Y}}_{P ค R} = X_{P ค A} β_{P ค R} = ยู d ผม a ก. {1, ..., 1, 0, ... 0} {ยู}^{⊤} Y,

$\hat {\mathbf y}_\mathrm{PCR} = \mathbf X_\mathrm{PCA} \beta_\mathrm{PCR} = \mathbf U\: \mathrm{diag}\left\{1,\ldots, 1, 0, \ldots 0\right\}\mathbf U^\top \mathbf y,$

k

$k$

จากที่นี่เราจะเห็นว่า:

ถ้าแล้ว S $\lambda=0$ $\hat {\mathbf y}_\mathrm{ridge} = \hat {\mathbf y}_\mathrm{OLS}$
$\lambda>0$ $s_i$ $s_i^2 \approx \lambda$
$k$ $\lambda=0$ $k$ $\lambda=\infty$
ซึ่งหมายความว่าการถดถอยของสันสามารถมองได้ว่าเป็น "เวอร์ชั่นต่อเนื่อง" ของ PCR

$s_i$ $\mathbf X$
การถดถอยบนสันมีแนวโน้มที่จะทำงานได้ดีขึ้นในทางปฏิบัติ (เช่นมีประสิทธิภาพที่ผ่านการตรวจสอบความถูกต้องสูงกว่า)
$\lambda \to 0$ $\hat {\mathbf y}_\mathrm{ridge} \to \hat {\mathbf y}_\mathrm{OLS}$ $s_i$

การอ้างอิงที่ดีอย่างหนึ่งคือองค์ประกอบของการเรียนรู้เชิงสถิติส่วนที่ 3.4.1 "การถดถอยแนว"

ดูเพิ่มเติมที่เธรดนี้: การตีความการทำให้เป็นมาตรฐานของสันเขาในการถดถอยและโดยเฉพาะคำตอบของ @BrianBorchers

— อะมีบาพูดว่า Reinstate Monica
แหล่งที่มา

s_{i} -

$s_i -$

β_{L e a s t - s q u a r e s}

$\beta_{Least-squares}$

k

$k$

ยู วินิจฉัย (1_{1}, 1_{2}, . . ., 1_{k}, 0, . . ., 0) {ยู}^{T} Y

$\mathbf{U} {\text{diag}}(1_1,1_2,...,1_k,0,...,0)\mathbf{U}^T\mathbf{y}$

นี่คือสิ่งที่สวยงาม

— xxx222

องค์ประกอบของการเรียนรู้ทางสถิติมีการอภิปรายที่ดีเกี่ยวกับการเชื่อมต่อ

วิธีที่ฉันตีความการเชื่อมต่อและตรรกะนี้เป็นดังนี้:

PCA เป็นการรวมกันแบบเส้นตรงของตัวแปรคุณลักษณะพยายามเพิ่มความแปรปรวนของข้อมูลที่อธิบายโดยพื้นที่ใหม่
ข้อมูลที่ทนทุกข์ทรมานจากความหลากสี (หรือตัวทำนายมากกว่าแถวข้อมูล) นำไปสู่เมทริกซ์ความแปรปรวนร่วมที่ไม่มีอันดับเต็ม
ด้วยเมทริกซ์ความแปรปรวนร่วมนี้เราไม่สามารถกลับไปหาวิธีแก้ปัญหากำลังสองน้อยที่สุดได้ สิ่งนี้ทำให้การประมาณค่าตัวเลขของสัมประสิทธิ์กำลังสองน้อยที่สุดจะเพิ่มขึ้นจนถึงระยะอนันต์
การถดถอยของสันนำเสนอบทลงโทษแลมบ์ดาใน Covariance Matrix เพื่ออนุญาตให้เมทริกซ์ผกผันและการลู่เข้าของสัมประสิทธิ์ LS

การเชื่อมต่อ PCA คือ Ridge Regression กำลังคำนวณการรวมตัวเชิงเส้นของคุณสมบัติเพื่อกำหนดตำแหน่งที่เกิดความสัมพันธ์แบบหลายจุด การรวมคุณสมบัติเชิงเส้น (การวิเคราะห์องค์ประกอบหลัก) ที่มีความแปรปรวนน้อยที่สุด (และด้วยเหตุนี้ค่าเอกพจน์ที่น้อยลงและค่าลักษณะเฉพาะที่มีขนาดเล็กลงใน PCA) จึงเป็นการลงโทษที่ยากที่สุด

คิดแบบนี้ สำหรับชุดค่าผสมเชิงเส้นของคุณลักษณะที่มีความแปรปรวนน้อยที่สุดเราได้พบคุณลักษณะที่เหมือนกันมากที่สุด เนื่องจาก Ridge ไม่ลดชุดคุณลักษณะไม่ว่าทิศทางใดที่ชุดค่าผสมเชิงเส้นนี้จะอธิบายคุณสมบัติดั้งเดิมที่สอดคล้องกับทิศทางนั้นจะถูกลงโทษมากที่สุด

— MDornbos
แหล่งที่มา

X β = Y,

$\mathbf X \beta = \mathbf y\,,$

X

$\mathbf X$

X = ยู S V^{T},

$\mathbf X = \mathbf U \,\mathbf S \,\mathbf V^T,$

S = diag (s_{i})

$\mathbf S = \text{diag}(s_i)$

$\beta$

β_{O L S} = V S^{- 1} {ยู}^{T}

$\beta_{OLS} = \mathbf V \,\mathbf S^{-1} \,\mathbf U^T$

s_{i}

$s_i$

$\mathbf S^{-1}$ $\beta$

\begin{aligned} S_{สันเขา}^{- 1} & = วินิจฉัย (\frac{s_{ผม}}{s_{ผม}^{2} + α}), \\ β_{สันเขา} & = V S_{สันเขา}^{- 1} {ยู}^{T} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{ridge}} &= \text{diag}\bigg(\frac{s_i}{s^2_i+\alpha}\bigg),\\ \beta_{\text{ridge}} &= \ \mathbf V \,\mathbf S_{\text{ridge}}^{-1} \,\mathbf U^T \end{align}$

$\mathbf S^{-1}$

\begin{aligned} S_{PCA}^{- 1} & = วินิจฉัย (\frac{1}{s_{ผม}} θ (s_{ผม} - γ)), \\ β_{PCA} & = V S_{PCA}^{- 1} {ยู}^{T} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{PCA}} &= \text{diag}\bigg(\frac{1}{s_i} \, \theta(s_i-\gamma)\bigg)\,,\\ \beta_{\text{PCA}} &= \ \mathbf V \,\mathbf S_{\text{PCA}}^{-1} \,\mathbf U^T \end{align}$

θ

$\theta$

γ

$\gamma$

ทั้งสองวิธีจึงลดผลกระทบของ subspaces ที่สอดคล้องกับค่าขนาดเล็ก PCA ทำอย่างนั้นในขณะที่สันเขาเป็นวิธีที่นุ่มนวลกว่า

S_{myReg}^{- 1} = วินิจฉัย (R (s_{ผม})),

$\mathbf S^{-1}_{\text{myReg}} = \text{diag}\big(R(s_i)\big)\,,$

R (x)

$R(x)$

x \to 0

$x\rightarrow 0$

R (x) \to x^{- 1}

$R(x)\rightarrow x^{-1}$

x

$x$

— davidhigh
แหล่งที่มา