การพิสูจน์ค่าสัมประสิทธิ์การหดตัวโดยใช้การถดถอยแบบสันผ่าน“ การสลายตัวของสเปกตรัม”

ฉันเข้าใจว่าการถดถอยของสันเขาลดค่าสัมประสิทธิ์ไปสู่ศูนย์ทางเรขาคณิต ยิ่งไปกว่านั้นฉันรู้วิธีที่จะพิสูจน์ว่าในกรณีพิเศษ "Orthonormal" แต่ฉันสับสนว่ามันทำงานอย่างไรในกรณีทั่วไปผ่าน "การสลายตัวทางสเปกตรัม"

— jeza
แหล่งที่มา

คุณระบุว่าคุณสับสน แต่คำถามของคุณคืออะไร

— whuber

คำถามปรากฏขึ้นเพื่อขอการสาธิตว่าการถดถอยของริดจ์ลดค่าสัมประสิทธิ์เป็นศูนย์โดยใช้การสลายตัวของสเปกตรัม การสลายตัวของสเปกตรัมสามารถเข้าใจได้ว่าเป็นผลมาจากการสลายตัวของเอกพจน์ (SVD) ดังนั้นโพสต์นี้เริ่มต้นด้วย SVD มันอธิบายในแง่ง่ายแล้วแสดงให้เห็นถึงการใช้งานที่สำคัญ จากนั้นจะแสดงการสาธิต (พีชคณิต) ตามที่ร้องขอ (แน่นอนว่าพีชคณิตนั้นเหมือนกับการสาธิตทางเรขาคณิตมันเป็นเพียงภาษาที่แตกต่างกัน)

แหล่งเดิมของคำตอบนี้สามารถพบได้ในบันทึกหลักสูตรการถดถอยของฉัน รุ่นนี้แก้ไขข้อผิดพลาดเล็กน้อย

SVD คืออะไร

ใด ๆเมทริกซ์กับ , สามารถเขียนได้ที่ $n\times p$ $X$ $p \le n$

X = U D V^{'}

$X = UDV^\prime$

เป็นเมทริกซ์ $U$ $n\times p$
- คอลัมน์ของมีความยาว1 $U$ $1$
- คอลัมน์ของเป็นมุมฉากซึ่งกันและกัน $U$
- พวกเขาจะเรียกว่าองค์ประกอบหลักของX $X$
เป็นเมทริกซ์ $V$ $p \times p$
- คอลัมน์ของมีความยาว1 $V$ $1$
- คอลัมน์ของเป็นมุมฉากซึ่งกันและกัน $V$
- นี้จะทำให้การหมุนของ P $V$ $\mathbb{R}^p$
คือเมทริกซ์แนวทแยง $D$ $p \times p$
- องค์ประกอบเส้นทแยงมุมไม่ได้เป็นลบ เหล่านี้เป็นค่าเอกพจน์ของX $d_{11}, d_{22}, \ldots, d_{pp}$ $X$
- หากเราต้องการเราอาจสั่งให้พวกเขาจากมากที่สุดไปหาน้อยที่สุด

เกณฑ์ (1) และ (2) ยืนยันว่าทั้งและเป็นเมทริกซ์แบบorthonormal พวกเขาสามารถสรุปได้อย่างเรียบร้อยโดยเงื่อนไข $U$ $V$

U^{'} U = 1_{p}, V^{'} V = 1_{p} .

$U^\prime U = 1_p,\ V^\prime V = 1_p.$

ผลที่ตามมา (นั่นคือหมายถึงการหมุน), เช่นกัน สิ่งนี้จะถูกใช้ในการสืบทอดการถดถอยแบบสันด้านล่าง $V$ $VV^\prime = 1_p$

มันทำอะไรให้เรา

มันสามารถลดความซับซ้อนของสูตร สิ่งนี้ใช้ได้ทั้งเชิงพีชคณิตและแนวคิด นี่คือตัวอย่างบางส่วน.

สมการปกติ

พิจารณาการถดถอยที่เป็นปกติมีความเป็นอิสระและกระจายกันไปตามกฎหมายที่มีศูนย์ความคาดหวังและความแปรปรวน จำกัด 2วิธีการแก้ปัญหาน้อยสแควร์ผ่านทางปกติคือสมการ การใช้ SVD และทำให้ระเบียบพีชคณิตที่ทำให้เกิดผลลัพธ์ (ซึ่งเป็นเรื่องง่าย) ทำให้เข้าใจได้ง่าย: $y = X\beta + \varepsilon$ $\varepsilon$ $\sigma^2$

\hat{β} = (X^{'} X)^{- 1} X^{'} y .

$\hat\beta = (X^\prime X)^{-1} X^\prime y.$

(X^{'} X)^{- 1} X^{'} = ((ยู D V^{'})^{'} (ยู D V^{'}))^{- 1} (ยู D V^{'})^{'} = (V D {ยู}^{'} ยู D V^{'})^{- 1} (V D {ยู}^{'}) = V D^{- 2} V^{'} V D {ยู}^{'} = V D^{- 1} {ยู}^{'} .

$(X^\prime X)^{-1} X^\prime = ((UDV^\prime)^\prime (UDV^\prime))^{-1} (UDV^\prime)^\prime \\= (VDU^\prime U D V^\prime)^{-1} (VDU^\prime) = VD^{-2}V^\prime VDU^\prime = VD^{-1}U^\prime.$

ข้อแตกต่างระหว่างสิ่งนี้กับคือการใช้ส่วนกลับขององค์ประกอบของ ! กล่าวอีกนัยหนึ่ง "สมการ" ได้รับการแก้ไขโดย "การแปลงกลับ" : สิ่งนี้หลอก - ผกผันยกเลิกการหมุนรอบตัวและ (เพียงแค่เปลี่ยนพวกมัน) และยกเลิกการคูณ (แทนด้วย ) ในแต่ละหลัก ทิศทาง. $X^\prime = VDU^\prime$ $D$ $y=X\beta$ $X$ $U$ $V^\prime$ $D$

สำหรับการอ้างอิงในอนาคตแจ้งให้ทราบว่า "หมุน" ประมาณการมีผลรวมเชิงเส้นของ "หมุน" การตอบสนอง Yค่าสัมประสิทธิ์มีแปรผกผันของ (บวก) องค์ประกอบเส้นทแยงมุมของเท่ากับฉัน $V^\prime \hat\beta$ $U^\prime y$ $D$ $d_{ii}^{-1}$

ความแปรปรวนร่วมของการประมาณค่าสัมประสิทธิ์

จำได้ว่าความแปรปรวนของการประมาณการเป็น ใช้ SVD นี้จะกลายเป็น กล่าวอีกนัยหนึ่งความแปรปรวนร่วมกระทำเช่นเดียวกับตัวแปร orthogonalแต่ละตัวมีค่าความแปรปรวน

Cov (\hat{β}) = σ^{2} (X^{'} X)^{- 1} .

$\text{Cov}(\hat\beta) = \sigma^2(X^\prime X)^{-1}.$

σ^{2} (V D^{2} V^{'})^{- 1} = σ^{2} V D^{- 2} V^{'} .

$\sigma^2(V D^2 V^\prime)^{-1} = \sigma^2 V D^{-2} V^\prime.$

k

$k$

d_{i i}^{2}

$d^2_{ii}$ ที่ได้รับการหมุนใน

R^{k}

$\mathbb{R}^k$

เมทริกซ์ Hat

เมทริกซ์หมวกเป็นโดยวิธีการของผลก่อนหน้านี้เราอาจจะเขียนมันเป็น! ง่าย

H = X (X^{'} X)^{- 1} X^{'} .

$H = X(X^\prime X)^{-1} X^\prime.$

H = (ยู D V^{'}) (V D^{- 1} {ยู}^{'}) = ยู {ยู}^{'} .

$H = (UDV^\prime)(VD^{-1}U^\prime) = UU^\prime.$

Eigenanalysis (การสลายตัวของสเปกตรัม)

X^{'} X = V D {ยู}^{'} ยู D V^{'} = V D^{2} V^{'}

$X^\prime X = VDU^\prime U D V^\prime = VD^2V^\prime$

X X^{'} = ยู D V^{'} V D {ยู}^{'} = ยู D^{2} {ยู}^{'},

$XX^\prime = UDV^\prime VDU^\prime = UD^2U^\prime,$

$X^\prime X$ $XX^\prime$
$V$ $X^\prime X$
$U$ $X X^\prime$

SVD สามารถวินิจฉัยและแก้ไขปัญหา collinearity

การประมาณค่าถดถอย

$UDV^\prime$ $U$ $y$

การถดถอยของสัน

$X$ $y$ $X$ $\lambda \gt 0$

\begin{aligned} {\hat{β}}_{R} & = (X^{'} X + λ)^{- 1} X^{'} Y \\ = (V D^{2} V^{'} + λ 1_{พี})^{- 1} V D {ยู}^{'} Y \\ = (V D^{2} V^{'} + λ V V^{'})^{- 1} V D {ยู}^{'} Y \\ = (V (D^{2} + λ) V^{'})^{- 1} V D {ยู}^{'} Y \\ = V (D^{2} + λ)^{- 1} V^{'} V D {ยู}^{'} Y \\ = V (D^{2} + λ)^{- 1} D {ยู}^{'} Y . \end{aligned}

$\begin{aligned}\hat\beta_R &= (X^\prime X + \lambda)^{-1}X^\prime y \\ &= (VD^2V^\prime + \lambda\,1_p)^{-1}VDU^\prime y \\ &= (VD^2V^\prime + \lambda V V^\prime)^{-1}VDU^\prime y \\ &= (V(D^2 + \lambda)V^\prime)^{-1} VDU^\prime y \\ &= V(D^2+\lambda)^{-1}V^\prime V DU^\prime y \\ &= V(D^2 + \lambda)^{-1} D U^\prime y.\end{aligned}$

$\hat\beta$ $D^{-1} = D^{-2}D$ $(D^2+\lambda)^{-1}D$ $D^2/(D^2+\lambda)$ $\lambda \gt 0$

ผลที่ได้นี้จะต้องมีความเข้าใจในความรู้สึกที่ค่อนข้างบอบบางพาดพิงถึงก่อนหน้านี้ที่: หมุนประมาณการ $V^\prime\hat\beta_R$ $U^\prime y$ $d_{ii}^{-1}$ $d_{ii}^2/(d_{ii}^2 + \lambda)$ $\lambda$ $\hat\beta_R$

$d_{ii}^{-1}$

— whuber
แหล่งที่มา

@Glen_b เป็นจุดที่ดี: ฉันจำเป็นต้องมีความชัดเจนเกี่ยวกับเศษส่วนที่ฉันกำลังพิจารณา! ฉันจะแก้ไขมัน

— whuber

U U^{'} = 1_{p}

$UU^\prime=1_p$

U

$U$

1

$1$

(2)

ตามจากการสังเกตที่

\sqrt{1} = 1

$\sqrt{1}=1$

V V^{'} = 1_{p}

$VV^\prime=1_p$

V

$V$

V^{- 1}

$V^{-1}$

(V^{- 1})^{'} (V^{- 1}) = 1_{p}

$(V^{-1})^\prime(V^{-1})=1_p$

V^{- 1} = V^{'}

$V^{-1}=V^\prime$

V V^{'} = (V^{'})^{'} V^{'} = 1_{p}

$VV^\prime=(V^\prime)^\prime V^\prime=1_p$

@Vimal ขอบคุณสำหรับคำแนะนำที่ดี ตอนนี้ฉันได้รวมคำอธิบายไว้ในส่วน "สมการปกติ" ซึ่งมีการแนะนำตัวแบบการถดถอย

— whuber

X

$X$

V D {ยู}^{'} = X^{'} = X = ยู D V^{'} .

$VDU^\prime=X^\prime=X=UDV^\prime.$

U = V

$U=V$

X

$X$

\hat{y}

$\hat{y}$