การถดถอยมุมน้อยทำให้ค่าสหสัมพันธ์ลดลงและโยงกัน?

ฉันพยายามที่จะแก้ปัญหาอย่างน้อยการถดถอยมุม (LAR) นี่เป็นปัญหา3.23ในหน้า97ของHastie et al., องค์ประกอบของการเรียนรู้ทางสถิติ, อันดับที่ 2 เอ็ด (พิมพ์ครั้งที่ 5)

พิจารณาปัญหาการถดถอยกับตัวแปรทั้งหมดและการตอบสนองที่มีค่าเฉลี่ยเป็นศูนย์และส่วนเบี่ยงเบนมาตรฐานหนึ่ง สมมติว่าตัวแปรแต่ละตัวมีความสัมพันธ์แบบสัมบูรณ์เหมือนกันกับการตอบสนอง:

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y} \right \rangle | = \lambda, j = 1, ..., p$

ปล่อยเป็นสัมประสิทธิ์กำลังสองน้อยที่สุดของในและปล่อยให้สำหรับ[0,1] $\hat{\beta}$ $\mathbf{y}$ $\mathbf{X}$ $\mathbf{u}(\alpha)=\alpha \bf{X} \hat{\beta}$ $\alpha\in[0,1]$

ฉันถูกขอให้แสดง

\frac{1}{N} | ⟨ x_{j}, y - u (α) ⟩ | = (1 - α) λ, j = 1, . . ., p

$\frac{1}{N} | \left \langle \bf{x}_j, \bf{y}-u(\alpha) \right \rangle | = (1 - \alpha) \lambda, j = 1, ..., p$ และฉันมีปัญหากับสิ่งนั้น หมายเหตุว่านี้สามารถโดยทั่วไปกล่าวว่าความสัมพันธ์ของแต่ละ

x_{j}

$x_j$ กับที่เหลือยังคงอยู่ในขนาดที่เท่ากันในขณะที่เรามีต่อความคืบหน้ายู

u

$u$

ฉันยังไม่รู้วิธีแสดงให้เห็นว่าสหสัมพันธ์นั้นมีค่าเท่ากับ:

$\lambda(\alpha) = \frac{(1-\alpha)}{\sqrt{(1-\alpha)^2 + \frac{\alpha (2-\alpha)}{N} \cdot RSS}} \cdot \lambda$

พอยน์เตอร์ใด ๆ ที่จะได้รับการชื่นชมอย่างมาก!

— เบลมอนต์
แหล่งที่มา

@ เบลมอนต์คุณคืออะไร

u (α)

$u(\alpha)$ ? คุณช่วยอธิบายบริบทเพิ่มเติมเกี่ยวกับปัญหาของคุณได้ไหม? เชื่อมโยงไปยังบทความที่มีคุณสมบัติมาตรฐานของ LAR เช่นจะช่วยได้มาก

— mpiktas

@ เบลมอนต์ดูเหมือนว่าปัญหาจาก Hastie และคณะองค์ประกอบการเรียนรู้ทางสถิติครั้งที่ 2 เอ็ด เป็นการบ้านหรือไม่? ถ้าเป็นเช่นนั้นคุณอาจเพิ่มแท็กนั้น

— พระคาร์ดินัล

@Belmont ตอนนี้ @cardinal ให้คำตอบที่สมบูรณ์คุณสามารถระบุ LAR จริงๆสำหรับการอ้างอิงในอนาคตได้หรือไม่? ตัดสินจากคำตอบนี่คือการจัดการมาตรฐานของผลิตภัณฑ์อย่างน้อยกำลังสองถดถอยที่ได้รับข้อ จำกัด เริ่มต้นบางอย่าง ไม่ควรมีชื่อพิเศษโดยไม่มีเหตุผลร้ายแรง

— mpiktas

@mpiktas เป็นอัลกอริทึม Stagewise ดังนั้นทุกครั้งที่ตัวแปรเข้าหรือออกจากแบบจำลองบนพา ธ การทำให้เป็นปกติขนาด (เช่น cardinality / Dimensions) ของจะเพิ่มขึ้นหรือลดลงตามลำดับและใช้การประมาณ LS ใหม่ ตัวแปร "ใช้งานอยู่" ในปัจจุบัน ในกรณีของเชือกซึ่งเป็นปัญหาการหาค่าเหมาะที่สุดของนูนกระบวนการนี้ใช้ประโยชน์จากโครงสร้างพิเศษในสภาพ KKT เพื่อให้ได้โซลูชั่นที่มีประสิทธิภาพมาก นอกจากนี้ยังมีข้อสรุปทั่วไปสำหรับเช่นการถดถอยโลจิสติกโดยใช้ IRLS และ Heine-Borel (เพื่อพิสูจน์การลู่เข้าในขั้นตอนที่ไม่ จำกัด จำนวนขั้นตอน)

β

$\beta$

— cardinal

@ เบลมอนต์ -1 เมื่อฉันเพิ่งซื้อหนังสือของ Hastie ฉันสามารถยืนยันได้ว่านี่เป็นการออกกำลังกายจากมัน ดังนั้นฉันจึงให้คุณเป็น -1 เพราะคุณไม่ได้จัดการเพื่อให้คำจำกัดความทั้งหมดฉันไม่ได้พูดถึงการอ้างอิง

— mpiktas

นี่คือปัญหา3.23ในหน้า97ของHastie et al., องค์ประกอบของการเรียนรู้ทางสถิติ , อันดับที่ 2 เอ็ด (พิมพ์ครั้งที่ 5)

กุญแจสู่ปัญหานี้คือความเข้าใจที่ดีของสแควร์สน้อยสามัญ (เช่นการถดถอยเชิงเส้น) โดยเฉพาะอย่างยิ่ง orthogonality ของค่าติดตั้งและส่วนที่เหลือ

Orthogonality lemma : ให้เป็นเมทริกซ์การออกแบบ ,เป็นเวกเตอร์การตอบสนองและพารามิเตอร์ (จริง) สมมติว่าเต็มอันดับ (ซึ่งเราจะตลอด) ที่ OLS ประมาณการของเป็นY ค่าติดตั้งเป็นY แล้ว0 นั่นคือค่าติดตั้งจะเป็นมุมฉากกับส่วนที่เหลือ สิ่งนี้ตามมาตั้งแต่ . $X$ $n \times p$ $y$ $\beta$ $X$ $\beta$ $\hat{\beta} = (X^T X)^{-1} X^T y$ $\hat{y} = X (X^T X)^{-1} X^T y$ $\langle \hat{y}, y-\hat{y} \rangle = \hat{y}^T (y - \hat{y}) = 0$ $X^T (y - \hat{y}) = X^T y - X^T X (X^T X)^{-1} X^T y = X^T y - X^T y = 0$

ตอนนี้ให้เป็นเวกเตอร์คอลัมน์ดังกล่าวว่าเป็นคอลัมน์ TH Xเงื่อนไขที่สมมติคือ: $x_j$ $x_j$ $j$ $X$

$\frac{1}{N} \langle x_j, x_j \rangle = 1$ สำหรับแต่ละ , , $j$ $\frac{1}{N} \langle y, y \rangle = 1$
$\frac{1}{N} \langle x_j, 1_p \rangle = \frac{1}{N} \langle y, 1_p \rangle = 0$ โดยที่หมายถึงเวกเตอร์ของความยาวและ $1_p$ $p$
$\frac{1}{N} | \langle x_j, y \rangle | = \lambda$ สำหรับทุกJ $j$

โปรดทราบว่าโดยเฉพาะอย่างยิ่งคำสั่งสุดท้ายของบทแทรกฉากเป็นเหมือนสำหรับทุกJ $\langle x_j, y - \hat{y} \rangle = 0$ $j$

ความสัมพันธ์จะถูกผูก

ตอนนี้{y} ดังนั้น และภาคที่สองทางด้านขวามือเป็นศูนย์โดยorthogonality lemmaดังนั้น ตามที่ต้องการ ค่าสัมบูรณ์ของสหสัมพันธ์เป็นเพียงแค่ $u(\alpha) = \alpha X \hat{\beta} = \alpha \hat{y}$

⟨ x_{J}, Y - ยู (a) ⟩ = ⟨ x_{J}, (1 - α) Y + α Y - α \hat{Y} ⟩ = (1 - α) ⟨ x_{J}, Y ⟩ + α ⟨ x_{J}, Y - \hat{Y} ⟩,

$\langle x_j, y - u(a) \rangle = \langle x_j, (1-\alpha) y + \alpha y - \alpha \hat{y} \rangle = (1-\alpha) \langle x_j, y \rangle + \alpha \langle x_j, y - \hat{y} \rangle ,$

\frac{1}{ยังไม่มีข้อความ} | ⟨ x_{J}, Y - ยู (α) ⟩ | = (1 - α) λ,

$\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle | = (1-\alpha) \lambda ,$

{\hat{ρ}}_{J} (α) = \frac{\frac{1}{ยังไม่มีข้อความ} | ⟨ x_{J}, Y - ยู (α) ⟩ |}{\sqrt{\frac{1}{ยังไม่มีข้อความ} ⟨ x_{J}, x_{J} ⟩} \sqrt{\frac{1}{ยังไม่มีข้อความ} ⟨ Y - ยู (α), Y - ยู (α) ⟩}} = \frac{(1 - α) λ}{\sqrt{\frac{1}{ยังไม่มีข้อความ} ⟨ Y - ยู (α), Y - ยู (α) ⟩}}

$\hat{\rho}_j(\alpha) = \frac{\frac{1}{N} | \langle x_j, y - u(\alpha) \rangle |}{\sqrt{\frac{1}{N} \langle x_j, x_j \rangle }\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }} = \frac{(1-\alpha)\lambda}{\sqrt{\frac{1}{N} \langle y - u(\alpha), y - u(\alpha) \rangle }}$

หมายเหตุ : ทางด้านขวาด้านบนมีความเป็นอิสระจากและตัวเศษเหมือนกับความแปรปรวนร่วมเนื่องจากเราสันนิษฐานว่า 's และทั้งหมดอยู่กึ่งกลาง (โดยเฉพาะอย่างยิ่งไม่จำเป็นต้องลบค่าเฉลี่ย ) $j$ $x_j$ $y$

ประเด็นคืออะไร? เมื่อเพิ่มเวกเตอร์การตอบสนองได้รับการแก้ไขเพื่อให้นิ้วเข้าหาทางของการแก้ปัญหากำลังสองน้อยที่สุด( จำกัด ! ) ที่ได้จากการรวมเฉพาะพารามิเตอร์แรกในโมเดล พร้อมกันนี้จะปรับเปลี่ยนพารามิเตอร์ที่ประมาณไว้เนื่องจากเป็นผลิตภัณฑ์ภายในที่เรียบง่ายของตัวทำนายที่มีเวกเตอร์การตอบสนอง (แก้ไข) การปรับเปลี่ยนใช้รูปแบบพิเศษแม้ว่า มันทำให้ (ขนาดของ) ความสัมพันธ์ระหว่างตัวทำนายและการตอบสนองที่แก้ไขเหมือนกันตลอดกระบวนการ (แม้ว่าค่าของความสัมพันธ์กำลังเปลี่ยนแปลง) ลองคิดดูว่าสิ่งนี้ทำอะไรได้บ้างและคุณจะเข้าใจชื่อของขั้นตอน! $\alpha$ $p$

รูปแบบที่ชัดเจนของสหสัมพันธ์ (สัมบูรณ์)

ให้ความสำคัญกับคำในตัวส่วนเนื่องจากตัวเศษอยู่ในรูปแบบที่ต้องการแล้ว เรามี

⟨ Y - ยู (α), Y - ยู (α) ⟩ = ⟨ (1 - α) Y + α Y - ยู (α), (1 - α) Y + α Y - ยู (α) ⟩ .

$\langle y - u(\alpha), y - u(\alpha) \rangle = \langle (1-\alpha) y + \alpha y - u(\alpha), (1-\alpha) y + \alpha y - u(\alpha) \rangle .$

การแทนค่าในและใช้ linearity ของผลิตภัณฑ์ภายในเราจะได้ $u(\alpha) = \alpha \hat{y}$

⟨ Y - ยู (α), Y - ยู (α) ⟩ = (1 - α)^{2} ⟨ Y, Y ⟩ + 2 α (1 - α) ⟨ Y, Y - \hat{Y} ⟩ + α^{2} ⟨ Y - \hat{Y}, Y - \hat{Y} ⟩ .

$\langle y - u(\alpha), y - u(\alpha) \rangle = (1-\alpha)^2 \langle y, y \rangle + 2\alpha(1-\alpha) \langle y, y - \hat{y} \rangle + \alpha^2 \langle y-\hat{y}, y-\hat{y} \rangle .$

สังเกตว่า

$\langle y, y \rangle = N$ โดยการสันนิษฐาน
$\langle y, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y} \rangle + \langle \hat{y}, y - \hat{y} \rangle = \langle y - \hat{y}, y - \hat{y}\rangle$ โดยใช้orthogonality lemma (อีกครั้ง) ในเทอมที่สองตรงกลาง; และ,
$\langle y - \hat{y}, y - \hat{y} \rangle = \mathrm{RSS}$ ตามคำจำกัดความ

เมื่อรวมทั้งหมดเข้าด้วยกันคุณจะสังเกตเห็นว่าเราได้รับ

{\hat{ρ}}_{J} (α) = \frac{(1 - α) λ}{\sqrt{(1 - α)^{2} + \frac{α (2 - α)}{ยังไม่มีข้อความ} R S S}} = \frac{(1 - α) λ}{\sqrt{(1 - α)^{2} (1 - \frac{R S S}{ยังไม่มีข้อความ}) + \frac{1}{ยังไม่มีข้อความ} R S S}}

$\hat{\rho}_j(\alpha) = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 + \frac{\alpha(2-\alpha)}{N} \mathrm{RSS}}} = \frac{(1-\alpha) \lambda}{\sqrt{ (1-\alpha)^2 (1 - \frac{\mathrm{RSS}}{N}) + \frac{1}{N} \mathrm{RSS}}}$

ในการสรุปสิ่งต่าง ๆดังนั้นมันชัดเจนว่ากำลังลดความในและเป็น1 $1 - \frac{\mathrm{RSS}}{N} = \frac{1}{N} (\langle y, y, \rangle - \langle y - \hat{y}, y - \hat{y} \rangle ) \geq 0$ $\hat{\rho}_j(\alpha)$ $\alpha$ $\hat{\rho}_j(\alpha) \downarrow 0$ $\alpha \uparrow 1$

บทส่งท้าย : มุ่งเน้นที่แนวคิดที่นี่ มีเพียงคนเดียวจริงๆ แทรกตั้งฉากไม่เกือบทุกงานสำหรับเรา ส่วนที่เหลือเป็นเพียงพีชคณิตสัญกรณ์และความสามารถในการทำให้สองอันสุดท้ายนี้ทำงานได้

— พระราชาคณะ
แหล่งที่มา

@cardinal, +1 คำตอบคือขนาดที่ดีกว่าคำถาม

— mpiktas

@cardinal คุณอาจต้องการเปลี่ยนลิงก์เป็น amazon หรือเว็บไซต์อื่น ๆ ฉันคิดว่าการลิงก์ไปยังหนังสือเล่มเต็มอาจทำให้เกิดปัญหาลิขสิทธิ์

— mpiktas

@mpiktas ไม่ ไม่มีปัญหาลิขสิทธิ์ นั่นคือเว็บไซต์อย่างเป็นทางการสำหรับหนังสือเล่มนี้ ผู้เขียนได้รับอนุญาตจาก Springer เพื่อให้สามารถใช้งาน PDF ได้อย่างอิสระออนไลน์ (ดูหมายเหตุถึงผลกระทบนี้ในเว็บไซต์) ฉันคิดว่าพวกเขาได้รับแนวคิดจาก Stephen Boyd และข้อความConvex Optimizationของเขา หวังว่าแนวโน้มดังกล่าวจะรับไอน้ำในอีกไม่กี่ปีข้างหน้า สนุก!

— พระคาร์ดินัล

@ cardinal ขอบคุณมาก! นั่นคืออันยิ่งใหญ่ใจกว้างจากผู้เขียน

— mpiktas

@mpiktas เป็นหนังสือที่ได้รับความนิยมมากที่สุดในซีรี่ส์ Springer ในสถิติ มันดูดีบน iPad ซึ่งทำให้ฉันนึกถึง --- ฉันควรดาวน์โหลดข้อความของ Boyd ลงไปด้วย ไชโย

— พระคาร์ดินัล