คำอธิบายที่ชัดเจนสำหรับ "เสถียรภาพเชิงตัวเลขของเมทริกซ์ผกผัน" ในการถดถอยของสันเขาและบทบาทในการลดความพอดี

ฉันเข้าใจว่าเราสามารถใช้การทำให้เป็นมาตรฐานในปัญหาการถดถอยกำลังสองน้อยที่สุดเช่น

$$\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right]$$

และปัญหานี้มีวิธีแก้ปัญหาแบบปิดเป็น:

$$\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}.$$

เราเห็นว่าในสมการที่ 2 การทำให้เป็นมาตรฐานนั้นเป็นการเพิ่ม$\lambda$ไปยังแนวทแยงของ$\boldsymbol{X}^T\boldsymbol{X}$ซึ่งทำเพื่อปรับปรุงเสถียรภาพเชิงตัวเลขของการผกผันเมทริกซ์

ความเข้าใจ 'หยาบ' ปัจจุบันของฉันเกี่ยวกับเสถียรภาพเชิงตัวเลขคือถ้าฟังก์ชั่นมากขึ้น 'เสถียรภาพเชิงตัวเลข' ดังนั้นเอาต์พุตของมันจะได้รับผลกระทบน้อยลงอย่างมากจากเสียงรบกวนในอินพุต ฉันมีปัญหาเกี่ยวกับแนวคิดของความเสถียรเชิงตัวเลขที่ได้รับการปรับปรุงให้ดีขึ้นเพื่อภาพรวมที่ใหญ่ขึ้นว่าจะหลีกเลี่ยง / ลดปัญหาการ overfitting อย่างไร

ฉันลองดูที่Wikipediaและเว็บไซต์มหาวิทยาลัยอื่น ๆ ไม่กี่แห่ง แต่พวกเขาก็ไม่ได้อธิบายอย่างลึกซึ้งว่าทำไมถึงเป็นเช่นนั้น

ในโมเดลเชิงเส้นสมมติว่ามีข้อผิดพลาดที่ไม่เกี่ยวข้องกับค่าเฉลี่ยศูนย์และมีอันดับคอลัมน์เต็มตัวประมาณกำลังสองน้อยที่สุดเป็นตัวประมาณค่าที่เป็นกลางสำหรับพารามิเตอร์\อย่างไรก็ตามตัวประมาณนี้สามารถมีความแปรปรวนสูง ตัวอย่างเช่นเมื่อคอลัมน์สองคอลัมน์ของมีความสัมพันธ์กันสูง$Y=X\beta + \epsilon$$X$$(X^TX)^{-1}X^TY$$\beta$$X$

พารามิเตอร์การลงโทษทำให้เป็นตัวประมาณค่าความลำเอียงของแต่จะลดความแปรปรวน นอกจากนี้เป็นความคาดหวังหลังของในการถดถอยคชกรรมกับก่อนใน\ในแง่นั้นเรารวมข้อมูลบางอย่างไว้ในการวิเคราะห์ที่บอกว่าองค์ประกอบของไม่ควรอยู่ไกลจากศูนย์ อีกครั้งสิ่งนี้นำเราไปสู่การประมาณค่าจุดหักเหของแต่ลดความแปรปรวนของการประมาณ$\lambda$$\hat{w}$$\beta$$\hat{w}$$\beta$$N(0,\frac{1}{\lambda}I)$$\beta$$\beta$$\beta$

ในการตั้งค่าที่มิติสูงพูดสี่เหลี่ยมที่น้อยที่สุดจะพอดีกับข้อมูลเกือบสมบูรณ์แบบ แม้ว่าจะไม่เอนเอียง แต่การประมาณการนี้จะมีความไวสูงต่อความผันผวนของข้อมูลเพราะในมิติที่สูงเช่นนี้จะมีหลายจุดที่มีการใช้ประโยชน์สูง ในสถานการณ์เช่นนี้สัญญาณของส่วนประกอบบางอย่างของสามารถกำหนดได้โดยการสังเกตเพียงครั้งเดียว ระยะเวลาการลงโทษมีผลกระทบจากการลดขนาดประมาณการเหล่านี้ไปที่ศูนย์ซึ่งสามารถลด MSE ของตัวประมาณโดยลดความแปรปรวน$X$$N \approx p$$\hat{\beta}$

แก้ไข: ในการตอบสนองครั้งแรกของฉันฉันให้ลิงค์ไปยังกระดาษที่เกี่ยวข้องและรีบลบออก นี่คือ: http://www.jarad.me/stat615/papers/Ridge_Regression_in_Practice.pdf

ความเสถียรเชิงตัวเลขและการ overfitting มีความเกี่ยวข้องกับประเด็นต่างๆ แต่มีความแตกต่างกัน

ปัญหา OLS แบบคลาสสิก:

พิจารณาปัญหากำลังสองน้อยสุดคลาสสิก:

$$\operatorname*{minimize}(\text{over $\mathbf{b}$}) \quad(\mathbf y-X\mathbf{b})^T(\boldsymbol{y}-X\mathbf{b})$$

การแก้ปัญหาคือคลาสสิก{y}) แนวคิดก็คือโดยกฎของคนจำนวนมาก:$\hat{\mathbf{b}} = (X'X)^{-1}(X'\mathbf{y})$

$$\lim_{n \rightarrow \infty} \frac{1}{n} X'X \rightarrow \mathrm{E}[\mathbf{x}\mathbf{x}'] \quad \quad \quad \lim_{n \rightarrow \infty} \frac{1}{n} X'\mathbf{y} \rightarrow \mathrm{E}[\mathbf{x}y]$$

ดังนั้นการประมาณ OLSก็เข้าหาY] (ในเชิงพีชคณิตเชิงเส้นนี่คือการประมาณเชิงเส้นของตัวแปรสุ่มบนช่วงเชิงเส้นของตัวแปรสุ่ม )$\hat{\mathbf{b}}$$\mathrm{E}[\mathbf{x}\mathbf{x}']^{-1}\mathrm{E}[\mathbf{x}y]$$y$$x_1, x_2, \ldots, x_k$

ปัญหา?

โดยอัตโนมัติสิ่งที่ผิดไป ปัญหาที่เป็นไปได้คืออะไร?

1. สำหรับตัวอย่างเล็ก ๆ การประมาณตัวอย่างของและอาจไม่ดี$\mathrm{E}[\mathbf{x}\mathbf{x}']$$\mathrm{E}[\mathbf{x}y]$
2. หากคอลัมน์ของเป็น collinear (อาจเป็นเพราะ collinearity โดยธรรมชาติหรือขนาดตัวอย่างเล็ก) ปัญหาจะมีการแก้ปัญหาอย่างต่อเนื่อง! วิธีแก้ปัญหาอาจไม่ซ้ำกัน $X$
   • สิ่งนี้จะเกิดขึ้นหากมีอันดับไม่เพียงพอ$\mathrm{E}[\mathbf{x}\mathbf{x}']$
   • สิ่งนี้จะเกิดขึ้นหากมีอันดับบกพร่องเนื่องจากขนาดตัวอย่างเล็ก ๆ เมื่อเทียบกับจำนวนของปัญหาการถดถอย$X'X$

ปัญหา (1) สามารถนำไปสู่การ overfitting เนื่องจากการประมาณเริ่มสะท้อนรูปแบบในตัวอย่างที่ไม่มีในประชากรต้นแบบ การประมาณอาจสะท้อนรูปแบบในและที่ไม่มีอยู่จริงในและ$\hat{\mathbf{b}}$$\frac{1}{n}X'X$$\frac{1}{n}X'\mathbf{y}$$\mathrm{E}[\mathbf{x}\mathbf{x}']$$\mathrm{E}[\mathbf{x}y]$

ปัญหา (2) หมายถึงวิธีการแก้ไขที่ไม่ซ้ำกัน ลองนึกภาพเรากำลังพยายามประเมินราคาของรองเท้าแต่ละคู่ แต่รองเท้าคู่นั้นจะขายกันเสมอ นี่เป็นปัญหาที่ไม่ดี แต่สมมติว่าเรากำลังทำอยู่ เราอาจเชื่อว่าราคารองเท้าด้านซ้ายบวกกับราคารองเท้าที่เหมาะสมเท่ากับ$ 50 แต่เราจะหาราคาแยกต่างหากได้อย่างไร การตั้งค่าราคารองเท้าซ้ายและราคารองเท้าขวาตกลงหรือไม่ เราจะเลือกจากความเป็นไปได้ทั้งหมดได้อย่างไร?$p_l = 45$$p_r = 5$

แนะนำการลงโทษ :$L_2$

พิจารณาตอนนี้:

$$\operatorname*{minimize}(\text{over }\mathbf{b})\quad (\mathbf y-X\mathbf{b})^T(\boldsymbol{y}-X\mathbf{b}) + \lambda\|\boldsymbol{b}\|^2$$

สิ่งนี้อาจช่วยเราในการแก้ไขปัญหาทั้งสองประเภท การลงโทษทำให้เราประเมินเป็นศูนย์ ฟังก์ชั่นนี้ได้อย่างมีประสิทธิภาพเป็นแบบเบย์ก่อนว่าการกระจายมากกว่าค่าสัมประสิทธิ์จะแน่นิ่ง{0} ที่ช่วยในเรื่องการมีน้ำหนักเกิน การประมาณของเราจะสะท้อนทั้งข้อมูลและความเชื่อเริ่มต้นของเราที่ใกล้ศูนย์$L_2$$\mathbf{b}$$\mathbf{0}$$\mathbf{b}$

$L_2$ทำให้เป็นทำให้เราพบทางออกที่เป็นเอกลักษณ์สำหรับปัญหาที่ไม่ดี ถ้าเรารู้ราคาของรองเท้าด้านซ้ายและขวารวมไปการแก้ปัญหาที่ยังลดบรรทัดฐานคือการเลือก25$\$50$$L_2$$p_l = p_r = 25$

ความมหัศจรรย์นี้หรือไม่? ไม่การทำให้เป็นมาตรฐานไม่เหมือนกับการเพิ่มข้อมูลที่จะทำให้เราสามารถตอบคำถามได้ กูในความรู้สึกบาง adopts เห็นว่าถ้าคุณขาดข้อมูลที่เลือกประมาณการใกล้ชิดกับ0$L_2$$0$