ความสัมพันธ์ระหว่าง MLE และกำลังสองน้อยที่สุดในกรณีของการถดถอยเชิงเส้น

Hastie และ Tibshirani พูดถึงในหัวข้อ 4.3.2 ของหนังสือของพวกเขาว่าในการตั้งค่าการถดถอยเชิงเส้นแนวทางสแควร์สน้อยที่สุดในความเป็นจริงเป็นกรณีพิเศษของความน่าจะเป็นสูงสุด เราจะพิสูจน์ผลลัพธ์นี้ได้อย่างไร?

PS: อะไหล่ไม่มีรายละเอียดทางคณิตศาสตร์

regression maximum-likelihood least-squares

— Pradnyesh Joshi
แหล่งที่มา

ไม่ใช่กรณีพิเศษ: มันเหมือนกันเมื่อการกระจายข้อผิดพลาดเป็นเรื่องปกติ

— Zhanxiong

ตัวแบบการถดถอยเชิงเส้น

$Y = X\beta + \epsilon$ โดยที่ $\epsilon \sim N(0,I\sigma^2)$

$Y \in \mathbb{R}^{n}$ ,และ $X \in \mathbb{R}^{n \times p}$ $\beta \in \mathbb{R}^{p}$

โปรดทราบว่าข้อผิดพลาดรูปแบบของเรา (ที่เหลือ) เป็นเบต้า} เป้าหมายของเราคือการหาเวกเตอร์ของ s ที่ลดค่า norm กำลังสองของข้อผิดพลาดนี้ให้น้อยที่สุด ${\bf \epsilon = Y - X\beta}$ $\beta$ $L_2$

กำลังสองน้อยที่สุด

ข้อมูลที่ให้โดยที่เป็นมิติเราพยายามค้นหา: $(x_1,y_1),...,(x_n,y_n)$ $x_{i}$ $p$

{\hat{β}}_{L S} = \underset{β}{argmin} | | ϵ | |^{2} = \underset{β}{argmin} | | Y - X β | |^{2} = \underset{β}{argmin} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\widehat{\beta}_{LS} = {\underset \beta {\text{argmin}}} ||{\bf \epsilon}||^2 = {\underset \beta {\text{argmin}}} ||{\bf Y - X\beta}||^2 = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} ( y_i - x_{i}\beta)^2$

โอกาสสูงสุด

การใช้แบบจำลองด้านบนเราสามารถตั้งค่าความน่าจะเป็นของข้อมูลที่ได้รับพารามิเตอร์เป็น: $\beta$

L (Y | X, β) = \prod_{i = 1}^{n} f (y_{i} | x_{i}, β)

$L(Y|X,\beta) = \prod_{i=1}^{n} f(y_i|x_i,\beta)$

ที่เป็นรูปแบบไฟล์ PDF ของการแจกแจงแบบปกติที่มีค่าเฉลี่ย 0 และความแปรปรวน 2 เสียบเข้ากับ: $f(y_i|x_i,\beta)$ $\sigma^2$

L (Y | X, β) = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π σ^{2}}} e^{- \frac{(y_{i} - x_{i} β)^{2}}{2 σ^{2}}}

$L(Y|X,\beta) = \prod_{i=1}^{n} \frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{(y_i - x_i\beta)^2}{2\sigma^2}}$

ตอนนี้โดยทั่วไปเมื่อต้องจัดการกับความน่าจะเป็นในการบันทึกทางคณิตศาสตร์ง่ายขึ้นก่อนดำเนินการต่อ (ผลิตภัณฑ์กลายเป็นผลรวม exponentials หายไป) ดังนั้นลองทำเช่นนั้น

\log L (Y | X, β) = \sum_{i = 1}^{n} \log (\frac{1}{\sqrt{2 π σ^{2}}}) - \frac{(y_{i} - x_{i} β)^{2}}{2 σ^{2}}

$\log L(Y|X,\beta) = \sum_{i=1}^{n} \log(\frac{1}{\sqrt{2\pi\sigma^2}}) -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$

เนื่องจากเราต้องการให้ประมาณการโอกาสสูงสุดที่เราต้องการที่จะหาสูงสุดของสมการข้างต้นด้วยความเคารพ\คำแรกไม่ส่งผลกระทบต่อการประมาณการเราดังนั้นเราจึงไม่สนใจ: $\beta$ $\beta$

{\hat{β}}_{M L E} = \underset{β}{argmax} \sum_{i = 1}^{n} - \frac{(y_{i} - x_{i} β)^{2}}{2 σ^{2}}

$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmax}}} \sum_{i=1}^{n} -\frac{(y_i - x_i\beta)^2}{2\sigma^2}$

โปรดทราบว่าตัวหารเป็นค่าคงที่เกี่ยวกับ\ในที่สุดสังเกตว่ามีเครื่องหมายลบหน้าผลรวม ดังนั้นการหาจำนวนลบสูงสุดก็เหมือนกับการหาจำนวนต่ำสุดโดยไม่ลบ ในคำอื่น ๆ : $\beta$

{\hat{β}}_{M L E} = \underset{β}{argmin} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2} = {\hat{β}}_{L S}

$\widehat{\beta}_{MLE} = {\underset \beta {\text{argmin}}} \sum_{i=1}^{n} (y_i - x_i\beta)^2 = \widehat{\beta}_{LS}$

จำได้ว่าสำหรับสิ่งนี้ในการทำงานเราต้องตั้งสมมติฐานแบบจำลองบางอย่าง (ปกติของข้อผิดพลาด, 0 หมายถึง, ความแปรปรวนคงที่) สิ่งนี้ทำให้สี่เหลี่ยมน้อยที่สุดเทียบเท่ากับ MLE ภายใต้เงื่อนไขบางประการ ดูที่นี่และที่นี่สำหรับการสนทนาเพิ่มเติม

เพื่อความสมบูรณ์โปรดทราบว่าโซลูชันสามารถเขียนเป็น:

β = (X^{T} X)^{- 1} X^{T} y

${\bf \beta = (X^TX)^{-1}X^Ty}$

— ilanman
แหล่งที่มา