ความเท่าเทียมกันระหว่างกำลังสองน้อยที่สุดและ MLE ในแบบจำลองเกาส์เซียน

ฉันยังใหม่กับการเรียนรู้ของเครื่องและกำลังพยายามเรียนรู้ด้วยตัวเอง เมื่อเร็ว ๆ นี้ฉันกำลังอ่านบันทึกการบรรยายและมีคำถามพื้นฐาน

สไลด์ 13 กล่าวว่า "Least Square Estimate เหมือนกับประมาณการความน่าจะเป็นสูงสุดภายใต้แบบจำลอง Gaussian" ดูเหมือนว่ามันเป็นอะไรที่เรียบง่าย แต่ฉันไม่สามารถเห็นสิ่งนี้ได้ บางคนช่วยอธิบายสิ่งที่เกิดขึ้นที่นี่ได้ไหม? ฉันสนใจที่จะเห็นคณิตศาสตร์

หลังจากนั้นฉันจะพยายามดูความน่าจะเป็นของการถดถอยแบบสันและแบบบ่วงบาศเช่นกันดังนั้นหากมีข้อเสนอแนะใด ๆ ที่จะช่วยฉันได้สิ่งนั้นก็จะได้รับการชื่นชมเช่นกัน

regression bayesian least-squares

— แอนดี้
แหล่งที่มา

ฟังก์ชันวัตถุประสงค์ที่ด้านล่างของ p 13 เป็นจำนวนคงที่ (

) ของฟังก์ชันวัตถุประสงค์ที่ด้านล่างของ p 10. MLE ย่อเล็กสุดก่อนหน้าในขณะที่กำลังสองน้อยที่สุดย่อ QED

n

$n$

— whuber

@whuber: ขอบคุณสำหรับคำตอบของคุณ สิ่งที่ฉันอยากรู้คือ MLE กำลังทำอะไรอยู่

— Andy

คุณหมายถึงกลไกหรือแนวคิด

— whuber

@whuber: ทั้งสอง! ถ้าฉันเห็นคณิตศาสตร์นั่นก็จะช่วยได้เช่นกัน

— Andy

ลิงก์เสีย การไม่มีการอ้างอิงแบบเต็มและบริบทเพิ่มเติมสำหรับการอ้างอิงทำให้เป็นการยากที่จะลบการอ้างอิงหรือค้นหาแหล่งที่มาอื่น Slide 13 ของลิงค์นี้เพียงพอหรือไม่ --- cs.cmu.edu/~epxing/Class/10701-10s/recitation/recitation3.pdf

— Glen_b -Reinstate Monica

ในรูปแบบ

$Y = X \beta + \epsilon$

โดยที่ , loglikelihood of สำหรับตัวอย่างของอาสาสมัครคือ (ค่าคงที่เพิ่มขึ้นถึง) $\epsilon \sim N(0,\sigma^{2})$ $Y|X$ $n$

\frac{- n}{2} \log (σ^{2}) - \frac{1}{2 σ^{2}} \sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\frac{-n}{2} \log(\sigma^{2}) - \frac{1}{2 \sigma^{2}} \sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

ดูเป็นฟังก์ชั่นเพียง , maximizer เป็นสิ่งที่ลดลง $\beta$

\sum_{i = 1}^{n} (y_{i} - x_{i} β)^{2}

$\sum_{i=1}^{n} (y_{i}-x_{i} \beta)^{2}$

สิ่งนี้ทำให้ความเท่าเทียมกันชัดเจนหรือไม่

— มาโคร
แหล่งที่มา

นี่คือสิ่งที่อยู่ในสไลด์ที่ถูกอ้างถึงใน OP

— whuber

ใช่ฉันเห็นว่า แต่พวกเขาไม่ได้เขียนความเป็นไปได้ในการบันทึกแบบเกาส์ในหน้า 13 ซึ่งหลังจากทำเช่นนั้นทำให้เห็นได้ชัดว่า argmax นั้นเหมือนกับอาร์มินาลของเกณฑ์ OLS ดังนั้นฉันคิดว่านี่เป็นสิ่งที่คุ้มค่า

— มาโคร

ข้อดี: สไลด์เป็นภาพร่างเล็กน้อยพร้อมรายละเอียด

— whuber

β

$\beta$

L_{2}

$L_{2}$

ค่าคงที่เพิ่มเติมคือn/2 log(2 *pi)

— SmallChess