วิธีความน่าจะเป็นสูงสุดเทียบกับวิธีกำลังสองน้อยที่สุด

อะไรคือความแตกต่างหลักระหว่างการประมาณค่าความน่าจะเป็นสูงสุด (MLE) กับการประมาณกำลังสองน้อยที่สุด (LSE)?

เหตุใดเราไม่สามารถใช้ MLE เพื่อทำนายค่าในการถดถอยเชิงเส้นและในทางกลับกันได้ $y$

ความช่วยเหลือใด ๆ ในหัวข้อนี้จะได้รับการชื่นชมอย่างมาก

คุณสามารถใช้ MLE ในการถดถอยเชิงเส้นได้หากต้องการ วิธีนี้อาจสมเหตุสมผลถ้าการกระจายข้อผิดพลาดนั้นไม่ปกติและเป้าหมายของคุณคือการได้รับ "การประเมิน" ที่น่าจะเป็นไปได้มากกว่าที่จะเป็นการลดผลรวมของกำลังสอง

— Richard Hardy

ภายใต้สมมติฐานข้อผิดพลาดปกติตามปกติในการถดถอยเชิงเส้น MLE และ LSE จะเหมือนกัน!

— TrynnaDoStat

ค้นหาเว็บไซต์ของเราสำหรับทฤษฎีบท Gauss-มาร์คอฟ

— whuber

ขอบคุณสำหรับคำตอบทั้งหมด ตอนนี้มันสมเหตุสมผลแล้ว ในขณะที่ค้นหาหัวข้อนี้ในเน็ตฉันเจอบทความนี้ อาจนี้ยังช่วย: radfordneal.wordpress.com/2008/08/09/...

— เอเวอ

คำตอบนอกจากนี้ยังมีที่stats.stackexchange.com/questions/12562/...

— whuber

คำตอบ:

ฉันต้องการให้คำตอบที่ตรงไปตรงมา

อะไรคือความแตกต่างหลักระหว่างการประมาณค่าความน่าจะเป็นสูงสุด (MLE) กับการประมาณกำลังสองน้อยที่สุด (LSE)?

ตามที่ @TrynnaDoStat แสดงความคิดเห็นการลดข้อผิดพลาดกำลังสองน้อยที่สุดจะเท่ากับการเพิ่มโอกาสสูงสุดในกรณีนี้ ตามที่กล่าวในวิกิพีเดีย ,

ในโมเดลเชิงเส้นหากความผิดพลาดเป็นของการแจกแจงแบบปกติตัวประมาณกำลังสองน้อยที่สุดก็เป็นตัวประมาณค่าความน่าจะเป็นสูงสุดด้วย

พวกเขาสามารถดูได้เช่นเดียวกันในกรณีของคุณ

ขอผมดูรายละเอียดหน่อย เนื่องจากเรารู้ว่าตัวแปรตอบสนอง ( $y$ )

Y_{ผม} = λ_{1} X_{ผม} + λ_{2} + ε_{ผม} ที่ไหน ε ~ ยังไม่มีข้อความ (0, σ^{2})

$Y_i=\lambda_1X_i+\lambda_2+\epsilon_i \quad\text{ where }\epsilon\thicksim N(0,\sigma^2)$ มีรูปแบบการแจกแจงข้อผิดพลาดปกติ ฟังก์ชันความน่าจะเป็นคือ

L (Y_{1}, ..., Y_{n}; λ_{1}, λ_{2}, σ^{2}) = \frac{1}{(2 π)^{\frac{n}{2} σ^{n}}} อี x พี (\frac{- 1}{2 σ^{2}} (Σ_{ผม = 1}^{n} (Y_{ผม} - λ_{1} X_{ผม} - λ_{2})^{2}))

$L(Y_1,\dots,Y_n;\lambda_1,\lambda_2,\sigma^2)=\frac{1}{(2\pi)^{\frac{n}{2}\sigma^n}}exp(\frac{-1}{2\sigma^2}(\sum_{i=1}^n(Y_i-\lambda_1X_i-\lambda_2)^2))$ เพิ่ม L เห็นได้ชัดว่าเทียบเท่ากับการลด

Σ_{ผม = 1}^{n} (Y_{ผม} - λ_{1} X_{ผม} - λ_{2})^{2}

$\sum_{i=1}^n(Y_i-\lambda_1X_i-\lambda_2)^2$ นั่นคือ วิธีกำลังสองน้อยที่สุด

เหตุใดเราไม่สามารถใช้ MLE เพื่อทำนายค่า $y$ ในการถดถอยเชิงเส้นและในทางกลับกันได้

$y$

— เลิร์นเนอจาง
แหล่งที่มา

คุณอาจต้องการกำหนด "กรณีนี้" ให้ชัดเจนยิ่งขึ้นเนื่องจากโดยทั่วไปโอกาสสูงสุดและกำลังสองน้อยที่สุดนั้นไม่เหมือนกัน

— Matthew Gunn

@ MatthewGunn ใช่ฉันใช้ "เทียบเท่า" นอกเหนือจาก "เดียวกัน"

— Lerner Zhang

จะดีมากถ้าคุณจะให้ตัวอย่างแก่เราซึ่งโมเดลเชิงเส้นตรงตามการแจกแจงข้อผิดพลาดที่ไม่ปกติและวิธีที่คุณใช้ MLE ในกรณีเช่นนี้เพื่อประเมินค่าสัมประสิทธิ์ที่ดีที่สุด ถ้าเป็นไปไม่ได้อย่างน้อยคุณสามารถชี้เราไปยังแหล่งข้อมูลที่ถูกต้องซึ่งสาธิตสิ่งนี้โดยใช้แบบจำลองเชิงเส้นเช่นการถดถอยปัวซอง

— VM_AI

$L_1$ $L_2$

$L_2$ $L_2$

การสอดแนมข้อมูล
พารามิเตอร์สุ่ม
ข้อ จำกัด ที่อ่อนแอ

แอปพลิเคชันระดับมืออาชีพไม่เพียง แต่พอดีกับข้อมูลเท่านั้น แต่ยังตรวจสอบ:

ถ้าพารามิเตอร์มีความสำคัญ
ถ้าชุดข้อมูลของคุณมีค่าผิดปกติ
ซึ่งสามารถทนต่อค่าผิดปกติได้เนื่องจากไม่ทำให้ประสิทธิภาพพิการ
การวัดใดที่ควรลบออกเนื่องจากไม่ได้มีส่วนช่วยในระดับของเสรีภาพ

นอกจากนี้ยังมีการทดสอบสถิติเฉพาะจำนวนมากสำหรับสมมติฐาน สิ่งนี้ไม่จำเป็นต้องใช้กับผู้ประเมิน ML ทุกคนหรือควรระบุอย่างน้อยพร้อมหลักฐาน

$L_2$

$\mathbf{X\beta}=\mathbf{L}+\mathbf{r}$ $(\mathbf{X}^{T}\mathbf{X})^{-1}$ $L_2$

อย่าลังเลที่จะสอบถามรายละเอียด

— Nali
แหล่งที่มา