เหตุใดวิธีการกำลังสองน้อยที่สุดและความน่าจะเป็นสูงสุดของการถดถอยจึงไม่เท่ากันเมื่อข้อผิดพลาดไม่กระจายตามปกติ

ชื่อกล่าวมันทั้งหมด ฉันเข้าใจว่ากำลังสองน้อยที่สุดและโอกาสสูงสุดจะให้ผลเหมือนกันสำหรับสัมประสิทธิ์การถดถอยหากข้อผิดพลาดของโมเดลกระจายตามปกติ แต่จะเกิดอะไรขึ้นหากข้อผิดพลาดไม่ได้รับการแจกจ่ายตามปกติ ทำไมทั้งสองวิธีจึงไม่เท่ากันอีกต่อไป?

คำตอบสั้น ๆ

ความหนาแน่นของความน่าจะเป็นของตัวแปรกระจายแบบเกาส์หลายตัวแปรโดยมีค่าเฉลี่ยเกี่ยวข้องกับยุคลิด ระยะห่างระหว่างค่าเฉลี่ยและตัวแปร ( ) หรือกล่าวอีกอย่างคือผลรวมของกำลังสอง$x=(x_1, x_2,...,x_n)$$\mu=(\mu_1,\mu_2,...,\mu_n)$$\vert \mu-x \vert_2^2$

---

คำตอบยาว ๆ

หากคุณคูณการแจกแจงแบบเกาส์หลายครั้งสำหรับข้อผิดพลาดของคุณซึ่งคุณถือว่าส่วนเบี่ยงเบนเท่ากันคุณจะได้ผลบวกกำลังสอง$n$

$$\begin{array} \mathcal{L(\mu_j,x_{ij})} = P(x_{ij} \vert \mu_j) & =\prod_{i=1}^n \frac{1}{\sqrt{2 \pi \sigma^2}} exp\left[-\frac{(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \\ &= \left(\frac{1}{\sqrt{2 \pi \sigma^2}} \right)^n exp \left[ -\frac{\sum_{i=1}^n(x_{ij}-\mu_i)^2}{2\sigma^2}\right] \end{array}$$

หรือในรูปแบบลอการิทึมที่สะดวก:

$$\log\left(\mathcal{L(\mu_j,x_{ij})} \right) = n \log \left( \frac{1}{\sqrt{2 \pi \sigma^2}} \right) -\frac{1}{2\sigma^2} \sum_{i=1}^n(x_{ij}-\mu_j)^2$$

ดังนั้นการปรับให้เหมาะสมที่สุดเพื่อลดผลรวมของกำลังสองเท่ากับการเพิ่มความน่าจะเป็น (บันทึก) (เช่นผลิตภัณฑ์ของการแจกแจงแบบเกาส์หลายแบบหรือการกระจายแบบหลายตัวแปรแบบเกาส์)$\mu$

นี่คือความแตกต่างของสี่เหลี่ยมจัตุรัสภายในโครงสร้างเลขชี้กำลัง, , ซึ่งการกระจายอื่นไม่มี$(\mu-x)$$exp\left[ (x_i-\mu)^2 \right]$

---

เปรียบเทียบกับกรณีสำหรับการแจกแจงปัวซอง

$$\log(\mathcal{L}) = \log \left( \prod\frac{\mu_j^{x_{ij}}}{x_{ij}!} exp \left[ -\mu_j \right] \right) = -\sum \mu_j -\sum log(x_{ij}!) + \sum log(\mu_j) x_{ij}$$

ซึ่งมีค่ามากที่สุดเมื่อลดสิ่งต่อไปนี้:

$$\sum \mu_j -log(\mu_j) x_{ij}$$

ซึ่งเป็นสัตว์ร้ายที่แตกต่างกัน

---

นอกจากนี้ (ประวัติ)

ประวัติความเป็นมาของการแจกแจงแบบปกติ (ไม่สนใจว่า deMoivre จะได้รับการแจกแจงแบบนี้เป็นการประมาณค่าสำหรับการแจกแจงทวินาม) เป็นการค้นพบการแจกแจงที่ทำให้ MLE สอดคล้องกับวิธีกำลังสองน้อยที่สุด (แทนที่จะเป็นวิธีกำลังสองน้อยที่สุด) ที่สามารถแสดง MLE ของการแจกแจงแบบปกติวิธีแรกคือวิธีกำลังสองน้อยที่สุดวิธีที่สองคือการกระจายแบบเกาส์)

โปรดทราบว่า Gauss เชื่อมต่อ 'วิธีการโอกาสสูงสุด' กับ 'วิธีการกำลังสองน้อย' มาพร้อมกับ 'การกระจายแบบเกาส์'เป็นการกระจายข้อผิดพลาดเพียงอย่างเดียวที่นำเราไปสู่ ทำการเชื่อมต่อระหว่างสองวิธีนี้$e^{-x^2}$

จากการแปลของชาร์ลส์เฮนรีเดวิส (ทฤษฎีการเคลื่อนที่ของวัตถุสวรรค์เคลื่อนไปรอบดวงอาทิตย์ในส่วนที่เป็นรูปกรวยคำแปลของ "Theoria motus" ของเกาส์ด้วยภาคผนวก) ...

เกาส์กำหนด:

ดังนั้นความน่าจะเป็นที่จะได้รับมอบหมายให้แต่ละข้อผิดพลาดจะแสดงออกโดยการทำงานของซึ่งเราจะใช้แสดงโดย\$\Delta$$\Delta$$\psi \Delta$

^{(ตัวเอียงทำโดยฉัน)}

และดำเนินการต่อ ( ในมาตรา 177 หน้า 258 ):

... ดังนั้นจึงสรุปได้ว่าต้องเป็นปริมาณคงที่ ซึ่งเราจะใช้แสดงโดยkดังนั้นเราจึงมีแสดงถึงฐานของลอการิทึมไฮเปอร์โบลิกโดยและสมมติว่า$\frac{\psi^\prime\Delta}{\Delta}$$k$

$$\text{log } \psi \Delta = \frac{1}{2} k \Delta \Delta + \text{Constant}$$ $$\psi \Delta = x e^{\frac{1}{2}k \Delta \Delta}$$ $e$ $$\text{Constant} = \log x$$

สิ้นสุด (หลังจากการทำให้เป็นมาตรฐานและการทำให้ )$k<0$

$$\psi \Delta = \frac{h}{\sqrt{\pi}} e^{-hh\Delta \Delta}$$

---

เขียนโดยStackExchangeStrike

เนื่องจาก MLE นั้นได้มาจากการสันนิษฐานของการกระจายที่เหลือตามปกติ

สังเกตได้ว่า

$$\text{min}_\beta~~ \|X \beta - y \|^2$$

ยังไม่มีความหมายน่าจะเป็น : เพียงแค่หาที่ลดฟังก์ชั่นการสูญเสียกำลังสอง ทุกอย่างกำหนดขึ้นและไม่มีส่วนประกอบแบบสุ่มในนั้น$\beta$

แนวคิดของความน่าจะเป็นและโอกาสที่จะเกิดขึ้นคืออะไร

$$y=X\beta + \epsilon$$

ที่ซึ่งเราพิจารณาว่าเป็นตัวแปรสุ่มและถูกกระจายตามปกติ$y$$\epsilon$

สี่เหลี่ยมจัตุรัสที่น้อยที่สุดและความเป็นไปได้สูงสุด (Gaussian) จะเท่ากันเสมอ นั่นคือพวกมันถูกย่อเล็กสุดด้วยค่าสัมประสิทธิ์ชุดเดียวกัน

การเปลี่ยนข้อสมมติฐานเกี่ยวกับข้อผิดพลาดจะเปลี่ยนฟังก์ชั่นความน่าจะเป็นของคุณ (การเพิ่มความเป็นไปได้ของแบบจำลองให้มากที่สุดเท่ากับการเพิ่มความเป็นไปได้สูงสุดของคำผิดพลาด) และด้วยเหตุนี้ฟังก์ชันจะไม่ถูกย่อ

ดังนั้นในทางปฏิบัติทั้งสองจะเหมือนกัน แต่ในทางทฤษฎีเมื่อคุณเพิ่มโอกาสที่แตกต่างกันคุณจะได้คำตอบที่แตกต่างจากสแควร์สน้อยที่สุด

ตัวอย่างที่เป็นรูปธรรม: สมมติว่าเราใช้ฟังก์ชันข้อผิดพลาดอย่างง่าย p (1) =. 9, p (-9) = .10 ถ้าเราเอาสองจุดออกมา LS ก็แค่เอาเส้นผ่านมันไป ในทางกลับกัน ML จะถือว่าจุดทั้งสองเป็นหนึ่งหน่วยที่สูงเกินไปและจะนำเส้นผ่านจุดที่เลื่อนลงบนหน่วย