การถดถอยเชิงเส้นพร้อมข้อผิดพลาด Laplace

พิจารณาโมเดลการถดถอยเชิงเส้น:

y_{i} = x_{i} \cdot β + ε_{i}, i = 1, \dots, n,

$y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n,$ ที่

ε_{i} \sim L (0, b)

$\varepsilon _i \sim \mathcal L(0, b)$ นั่นคือ , การกระจาย Laplace พร้อมพารามิเตอร์ค่าเฉลี่ย

0

$0$ และพารามิเตอร์

b

$b$ ทั้งหมดล้วน แต่เป็นอิสระต่อกัน พิจารณาการประเมินความเป็นไปได้สูงสุดของพารามิเตอร์ที่ไม่รู้จัก

β

$\boldsymbol \beta$ :

- \log p (y ∣ X, β, b) = n \log (2 b) + \frac{1}{b} \sum_{i = 1}^{n} | x_{i} \cdot β - y_{i} |

$-\log p(\mathbf y \mid \mathbf X, \boldsymbol \beta, b) = n\log (2b) + \frac 1b\sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$ จากที่

{\hat{β}}_{M L} = {\arg min}_{β \in R^{m}} \sum_{i = 1}^{n} | x_{i} \cdot β - y_{i} |

$\hat{\boldsymbol \beta}_{\mathrm {ML}} = {\arg\min }_{\boldsymbol \beta \in \mathbb R^m} \sum _{i=1}^n |\mathbf x_i \cdot \boldsymbol \beta - y_i|$

เราจะหาการกระจายของเศษเหลือได้อย่างไร $\mathbf y - \mathbf X\hat{\boldsymbol \beta}_{\mathrm {ML}}$ ในรุ่นนี้

regression laplace-distribution

— nmerci
แหล่งที่มา

คุณหมายถึงอะไรโดยค้นหาการกระจายตัวของสิ่งที่เหลืออยู่?

— jlimahaverford

เนื่องจากเศษเหลือสามารถจัดกลุ่มในเวกเตอร์แบบสุ่มฉันต้องการทราบการกระจายตัว อย่างน้อยสองช่วงเวลาแรก

— nmerci

เข้าใจแล้วขอบคุณ! คุณเคยลองจำลองและวางแผนบ้างไหม?

— jlimahaverford

ใช่ฉันต้องการสร้างเขตความเชื่อมั่นสำหรับส่วนที่เหลือ ตัวอย่างเช่นสำหรับข้อผิดพลาดแบบเกาส์ภูมิภาคเป็นรูปวงรี

— nmerci

ส่วนเหลือ (ข้อผิดพลาดจริง ๆ เรียกว่า) จะถือว่าเป็นการกระจายแบบสุ่มด้วยการแจกแจงเลขชี้กำลังสองเท่า (การกระจายแบบ Laplace) หากคุณปรับจุดข้อมูล x และ y ให้ทำตัวเลข ก่อนอื่นให้คุณคำนวณ beta-hat_ML สำหรับคะแนนทั้งหมดโดยใช้สูตรที่โพสต์ไว้ สิ่งนี้จะกำหนดเส้นผ่านจุดต่างๆ จากนั้นลบค่า y ของแต่ละจุดออกจากค่า y ของบรรทัดที่ค่า x นี่คือส่วนที่เหลือสำหรับจุดนั้น ค่าคงที่ของจุดทั้งหมดสามารถใช้ในการสร้างฮิสโตแกรมที่จะให้การกระจายตัวของเศษเหลือ

มีบทความที่ดีทางคณิตศาสตร์กับมันโดยเป็นยาง (2014)

--Lee

— ลีจี
แหล่งที่มา

ลิงก์ไม่ทำงาน

— Michael R. Chernick