การถดถอยเชิงเส้น: การแจกแจงแบบไม่ปกติใด ๆ ที่แสดงเอกลักษณ์ของ OLS และ MLE?

13

คำถามนี้ได้รับแรงบันดาลใจจากการอภิปรายที่ยาวนานในความคิดเห็นที่นี่: การถดถอยเชิงเส้นใช้การกระจายแบบปกติอย่างไร

ในรูปแบบการถดถอยเชิงเส้นตามปกติเพื่อความง่ายในการเขียนนี่มีเพียงตัวทำนายเดียว: โดยที่เป็นค่าคงที่ที่รู้จักกันและเป็นข้อผิดพลาดอิสระที่ไม่มีค่าเฉลี่ยศูนย์ หากเรายังถือว่าการแจกแจงปกติสำหรับข้อผิดพลาดตัวประมาณกำลังสองน้อยที่สุดและตัวประมาณความน่าจะเป็นสูงสุดของจะเหมือนกัน

Y_{i} = β_{0} + β_{1} x_{i} + ϵ_{i}

$Y_i = \beta_0 + \beta_1 x_i + \epsilon_i$

x_{i}

$x_i$

ϵ_{i}

$\epsilon_i$

β_{0}, β_{1}

$\beta_0, \beta_1$

ดังนั้นคำถามง่าย ๆ ของฉัน: มีการแจกแจงอื่น ๆ สำหรับข้อผิดพลาดเช่นนั้น mle เหมือนกันกับตัวประมาณค่า squaeres น้อยที่สุดหรือไม่? ความหมายหนึ่งแสดงให้เห็นได้ง่ายส่วนอีกเรื่องหนึ่งไม่เป็นเช่นนั้น

— kjetil b halvorsen
แหล่งที่มา

1

(+1) มันจะต้องมีการกระจายศูนย์กลางรอบศูนย์และดูเหมือนว่ามันจะช่วยถ้ามันเป็นสมมาตร ผู้สมัครบางคนที่เข้ามาในใจเช่นการกระจาย t- หรือ Laplace ดูเหมือนจะไม่หลอกลวงในขณะที่ MLE คือแม้ในกรณีคงที่เท่านั้นไม่มีในรูปแบบปิดหรือกำหนดโดยค่ามัธยฐานตามลำดับ

— Christoph Hanck

ดูstats.stackexchange.com/questions/99014/..ด้วยดูเหมือนว่ามีหลายสิ่งเท่านั้นที่จะหา

— Christoph Hanck

ฉันแน่ใจว่าคำตอบคือไม่ อาจเป็นเรื่องยากที่จะเขียนหลักฐานที่เข้มงวดอย่างไรก็ตาม

— Gordon Smyth

11

ในการประเมินความเป็นไปได้สูงสุดเราคำนวณ

{\hat{β}}_{M L} : \sum \frac{\partial \ln f (ϵ_{i})}{\partial β} = 0 ⟹ \sum \frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} x_{i} = 0

$\hat \beta_{ML}: \sum \frac {\partial \ln f(\epsilon_i)}{\partial \beta} = \mathbf 0 \implies \sum \frac {f'(\epsilon_i)}{f(\epsilon_i)}\mathbf x_i = \mathbf 0$

ความสัมพันธ์ครั้งสุดท้ายโดยคำนึงถึงโครงสร้างความเป็นเส้นตรงของสมการการถดถอย

ในการเปรียบเทียบ OLS ประมาณ

\sum ϵ_{i} x_{i} = 0

$\sum \epsilon_i\mathbf x_i = \mathbf 0$

เพื่อให้ได้นิพจน์พีชคณิตที่เหมือนกันสำหรับสัมประสิทธิ์ความชันเราจำเป็นต้องมีความหนาแน่นสำหรับเทอมผิดพลาดเช่นนั้น

\frac{f^{'} (ϵ_{i})}{f (ϵ_{i})} = \pm c ϵ_{i} ⟹ f^{'} (ϵ_{i}) = \pm c ϵ_{i} f (ϵ_{i})

$\frac {f'(\epsilon_i)}{f(\epsilon_i)} = \pm \;c\epsilon_i \implies f'(\epsilon_i)= \pm \;c\epsilon_if(\epsilon_i)$

นี่คือสมการเชิงอนุพันธ์ของรูปแบบที่มีวิธีแก้ไข $y' = \pm\; xy$

\int \frac{1}{y} d y = \pm \int x d x ⟹ \ln y = \pm \frac{1}{2} x^{2}

$\int \frac 1 {y}dy = \pm \int x dx\implies \ln y = \pm\;\frac 12 x^2$

⟹ y = f (ϵ) = \exp {\pm \frac{1}{2} c ϵ^{2}}

$\implies y = f(\epsilon) = \exp\left \{\pm\;\frac 12 c\epsilon^2\right\}$

ฟังก์ชันใด ๆ ที่มีเคอร์เนลนี้และรวมเข้ากับความเป็นเอกภาพในโดเมนที่เหมาะสมจะทำให้ MLE และ OLS เป็นค่าสัมประสิทธิ์ความชันเหมือนกัน คือเรากำลังมองหา

g (x) = A \exp {\pm \frac{1}{2} c x^{2}} : \int_{a}^{b} g (x) d x = 1

$g(x)= A\exp\left \{\pm\;\frac 12 cx^2\right\} : \int_a^b g(x)dx =1$

มีที่ไม่ใช่ความหนาแน่นปกติ (หรือครึ่งปกติหรืออนุพันธ์ของฟังก์ชันข้อผิดพลาด) หรือไม่? $g$

อย่างแน่นอน แต่อีกสิ่งหนึ่งที่เราต้องพิจารณาคือ: หากมีการใช้เครื่องหมายบวกในเลขชี้กำลังและการสนับสนุนแบบสมมาตรรอบศูนย์เช่นหนึ่งจะได้รับความหนาแน่นที่มีค่าต่ำสุดที่ไม่ซ้ำกันในกลางและสูงสุดท้องถิ่นสองที่ ขอบเขตของการสนับสนุน

— Alecos Papadopoulos
แหล่งที่มา

คำตอบที่ดี (+1) แต่ถ้าใช้เครื่องหมายบวกในฟังก์ชั่นมันจะเป็นความหนาแน่นหรือไม่ ปรากฏว่าฟังก์ชั่นนั้นมีอินทิกรัลไม่สิ้นสุดจึงไม่สามารถทำให้เป็นมาตรฐานได้กับฟังก์ชันความหนาแน่น หากเป็นกรณีนี้เราจะเหลือการกระจายแบบปกติเท่านั้น

— เบ็น - คืนสถานะโมนิก้า

1

(a, b)

$(a,b)$

นั่นเป็นความจริง - ฉันคิดเอาเอง

— เบ็น - คืนสถานะโมนิก้า

5

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1})

$f(y|x,\beta_0,\beta_1)$

\arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} \log {f (y_{i} | x_{i}, β_{0}, β_{1})} = \arg_{β_{0}, β_{1}} min \sum_{i = 1}^{n} (y_{i} - β_{0} - β_{1} x_{i})^{2}

$\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n \log\{f(y_i|x_i,\beta_0,\beta_1)\}=\arg_{\beta_0,\beta_1}\min\sum_{i=1}^n (y_i-\beta_0-\beta_1x_i)^2$

f (y | x, β_{0}, β_{1}) = f_{0} (y | x) \exp {- ω (y_{i} - β_{0} - β_{1} x_{i})^{2}}

$f(y|x,\beta_0,\beta_1)=f_0(y|x)\exp\{-\omega(y_i-\beta_0-\beta_1x_i)^2\}$

f_{0} (y | x)

$f_0(y|x)$

(β_{0}, β_{1})

$(\beta_0,\beta_1)$

การตั้งค่าอีกประการหนึ่งที่ตัวประมาณค่าทั้งสองเกิดขึ้นพร้อมกันเมื่อข้อมูลมาจากการกระจายแบบสมมาตรคือเมื่อข้อมูล (เวกเตอร์)มีความหนาแน่นตามเงื่อนไขด้วยฟังก์ชั่นลดลง (ในกรณีนี้ OLS ยังคงใช้งานได้แม้ว่าข้อสันนิษฐานของความเป็นอิสระของจะถูกเก็บไว้ในกรณีปกติเท่านั้น) $\mathbf{y}$

h (| | y - X β | |)

$h(||\mathbf{y}-\mathbf{X}\beta||)$

h (\cdot)

$h(\cdot)$

ϵ_{i}

$\epsilon_i$

— ซีอาน
แหล่งที่มา

1

สิ่งนี้ดูไม่ถูกต้องสำหรับฉัน หากคุณใช้การกระจายแบบสมมาตรทรงกลมที่แตกต่างกันนั่นจะไม่นำไปสู่การลดฟังก์ชั่นของบรรทัดฐานต่าง ๆ ให้น้อยที่สุด (ไม่ใช่การประมาณกำลังสองน้อยที่สุด) ใช่หรือไม่?

— เบ็น - คืนสถานะโมนิก้า

1

ฉันไม่รู้เกี่ยวกับคำถามนี้จนกว่า @ Xi'an เพิ่งอัปเดตพร้อมคำตอบ มีวิธีแก้ปัญหาทั่วไปมากขึ้น การแจกแจงแบบครอบครัวแบบเอกซ์โพเนนเชียลที่มีพารามิเตอร์บางตัวให้ผลตอบแทนคงที่กับ Bregman divergences สำหรับการแจกแจงแบบนี้หมายความว่าเป็น minimizer OLS minimizer ก็เป็นค่าเฉลี่ยเช่นกัน ดังนั้นสำหรับการแจกแจงแบบนี้พวกเขาควรจะเกิดขึ้นพร้อมกันเมื่อฟังก์ชันเชิงเส้นเชื่อมโยงกับพารามิเตอร์ค่าเฉลี่ย

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.75.6958&rep=rep1&type=pdf

— Cagdas Ozgenc
แหล่งที่มา