สมมติฐานเชิงเส้นตรงในการถดถอยเชิงเส้นเป็นเพียงนิยามของหรือไม่?

ฉันกำลังแก้ไขการถดถอยเชิงเส้น

หนังสือเรียนของ Greene กล่าวว่า:

ตอนนี้แน่นอนจะมีสมมติฐานอื่น ๆ ในรูปแบบการถดถอยเชิงเส้นเช่น 0 สมมติฐานนี้รวมกับข้อสมมติเชิงเส้นตรง (ซึ่งมีผลบังคับใช้กำหนด ) วางโครงสร้างบนแบบจำลอง $E(\epsilon|X)=0$ $\epsilon$

อย่างไรก็ตามการวางตัวเป็นเส้นตรงด้วยตัวมันเองไม่ได้วางโครงสร้างใด ๆ ไว้ในแบบจำลองของเราเนื่องจากสามารถทำได้โดยพลการอย่างสมบูรณ์ สำหรับตัวแปรใด ๆไม่ว่าอะไรก็ตามความสัมพันธ์ระหว่างเราสองคนนั้นสามารถกำหนดเช่นนั้นเพื่อให้สมมติฐานเชิงเส้นตรง ดังนั้นความเป็นเส้นตรง "สมมติฐาน" ควรเรียกว่านิยามของๆ แทนที่จะเป็นข้อสมมติ $\epsilon$ $X, y$ $\epsilon$ $\epsilon$

ดังนั้นฉันสงสัย :

กรีนเป็นคนเลอะเทอะหรือเปล่า? จริง ๆ แล้วเขาควรจะเขียน: ? นี่คือ "สมมติฐานเชิงเส้นตรง" ที่วางโครงสร้างในแบบจำลอง $E(y|X)=X\beta$
หรือฉันต้องยอมรับว่าการวางตัวเป็นเส้นตรงไม่ได้วางโครงสร้างลงบนแบบจำลอง แต่จะกำหนดเท่านั้นโดยที่สมมติฐานอื่น ๆ จะใช้นิยามของเพื่อวางโครงสร้างบนแบบจำลอง $\epsilon$ $\epsilon$

แก้ไข : เนื่องจากมีความสับสนรอบสมมติฐานอื่นให้ฉันเพิ่มชุดเต็มของสมมติฐานที่นี่:

นี่คือจากกรีน, การวิเคราะห์ทางเศรษฐมิติ, 7 เอ็ด พี 16

— user56834
แหล่งที่มา

สิ่งเหล่านี้เป็นข้อสังเกตที่เข้าใจง่าย (+1) ในความเป็นธรรมทั้งหมด แต่ผมเชื่อว่าส่วนใหญ่ (ถ้าไม่ทั้งหมด) ผู้เขียนกำลังทำงานอยู่ในกรอบที่มากความหมายของข้อผิดพลาดสารเติมแต่งเช่นรวมถึงสมมติฐานที่ว่ากระจายเป็นศูนย์กลางที่0

ϵ

$\epsilon$

0

$0$

— whuber

@ โฮเบอร์ฉันได้เพิ่มข้อสมมติฐานทั้งชุด ดูที่ A3 A3 ทำให้ชัดเจนว่ามันเป็นศูนย์กลางที่ 0 ซึ่งจะบ่งบอกว่ากรีนไม่ถือว่าใน A1 ซึ่งใบฉันกับคำถามว่ามีเนื้อหาที่ A1 ตรรกะใด ๆ ที่นอกเหนือจากการกำหนด\

ϵ

$\epsilon$

— user56834

ความหมายที่ตั้งใจไว้ของรายการของข้อสันนิษฐานก็คือพวกเขาถือรวมกันไม่แยกกัน สิ่งนี้ไม่แสดง "ความเลอะเทอะ"

— whuber

@ AdamO คำว่า "ถูกต้อง" ดูเหมือนจะไม่มีความหมายที่แม่นยำสำหรับฉัน ฉันพยายามเข้าใจสิ่งนี้มากขึ้น ฉันคิดว่าสูตรที่แม่นยำที่สุดของทั้งหมดนี้คือการบอกว่าสมมติฐาน 1 ควรเรียกว่า "คำนิยามของ " จากนั้นทุกอย่างก็สมเหตุสมผล หรือฉันกำลังพลาดอะไรบางอย่างซึ่งเป็นสาเหตุที่ฉันถามคำถามนี้ น่าเสียดายที่ตอนนี้ฉันยังไม่เห็นคำตอบสำหรับคำถามนั้นโดยตรง

ϵ

$\epsilon$

— user56834

@ Programmer2134 คุณได้รับคำตอบที่ไม่ถูกต้องเพราะคุณกำลังถามคำถามที่ไม่แน่ชัด ไม่มี "วางโครงสร้างในแบบจำลอง" อย่างที่คุณพูด ถ้าผิดรูปแบบเฉลี่ย ( ) ถูกนำมาใช้แล้วการตอบสนองมีลักษณะเป็น{} และส่วนที่เหลือจะถูกนำมาเป็นผลรวมของอคติและข้อผิดพลาด

f (x)

$f(x)$

Y = f (x) + bias + error

$Y = f(x) + \text{bias} + \text{error}$

— AdamO

คำตอบ:

กรีนเป็นคนเลอะเทอะหรือเปล่า? จริง ๆ แล้วเขาควรจะเขียน: ? นี่คือ "สมมติฐานเชิงเส้นตรง" ที่วางโครงสร้างในแบบจำลอง $E(y|X)=X\beta$

ในความรู้สึกใช่และไม่ใช่ ในแง่หนึ่งใช่ได้รับการวิจัยเกี่ยวกับเวรกรรมปัจจุบันในปัจจุบันเขาไม่เป็นระเบียบ แต่ก็เหมือนกับตำราเศรษฐศาสตร์ส่วนใหญ่ในแง่ที่ว่าพวกเขาไม่ได้แยกความแตกต่างของปริมาณเชิงสาเหตุและเชิงสังเกตอย่างชัดเจนทำให้เกิดความสับสนร่วมกันเช่นคำถามนี้ แต่ในมืออื่น ๆ ที่ไม่มีข้อสันนิษฐานนี้ไม่ได้เลอะเทอะในแง่ที่ว่ามันเป็นจริงที่แตกต่างกันจากเพียงแค่สมมติว่าE $E(y|X)=X\beta$

ปมของเรื่องนี่คือความแตกต่างระหว่างความคาดหวังเงื่อนไขและโครงสร้าง (สาเหตุ) สมการของเช่นเดียวกับของโครงสร้าง (สาเหตุ) ความคาดหวังของ $E(y|X)$ $y$ $E[Y|do(X)]$ (X)] สมมติฐานเชิงเส้นตรงในกรีนเป็นข้อสมมติฐานเชิงโครงสร้าง ลองดูตัวอย่างง่ายๆ ลองนึกภาพสมการโครงสร้างคือ:

y = β x + γ x^{2} + ϵ

$y= \beta x + \gamma x^2 + \epsilon$

ตอนนี้ขอ 2 จากนั้นเราจะได้: $E[\epsilon |x] = \delta x - \gamma x^2$

E [y | x] = β^{'} x

$E[y|x] = \beta'x$

ที่\ นอกจากนี้เรายังสามารถเขียนและเราจะมี0 สิ่งนี้แสดงให้เห็นว่าเราสามารถมี ความคาดหวังตามเงื่อนไขเชิงเส้นที่ระบุอย่างถูกต้องซึ่งโดยความหมายจะมีการรบกวนแบบฉากตั้งฉาก แต่สมการโครงสร้างจะไม่เชิงเส้น $\beta' = \beta + \delta$ $y = \beta'x + \epsilon'$ $E[\epsilon'|x] = 0$ $E[y|x]$

หรือฉันต้องยอมรับว่าการวางตัวเป็นเส้นตรงไม่ได้วางโครงสร้างลงบนแบบจำลอง แต่จะกำหนดเท่านั้นโดยที่สมมติฐานอื่น ๆ จะใช้นิยามของเพื่อวางโครงสร้างบนแบบจำลอง $\epsilon$ $\epsilon$

การอนุมานเชิงเส้นทำให้คำนิยามนั่นคือโดยคำจำกัดความโดยที่แสดงถึงการเบี่ยงเบนของเมื่อเราทำการทดลองset ( ดูหัวข้อ Pearl 5.4 ) สมมติฐานอื่น ๆ ที่ใช้ทั้งสำหรับบัตรประจำตัวของพารามิเตอร์โครงสร้าง (เช่นข้อสันนิษฐานของ exogeneity ของช่วยให้คุณระบุความคาดหวังที่มีโครงสร้างที่มีความคาดหวังที่มีเงื่อนไข ) หรือเพื่อให้ได้มาซึ่งคุณสมบัติทางสถิติของตัวประมาณ $\epsilon$ $\epsilon := y - X\beta = y - E[Y|do(X)]$ $\epsilon$ $y$ $X$ $\epsilon$ $E[Y|do(X)]$ $E[Y|X]$ (ตัวอย่างเช่นการสันนิษฐานของ homoskedasticity รับประกัน OLS คือ BLUE การสันนิษฐานของภาวะปกติทำให้ง่ายต่อการได้รับผลลัพธ์ "ตัวอย่าง จำกัด " สำหรับการอนุมานและอื่น ๆ )

อย่างไรก็ตามสมมติฐานเชิงเส้นด้วยตัวเองไม่ได้วางโครงสร้างใด ๆ ในรูปแบบของเราตั้งแต่สามารถ arbitrary สมบูรณ์ สำหรับตัวแปรใด ๆไม่ว่าอะไรก็ตามความสัมพันธ์ระหว่างเราสองคนนั้นสามารถกำหนดเช่นนั้นเพื่อให้สมมติฐานเชิงเส้น $\epsilon$ $X, y$ $\epsilon$

ข้อความของคุณที่นี่จะเป็นปัญหาหลักของการอนุมานสาเหตุโดยทั่วไป! ดังที่แสดงในตัวอย่างง่าย ๆ ข้างต้นเราสามารถประกอบการรบกวนโครงสร้างที่อาจทำให้ความคาดหวังตามเงื่อนไขของได้รับเส้นตรง โดยทั่วไปโมเดลโครงสร้าง (สาเหตุ) ที่แตกต่างกันหลายแบบสามารถมีการกระจายการสังเกตเหมือนกันคุณสามารถมีสาเหตุได้โดยไม่ต้องสังเกตความสัมพันธ์ ดังนั้นในแง่นี้คุณถูกต้อง --- เราต้องการสมมติฐานเพิ่มเติมเกี่ยวกับเพื่อที่จะใส่ "โครงสร้างเพิ่มเติม" ลงในปัญหาและระบุพารามิเตอร์โครงสร้างพร้อมข้อมูลเชิงสังเกต $y$ $x$ $\epsilon$ $\beta$

ข้อความด้านข้าง

เป็นมูลค่าการกล่าวขวัญตำราเศรษฐศาสตร์ส่วนใหญ่สับสนเมื่อมันมาถึงความแตกต่างระหว่างการถดถอยและสมการโครงสร้างและความหมายของพวกเขา สิ่งนี้ได้รับการบันทึกเมื่อเร็ว ๆ นี้ คุณสามารถตรวจสอบกระดาษโดยเฉินและเพิร์ลที่นี่เช่นเดียวกับการสำรวจการขยายโดยคริส Auld Greene เป็นหนึ่งในหนังสือที่ตรวจสอบ

— Carlos Cinelli
แหล่งที่มา

ขอบคุณนี่คือคำตอบที่ฉันต้องการ ดังนั้นเมื่อคุณพูดว่าการอนุมานเชิงเส้นคือสมมติฐานเชิงโครงสร้างดังนั้นสิ่งที่เกี่ยวข้องกับความสัมพันธ์เชิงสาเหตุระหว่างและ ? ยังสามารถมีความสัมพันธ์เชิงสาเหตุได้ถูกต้องหรือไม่ มันคือความสัมพันธ์เชิงสาเหตุโดยตรงจากถึงเป็นเส้นตรงนั่นคืออะไร? ยังคงมีผลเชิงสาเหตุที่ไม่เชิงเส้นอย่างมากของต่อถึง ?

ϵ

$\epsilon$

x

$x$

x

$x$

y

$y$

x

$x$

y

$y$

ϵ

$\epsilon$

— user56834

@ Programmer2134 ที่พื้นที่อื่นที่เศรษฐตำราเลอะเทอะคุณจะพบการอ้างอิงเล็ก ๆ น้อย ๆ ให้ตรง / ผลกระทบทางอ้อมไกล่เกลี่ย ฯลฯ ถ้าสมการก็คือโครงสร้างแล้วเราจะได้มีความหมายในการดำเนินงานของการรบกวนโครงสร้างเป็นความแตกต่างของที่มีความคาดหวัง ผลกระทบเชิงสาเหตุของที่เป็นX ดังนั้นในความรู้สึกนี้โครงสร้างไม่ได้ "ก่อให้เกิด" โดยXอย่างไรก็ตามสิ่งนี้ไม่ได้บอกเราเกี่ยวกับการเชื่อมโยงของและเพราะพวกเขาอาจมีสาเหตุที่พบบ่อย

y

$y$

X

$X$

ϵ := y - E [Y | d o (X)] = y - X β

$\epsilon := y - E[Y|do(X)] = y - X\beta$

ϵ

$\epsilon$

X

$X$

ϵ

$\epsilon$

X

$X$

— Carlos Cinelli

@ Programmer2134 ยังไงก็ตามความกังวลของคุณนั้นถูกต้องฉันคิดว่า Primer ของ Pearl ในการอนุมานเชิงสาเหตุอาจเป็นคู่หูที่น่าสนใจของ Greene!

— Carlos Cinelli

บังเอิญฉันเริ่มอ่าน "Causality: Models, Reasoning and Inference" โดย Pearl เมื่อไม่นานมานี้ ฉันคิดว่ามันน่าสนใจมาก แต่มันค่อนข้างเป็นนามธรรมสำหรับฉัน ฉันไม่ได้ไปไกลกว่าตอนที่ 2 คุณคิดว่า "ไพรเมอร์ในการอนุมานเชิงสาเหตุ" จะเหมาะสมกว่าหรือไม่ (เช่นแนะนำแนวคิดโดยสังหรณ์ใจมากขึ้น)

— user56834

@ColorStatistics คุณสามารถใช้การถดถอยสำหรับการคาดการณ์แน่นอน แต่จากนั้นสมมติฐานที่เป็นเอกเทศไม่มีบทบาทใด ๆ นั่นคือสิ่งที่ OP เริ่มสงสัยด้วยตัวเองโดยการตั้งคำถามว่าทำไมกรีนไม่ได้เขียนเพียงข้อสันนิษฐานว่าเป็นเส้นตรง

E (Y | x)

$E(Y|x)$

— Carlos Cinelli

แก้ไขหลังจากความคิดเห็นโดย OP และ Matthew Drury

ในการตอบคำถามนี้ฉันถือว่า Greene และ OP มีคำจำกัดความของ linearity ในใจดังต่อไปนี้: Linearity หมายความว่าสำหรับทุก ๆ หน่วยที่เพิ่มขึ้นในตัวทำนายนี้ผลลัพธ์จะเพิ่มขึ้นโดยเบต้า ( ) ไม่ว่าจะอยู่ในช่วงใดก็ตาม การเพิ่มขึ้นหนึ่งหน่วยนี้เกิดขึ้น คือฟังก์ชั่นคือและไม่ได้เช่นหรือ(x) นอกจากนี้ข้อสมมติฐานนี้มุ่งเน้นไปที่ betas และนำไปใช้กับผู้ทำนาย (aka ตัวแปรอิสระ) $β$ $y=f(x)$ $y=a+bx$ $y=a+bx^2$ $y=a+sin(x)$

ความคาดหวังของส่วนที่เหลือตามเงื่อนไขในรุ่นเป็นอย่างอื่น ใช่มันเป็นความจริงที่อยู่เบื้องหลังคณิตศาสตร์เชิงเส้นกำหนดถดถอย / พยายามที่จะกำหนด 0 แต่นี้มักจะตั้งทั้งช่วงของการติดตั้ง / ค่าคาดการณ์ไว้สำหรับปีถ้าคุณดูที่ชิ้นส่วนที่เฉพาะเจาะจงของการทำนายเชิงเส้นและมูลค่าที่คาดการณ์ของคุณอาจสังเกตเห็นheteroscedasticity (พื้นที่ที่มีการเปลี่ยนแปลงของมีขนาดใหญ่กว่าที่อื่น ๆ ) หรือพื้นที่ที่ 0 ความสัมพันธ์ที่ไม่เป็นเชิงเส้นระหว่างและอาจเป็นสาเหตุของสิ่งนี้ แต่ไม่ใช่เหตุผลเดียวที่ heteroscedasticity หรือ $E(ϵ|X)$ $E(ϵ|X)=0$ $y$ $y$ $ϵ$ $E(ϵ|X)≠0$ $x$ $y$ $E(ϵ|X)≠0$ อาจเกิดขึ้น (ดูตัวอย่างการตั้งค่าตัวทำนายที่ขาดหายไป)

จากความคิดเห็น: OP กล่าวว่า "สมมติฐานเชิงเส้นตรงไม่ได้ จำกัด รูปแบบ แต่อย่างใดเนื่องจาก epsilon นั้นเป็นระบบโดยพลการ ฉันคิดว่าสิ่งนี้ชัดเจนโดยการถดถอยเชิงเส้นที่สามารถพอดีกับข้อมูลใด ๆ ไม่ว่าจะมีการละเมิดสมมติฐานเชิงเส้นหรือไม่ก็ตาม ฉันคาดเดาที่นี่ แต่นั่นอาจเป็นเหตุผลว่าทำไมกรีนเลือกที่จะเก็บข้อผิดพลาดไว้ในสูตร - ประหยัดสำหรับในภายหลัง - เพื่อแสดงว่าในการสมมติว่าเป็นเชิงเส้น (และไม่ใช่ที่คาดไว้ ) สามารถกำหนดได้จากแต่รักษาข้อผิดพลาดบางอย่างโดยไม่คำนึงถึงค่าใด $ϵ$ $E(ϵ|X)=0$ $y$ $y$ $X$ $ϵ$ $ϵ$ ใช้เวลา ฉันสามารถหวังได้ว่าเขาจะกล่าวถึงความเกี่ยวข้องของภายหลัง $E(ϵ|X)=0$

ในระยะสั้น (เป็นที่ยอมรับโดยไม่อ่านหนังสือของกรีนอย่างเต็มที่และตรวจสอบการโต้แย้งของเขา):

Greene อาจหมายถึง betas เป็นค่าคงที่ตลอดช่วงของการทำนาย (ควรให้ความสำคัญกับเบต้าในหรือสมการ $y=Xβ + ϵ$ $E(ϵ|X)=Xβ$
สมมติฐานเชิงเส้นตรงวางโครงสร้างบางอย่างบนแบบจำลอง อย่างไรก็ตามคุณควรทราบว่าการแปลงหรือเพิ่มเติมเช่นเส้นโค้งก่อนการสร้างแบบจำลองสามารถทำให้ความสัมพันธ์ที่ไม่ใช่เชิงเส้นสอดคล้องกับกรอบการถดถอยเชิงเส้น

— เซ็กส์
แหล่งที่มา

สิ่งนี้มีประโยชน์ แต่ไม่ต้องการการอุทธรณ์ต่อเนื่องในทุกแง่มุม เครื่องจักรทำงานในลักษณะเดียวกันถ้าขึ้นอยู่กับตัวทำนาย

X

$X$

(0, 1)

$(0, 1)$

— Nick Cox

คุณเขียนแต่ฉันคิดว่าคุณหมายถึง ,

f (y)

$f(y)$

f (x)

$f(x)$

— Nick Cox

@NickCox ฉันได้แก้ไขคะแนนเหล่านี้แล้ว

— IWS

ปกติคุณหมายถึงอะไร? หากคุณหมายถึงภาวะปกติมันไม่ถูกต้องเพราะ epsilon ไม่จำเป็นต้องเป็นปกติเพื่อให้มีความคาดหวังตามเงื่อนไขเป็นศูนย์ แต่คุณหมายถึงอย่างอื่น? นอกจากนี้ใช่เบต้าจะถือว่าคงที่สำหรับการสังเกตทั้งหมด และสิ่งที่คุณคิดว่าเป็นธรรมกับข้อโต้แย้งของฉันที่สมมติฐานเชิงเส้นไม่ จำกัด รูปแบบในทางใดทางหนึ่งที่ได้รับว่าเป็น epsilon โดยพลการและสามารถเป็นฟังก์ชั่นของแต่อย่างใด? โปรดทราบว่าฉันรู้ว่า heteroskedasticity คืออะไรและความเป็นเส้นตรงนั้นหมายถึงเส้นตรงในพารามิเตอร์ไม่ใช่ในตัวแปร

X

$X$

— user56834

ฉันไม่เห็นด้วยกับสิ่งนี้ สมมติฐานการคาดการณ์ไม่เกี่ยวข้องกับสภาวะปกติ แต่เป็นสิ่งจำเป็นอย่างยิ่งที่จะต้องเข้าใจสมมติฐานเชิงเส้นเชิงโครงสร้าง มิฉะนั้นตามที่ระบุไว้โดย op, สมมติฐานเชิงเส้นตรงนั้นไม่มีความหมาย ข้อสันนิษฐานเชิงบรรทัดฐานเป็นสัตว์ที่ค่อนข้างแตกต่างกันและมักจะไม่จำเป็น

— Matthew Drury

-1

ฉันสับสนเล็กน้อยกับคำตอบข้างต้นดังนั้นฉันจะให้อีกนัด ฉันคิดว่าคำถามไม่ได้เกี่ยวกับการถดถอยเชิงเส้น 'แบบดั้งเดิม' แต่เกี่ยวกับลักษณะของแหล่งข้อมูลนั้น ในส่วนการถดถอยแบบคลาสสิก:

อย่างไรก็ตามสมมติฐานเชิงเส้นโดยตัวมันเองไม่ได้วางโครงสร้างใด ๆ ไว้ในแบบจำลองของเรา

นั่นถูกต้องอย่างแน่นอน ดังที่คุณได้กล่าวไว้อาจฆ่าความสัมพันธ์เชิงเส้นและรวมสิ่งที่เป็นอิสระจากอย่างสมบูรณ์เพื่อที่เราจะไม่สามารถคำนวณแบบจำลองใด ๆ ได้เลย $\epsilon$ $X$

กรีนเป็นคนเลอะเทอะหรือเปล่า? จริง ๆ แล้วเขาควรจะเขียน: $E(y|X)=Xβ$

ฉันไม่ต้องการที่จะตอบคำถามแรก แต่ให้ฉันสรุปสมมติฐานที่คุณต้องการสำหรับการถดถอยเชิงเส้นปกติ:

ให้เราสมมติว่าคุณสังเกต (คุณจะได้รับ) จุดข้อมูลและสำหรับ n คุณต้องสมมติว่าข้อมูลคุณสังเกตมานั้นมาจากตัวแปรสุ่มแบบกระจายที่เหมือนกันที่เหมือนกัน... $x_i \in \mathbb{R}^d$ $y_i \in \mathbb{R}$ $i=1,...,n$ $(x_i, y_i)$ $(X_i, Y_i)$

มีอยู่คงที่ (เป็นอิสระจาก )เช่นนั้นสำหรับทั้งหมดและตัวแปรสุ่มเป็นเช่นนั้น $i$ $\beta \in \mathbb{R}^d$ $Y_i = \beta X_i + \epsilon_i$ $i$ $\epsilon_i$
จะ IID เป็นอย่างดีและกระจายเป็น (ต้องเป็นอิสระของเช่นกัน) $\epsilon_i$ $\epsilon_i$ $\mathcal{N}(0, \sigma)$ $\sigma$ $i$
สำหรับและตัวแปรมีความหนาแน่นทั่วไปเช่นตัวแปรสุ่มเดียวมีความหนาแน่น $X = (X_1, ..., X_n)$ $Y = (Y_1, ..., Y_n)$ $X, Y$ $(X, Y)$ $f_{X,Y}$

ตอนนี้คุณสามารถเรียกใช้เส้นทางและคำนวณได้ตามปกติ

f_{Y | X} (y | x) = f_{Y, X} (y, x) / f_{X} (x) = {(\frac{1}{\sqrt{2 π d}})}^{n} \exp (\frac{- \sum_{i = 1}^{n} (y_{i} - β x_{i})^{2}}{2 σ})

$f_{Y|X}(y|x) = f_{Y,X}(y,x)/f_X(x) = \left(\frac{1}{\sqrt{2\pi d}}\right)^n \exp{\left( \frac{-\sum_{i=1}^n (y_i - \beta x_i)^2}{2\sigma}\right)}$

เพื่อให้โดย 'คู่' ปกติระหว่างการเรียนรู้เครื่อง (minimalization ของการทำงานผิดพลาด) และทฤษฎีความน่าจะเป็น (สูงสุดควรจะเป็น) คุณเพิ่มในซึ่งในความเป็นจริงจะช่วยให้คุณ สิ่งที่ "RMSE" ปกติ $-\log f_{Y|X}(y|x)$ $\beta$

ตอนนี้ตามที่ระบุไว้: หากผู้เขียนหนังสือที่คุณกำลังอ้างถึงต้องการทำให้ประเด็นนี้ (ซึ่งคุณต้องทำถ้าคุณเคยต้องการที่จะคำนวณบรรทัดการถดถอย 'ที่ดีที่สุด' ในการตั้งค่าพื้นฐาน) ใช่แล้วเขาจะต้องทำให้สมมติฐานนี้เป็นเรื่องปกติของที่ไหนสักแห่งในหนังสือ $\epsilon$

มีความเป็นไปได้ที่แตกต่างกันในขณะนี้:

เขาไม่ได้เขียนสมมติฐานนี้ลงในหนังสือ มันเป็นข้อผิดพลาดในหนังสือ
เขาเขียนมันลงในรูปแบบของคำพูด 'โกลบอล' เช่น 'เมื่อใดก็ตามที่ฉันเขียนดังนั้นจะเป็น iid กระจายตามปกติด้วยค่าเฉลี่ยศูนย์เว้นแต่จะระบุไว้เป็นอย่างอื่น' จากนั้น IMHO มันเป็นสไตล์ที่ไม่ดีเพราะมันทำให้เกิดความสับสนอย่างที่คุณรู้สึกตอนนี้ นั่นคือเหตุผลที่ฉันมักจะเขียนสมมติฐานในบางรูปแบบที่สั้นลงในทุกทฤษฎีบท เฉพาะ Building Block เท่านั้นที่สามารถดูได้อย่างหมดจดในสิทธิ์ของตนเอง $+ \epsilon$ $\epsilon$
- เขาเขียนมันลงไปอย่างใกล้ชิดในส่วนที่คุณอ้างและคุณ / เราก็ไม่ได้สังเกตเห็น (เช่นความเป็นไปได้ :-))

อย่างไรก็ตามในความหมายทางคณิตศาสตร์ที่เข้มงวดข้อผิดพลาดปกติก็เป็นสิ่งที่ยอมรับได้ (การกระจายที่มีเอนโทรปีสูงสุด [เมื่อความแปรปรวนได้รับการแก้ไข] ดังนั้นการสร้างแบบจำลองที่แข็งแกร่งที่สุด) ดังนั้นผู้เขียนบางคนมักจะข้ามสมมติฐานนี้ . อย่างเป็นทางการคุณพูดถูก: พวกเขาใช้คณิตศาสตร์ในทางที่ผิด เมื่อใดก็ตามที่พวกเขาต้องการสมการความหนาแน่นตามที่ระบุไว้ข้างต้นพวกเขาจำเป็นต้องรู้ค่อนข้างดีมิฉะนั้นคุณก็จะมีคุณสมบัติของมันลอยไปรอบ ๆ ในสมการที่สมเหตุสมผลทุกครั้งที่คุณพยายามจด . $f_{Y|X}$ $\epsilon$

— เฟเบียนเวอร์เนอร์
แหล่งที่มา

ข้อผิดพลาดไม่จำเป็นต้องกระจายตามปกติเพื่อใช้ OLS

— user56834

(-1) ข้อผิดพลาดไม่จำเป็นต้องกระจายตามปกติ ในความเป็นจริงพวกเขาไม่จำเป็นต้องเป็นอิสระหรือกระจายเหมือนกันสำหรับการประมาณค่าพารามิเตอร์ที่จะเป็นอิสระและเพื่อให้การทดสอบสอดคล้องกัน ข้อกำหนดที่เข้มงวดยิ่งขึ้นของคุณนั้นจำเป็นสำหรับ OLS ในการทดสอบที่แน่นอน

— AdamO

@AdamO: อ่า ดังนั้นคุณจะคำนวณความเป็นไปได้อย่างไร หรือมากกว่า ... หากคุณถูกขอให้ใช้การถดถอยเชิงเส้น: คุณเลือกบรรทัดการถดถอยใดหากข้อผิดพลาดนั้นไม่ได้รับการเผยแพร่ตามปกติและเดียวไม่ได้เป็นอิสระ

ϵ_{i}

$\epsilon_i$

— เฟเบียนเวอร์เนอร์

@ FabianWerner รูปแบบที่ฉันเลือกขึ้นอยู่กับคำถามที่ต้องถาม การถดถอยเชิงเส้นประมาณแนวโน้มอันดับแรกในชุดข้อมูล "กฎของหัวแม่มือ" ที่เกี่ยวข้องกับความแตกต่างใน X ถึงความแตกต่างใน Y หากข้อผิดพลาดไม่ได้รับการกระจายตามปกติ Lindeberg Feller CLT รับประกันว่า CIs และ PIs ถูกต้องโดยประมาณ ในตัวอย่างที่มีขนาดเล็กมาก หากข้อผิดพลาดไม่เป็นอิสระ (และไม่ทราบโครงสร้างการพึ่งพา) การประมาณการจะไม่ลำเอียงแม้ว่า SEs อาจไม่ถูกต้อง การประมาณความผิดพลาดแบบแซนด์วิชช่วยบรรเทาปัญหานี้ได้

— AdamO