ฉันอ่านว่าสิ่งเหล่านี้เป็นเงื่อนไขสำหรับการใช้แบบจำลองการถดถอยหลายแบบ:

1. รูปแบบที่เหลือเกือบปกติ
2. ความแปรปรวนของส่วนที่เหลือเกือบคงที่
3. ส่วนที่เหลือมีความเป็นอิสระและ
4. แต่ละตัวแปรมีความสัมพันธ์เชิงเส้นตรงกับผลลัพธ์

1 และ 2 แตกต่างกันอย่างไร

คุณสามารถดูได้ที่นี่:

กราฟข้างบนบอกว่าส่วนที่เหลือซึ่งคือ 2 ส่วนเบี่ยงเบนมาตรฐานอยู่ 10 ห่างจาก Y-hat นั่นหมายความว่าส่วนที่เหลือจะเป็นไปตามการแจกแจงแบบปกติ คุณไม่สามารถอนุมาน 2 จากนี้ได้ใช่ไหม ความแปรปรวนของค่าคงที่เกือบคงที่หรือไม่

1. การกระจายตัวของสารตกค้างตามปกติ :

เงื่อนไขปกติจะเริ่มเล่นเมื่อคุณพยายามรับช่วงความมั่นใจและ / หรือค่า p

ไม่ได้เป็นเงื่อนไข Gauss มาร์คอฟ$\varepsilon\vert X\sim N (0,\sigma^2 I_n)$

$X = x$

ถ้าเรารันการวินิจฉัย R แปลงข้อมูล "ประชากร" จำลองเราจะได้รับ ...

$X.$

พล็อตทั่วไปจะเป็น:

แนวคิดการแนะนำตัวลงทะเบียนหลายตัวหรือตัวแปรอธิบายไม่ได้เปลี่ยนความคิด ฉันพบว่าบทเรียนแบบฝึกหัดบนมือswirl()มีประโยชน์อย่างมากในการทำความเข้าใจว่าการถดถอยหลายครั้งเป็นกระบวนการของการถดถอยตัวแปรตามซึ่งกันและกันต่อการดำเนินการต่อการเปลี่ยนแปลงที่เหลือไม่ได้อธิบายในรูปแบบ; หรือมากกว่านั้นง่ายๆคือรูปแบบเวกเตอร์ของการถดถอยเชิงเส้นอย่างง่าย :

เทคนิคทั่วไปคือการเลือกหนึ่ง regressor และแทนที่ตัวแปรอื่น ๆ ทั้งหมดโดยส่วนที่เหลือของการถดถอยของพวกเขากับหนึ่ง

2. ความแปรปรวนของส่วนที่เหลือเกือบคงที่ (Homoskedasticity) :

$E[ \varepsilon_i^2 \vert X ] = \sigma^2$

ปัญหาเกี่ยวกับการละเมิดเงื่อนไขนี้คือ:

Heteroskedasticity มีผลกระทบร้ายแรงสำหรับตัวประมาณ OLS แม้ว่าตัวประมาณ OLS จะไม่เอนเอียง แต่ SE ที่ประมาณไว้นั้นผิด ด้วยเหตุนี้จึงไม่สามารถเชื่อมั่นในการทดสอบช่วงเวลาและทดสอบสมมติฐานได้ นอกจากนี้ตัวประมาณ OLS จะไม่เป็นสีน้ำเงินอีกต่อไป

ในพล็อตนี้ความแปรปรวนจะเพิ่มขึ้นตามค่าของ regressor (ตัวแปรอธิบาย) ซึ่งตรงข้ามกับค่าคงที่ ในกรณีนี้ส่วนที่เหลือจะกระจายตามปกติ แต่ความแปรปรวนของการแจกแจงแบบปกตินี้จะเปลี่ยน (เพิ่มขึ้น) ด้วยตัวแปรอธิบาย

โปรดสังเกตว่าบรรทัดการถดถอย "จริง" (ประชากร) จะไม่เปลี่ยนแปลงตามส่วนที่เกี่ยวกับเส้นการถดถอยของประชากรภายใต้ homoskedasticity ในพล็อตแรก (สีน้ำเงินเข้มทึบ) แต่เป็นที่ชัดเจนโดยสังหรณ์ว่าการประมาณการจะมีความไม่แน่นอนมากขึ้น

ชุดการวินิจฉัยบนชุดข้อมูลคือ ...

ซึ่งสอดคล้องกับการกระจาย "หนักหาง"ซึ่งทำให้รู้สึกคือเราต้องกล้องโทรทรรศน์ทั้งหมด "แบบเคียงข้างกัน" แนวตั้งแบบเกาส์แปลงเป็นหนึ่งเดียวซึ่งจะรักษารูปร่างระฆัง แต่มีหางยาวมาก

@Glen_b "... ความครอบคลุมที่สมบูรณ์ของความแตกต่างระหว่างทั้งสองจะพิจารณาถึง homoskedastic-but-not-normal"

ส่วนที่เหลือจะเบ้สูงและความแปรปรวนเพิ่มขึ้นตามค่าของตัวแปรอธิบาย

นี่จะเป็นแผนการวินิจฉัย ...

ตรงกับการทำเครื่องหมายเบ้ด้านขวา

หากต้องการปิดลูปเราจะเห็นการเปลี่ยนแปลงแบบเนสในโมเดลแบบ homoskedastic พร้อมการกระจายข้อผิดพลาดแบบไม่ใช่เกาส์:

พร้อมแปลงวินิจฉัยเป็น ...

มันไม่ใช่ความผิดของ OP แต่ฉันเริ่มเบื่อที่จะอ่านข้อมูลผิด ๆ แบบนี้

ฉันอ่านว่าสิ่งเหล่านี้เป็นเงื่อนไขในการใช้ตัวแบบการถดถอยหลายแบบ:

the residuals of the model are nearly normal,
the variability of the residuals is nearly constant
the residuals are independent, and
each variable is linearly related to the outcome.

"หลาย ๆ รูปแบบการถดถอย" เป็นแค่ป้ายประกาศว่าสามารถแสดงตัวแปรหนึ่งเป็นฟังก์ชั่นของตัวแปรอื่น ๆ

ทั้งข้อผิดพลาดที่แท้จริงและส่วนที่เหลือของตัวแบบนั้นไม่จำเป็นต้องมีอะไรเป็นพิเศษ - หากส่วนที่เหลือดูเป็นปกตินี่เป็นสิ่งที่ดีสำหรับการอนุมานทางสถิติในภายหลัง

ความแปรปรวน (ความแปรปรวน) ของคำผิดพลาดนั้นไม่จำเป็นต้องเกือบคงที่ - ถ้าไม่ใช่เรามีแบบจำลองที่มี heteroskedasticity ซึ่งทุกวันนี้จัดการได้ง่าย

ส่วนที่เหลือไม่ได้เป็นอิสระในกรณีใด ๆ เนื่องจากแต่ละฟังก์ชั่นของตัวอย่างทั้งหมด เงื่อนไขข้อผิดพลาดจริงไม่จำเป็นต้องเป็นอิสระถ้าพวกเขาไม่ได้เรามีรูปแบบที่มีอัตซึ่งแม้จะยากกว่า heteroskedasticity สามารถจัดการกับการขึ้นไปการศึกษาระดับปริญญา

ตัวแปรแต่ละตัวไม่จำเป็นต้องเกี่ยวข้องกับผลลัพธ์เป็นเส้นตรง ในความเป็นจริงความแตกต่างระหว่าง "เชิงเส้น" และ "ไม่เชิงเส้น" การถดถอยไม่มีอะไรเกี่ยวข้องกับความสัมพันธ์ระหว่างตัวแปร - แต่เป็นอย่างไรสัมประสิทธิ์ที่ไม่รู้จักเข้ามาเกี่ยวข้องอย่างไร

สิ่งที่สามารถพูดได้ก็คือว่าถ้าการระงับสามครั้งแรกและครั้งที่สี่ถูกระบุไว้อย่างถูกต้องแล้วเราจะได้รับ "แบบจำลองการถดถอยเชิงเส้นปกติแบบคลาสสิค" ซึ่งเป็นเพียงรูปแบบหนึ่ง

Antoni Parellada มีคำตอบที่สมบูรณ์แบบด้วยภาพประกอบกราฟิกที่ดี

ฉันต้องการเพิ่มความคิดเห็นหนึ่งรายการเพื่อสรุปความแตกต่างระหว่างสองข้อความ

1. ส่วนที่เหลือของโมเดลเกือบปกติ

2. ความแปรปรวนของส่วนที่เหลือเกือบคงที่

• 1 คำสั่งให้"รูปร่าง"ของที่เหลือคือ"เส้นโค้งรูประฆัง"
• คำแถลง 2 ปรับการแพร่กระจายของ"รูปร่าง" (เป็นค่าคงที่) ในพล็อตของ Antoni Parellada 3 มีเส้นโค้งรูประฆัง 3 แบบ แต่มีการกระจายที่แตกต่างกัน

ไม่มีสมมติฐานการถดถอยชุดเดียวที่ไม่ซ้ำกัน แต่มีหลายรูปแบบออกมี ชุดของสมมติฐานเหล่านี้บางชุดมีความเข้มงวดเช่นแคบกว่าชุดอื่น ๆ นอกจากนี้ในกรณีส่วนใหญ่คุณไม่ต้องการและในหลาย ๆ กรณีไม่สามารถสรุปได้ว่าการแจกแจงเป็นเรื่องปกติ

สมมติฐานที่คุณยกมานั้นเข้มงวดกว่ามากที่สุด แต่ก็มีการกำหนดในภาษาที่ไม่จำเป็นโดยไม่จำเป็น ตัวอย่างเช่นสิ่งที่อยู่ตรงเกือบ ? นอกจากนี้ไม่ใช่ส่วนที่เหลือซึ่งเรากำหนดสมมติฐานมันเป็นข้อผิดพลาดข้อผิดพลาดส่วนที่เหลือเป็นค่าประมาณข้อผิดพลาดซึ่งไม่สามารถสังเกตได้ สิ่งนี้บอกฉันว่าคุณกำลังอ้างถึงจากแหล่งที่น่าสงสาร โยนมันออกไป.

คำตอบสั้น ๆ สำหรับคำถามของคุณคือถ้าคุณพิจารณาการแจกจ่ายใด ๆ เช่นการแจกแจงของนักเรียน t สำหรับข้อผิดพลาดของคุณ (ฉันจะใช้คำที่ถูกต้องในคำตอบของฉัน) จากนั้นคุณจะเห็นว่าข้อผิดพลาดนั้นมี โดยไม่ต้องมาจากการแจกแจงแบบปกติและการมีความแปรปรวน "เกือบคงที่" นั้นไม่จำเป็นต้องมีการแจกแจงแบบปกติ กล่าวอีกนัยหนึ่งไม่คุณไม่สามารถกำหนดสมมติฐานหนึ่งจากอีกสมมติฐานหนึ่งโดยไม่มีข้อกำหนดเพิ่มเติม

ข้อกำหนดดังกล่าวอาจมาจากการกำหนดรูปแบบการถดถอยที่เป็นที่นิยมดังนี้:

1. $\mathcal N(.)$
2. $\sigma$$\varepsilon_i$
3. $\mathcal N$$X$
4. $y=X\beta$

ดังนั้นเมื่อเรารวมสมมติฐานทั้งหมดเข้าด้วยกันด้วยวิธีนี้ในหนึ่งหรือสองสมการมันอาจดูเหมือนว่าพวกมันทั้งหมดขึ้นอยู่กับกันและกันซึ่งไม่เป็นความจริง ฉันจะแสดงต่อไปนี้

ตัวอย่างที่ 1

ตัวอย่างที่ 2

ฉันพยายามเพิ่มมิติใหม่ให้กับการสนทนาและทำให้เป็นเรื่องทั่วไปมากขึ้น โปรดขอโทษด้วยถ้าพื้นฐานเกินไป

แบบจำลองการถดถอยเป็นวิธีที่เป็นทางการในการแสดงสองส่วนผสมที่สำคัญของความสัมพันธ์ทางสถิติ:

1. $Y$$X$
2. การกระจายของจุดรอบ ๆ เส้นโค้งของความสัมพันธ์ทางสถิติ

$Y$

โดยอ้างว่า:

1. $Y$$X$

2. $X$

$Y$

$Y$$X$

$Y$$X$$Y$$X$

ที่มา: แบบจำลองเชิงเส้นตรงเชิงสถิติ, KNNL

$Y$$X$

$Y_i$$X_i$

$\beta_0\\$$\beta_1\\$ เป็นพารามิเตอร์

$\epsilon\\$$N(O,\sigma^2)$

$i$

$E(Y|X)$$\beta_0\\$$\beta_1\\$$\sigma^2$$\beta_0\\$$\beta_1\\$$\sigma^2$

the residuals of the model are nearly normal,
the variability of the residuals is nearly constant
the residuals are independent, and
each variable is linearly related to the outcome.

1 และ 2 แตกต่างกันอย่างไร

มาถึงคำถาม

ข้อสมมติฐานแรกและข้อที่สองตามที่ระบุไว้โดยคุณคือสองส่วนของข้อสมมติเดียวกันของภาวะปกติโดยมีค่าเฉลี่ยศูนย์และความแปรปรวนคงที่ ฉันคิดว่าควรตั้งคำถามว่าอะไรคือความหมายของสมมติฐานสองข้อสำหรับแบบจำลองการถดถอยข้อผิดพลาดปกติมากกว่าความแตกต่างระหว่างสมมติฐานสองข้อ ฉันบอกว่าเพราะมันดูเหมือนการเปรียบเทียบแอปเปิ้ลกับส้มเพราะคุณกำลังพยายามค้นหาความแตกต่างระหว่างสมมติฐานเกี่ยวกับการกระจายของจุดกระจายและสมมติฐานเหนือความแปรปรวน ความแปรปรวนเป็นสมบัติของการแจกแจง ดังนั้นฉันจะพยายามตอบคำถามที่เกี่ยวข้องมากขึ้นเกี่ยวกับผลกระทบของสมมติฐานทั้งสอง

ภายใต้สมมติฐานของภาวะปกติผู้ประเมินความน่าจะเป็นสูงสุด (MLEs) จะเหมือนกับตัวประมาณกำลังสองน้อยที่สุดและ MLEs จะสนุกกับคุณสมบัติของการเป็นUMVUEซึ่งหมายความว่าพวกเขามีความแปรปรวนต่ำสุดในตัวประมาณทั้งหมด

$\beta_0\\$$\beta_1\\$$t$