ฉันจะใช้ค่าของเพื่อทดสอบสมมติฐานเชิงเส้นในการวิเคราะห์การถดถอยแบบหลายค่าได้อย่างไร

กราฟด้านล่างเป็นแผนการกระจายที่เหลือของการทดสอบการถดถอยซึ่ง "ปกติ", "homoscedasticity" และ "อิสระ" สมมติฐานได้รับการพบอย่างแน่นอน! สำหรับการทดสอบสมมติฐาน"linearity"ถึงแม้ว่าโดยการดูที่กราฟสามารถคาดเดาได้ว่าความสัมพันธ์นั้นเป็นเส้นโค้ง แต่คำถามคือ: ค่าของ "R2 Linear" สามารถใช้ในการทดสอบสมมติฐานเชิงเส้นได้อย่างไร ช่วงที่ยอมรับได้สำหรับค่าของ "R2 Linear" คืออะไรเพื่อตัดสินใจว่าความสัมพันธ์นั้นเป็นเส้นตรงหรือไม่ จะทำอย่างไรเมื่อไม่ตรงตามสมมติฐานเชิงเส้นตรงและการแปลงค่า IV ก็ไม่ได้ช่วย !!

นี่คือลิงค์ไปยังผลลัพธ์ทั้งหมดของการทดสอบ

แผนการกระจาย:

โปรดทราบว่าสมมติฐานเชิงเส้นที่คุณกำลังพูดเพียงบอกว่าหมายถึงเงื่อนไขของรับX $Y_i$$X_i$เป็นฟังก์ชันเชิงเส้น คุณไม่สามารถใช้ค่าของเพื่อทดสอบสมมติฐานนี้$R^2$

นี่เป็นเพราะเป็นเพียงความสัมพันธ์กำลังสองระหว่างค่าที่สังเกตและทำนายและค่าของสัมประสิทธิ์สหสัมพันธ์ไม่ได้กำหนดความสัมพันธ์เฉพาะระหว่างและ (เชิงเส้นหรืออย่างอื่น)และทั้งสองสถานการณ์ต่อไปนี้เป็นไปได้: X Y$R^2$$X$$Y$

• สูงแต่ข้อสมมติเชิงเส้นยังคงผิดในวิธีที่สำคัญ$R^2$

• ต่ำแต่ข้อสมมติเชิงเส้นยังคงพอใจ$R^2$

ฉันจะพูดคุยกัน:

(1) สูงแต่สมมติฐานเชิงเส้นที่ยังคงมีความผิดในทางที่สำคัญ:$R^2$เคล็ดลับที่นี่คือการจัดการความจริงที่ว่าความสัมพันธ์ที่มีความสำคัญมากที่จะผิดปกติ สมมติว่าคุณมีตัวทำนายที่สร้างขึ้นจากการกระจายแบบผสมที่เป็นมาตรฐานปกติของเวลาและมวลจุดที่อีกและตัวแปรตอบกลับที่ X 1 , . . , X n 99%M1%$X_1, ..., X_n$$99\%$$M$$1\%$

ที่และเป็นค่าคงที่บวกมีขนาดใหญ่กว่าเช่น 5 จากนั้นและจะมีความสัมพันธ์เกือบสมบูรณ์แบบ:$Z_i \sim N(\mu,1)$$M$$\mu$$\mu=0, M=10^5$$X_i$$Y_i$

u = runif(1e4)>.99
x = rnorm(1e4)
x[which(u==1)] = 1e5
y = rnorm(1e4)
y[which(x==1e5)] = 1e5
cor(x,y)
[1] 1

แม้จะมีความจริงที่ว่าคาดว่าค่าตัวของรับไม่เป็นเชิงเส้น - ในความเป็นจริงมันเป็นฟังก์ชั่นขั้นตอนที่ต่อเนื่องและคาดว่าค่าตัวของไม่ได้ขึ้นอยู่กับยกเว้นเมื่อM$Y_i$$X_i$$Y_i$$X_i$$X_i = M$

(2) ต่ำแต่ข้อสมมติเชิงเส้นยังคงเป็นที่พอใจ:$R^2$เคล็ดลับที่นี่คือการทำให้จำนวนของ "เสียง" รอบแนวโน้มเชิงเส้นมีขนาดใหญ่ สมมติว่าคุณมีตัวทำนายและการตอบสนองและตัวแบบ$X_i$$Y_i$

เป็นรูปแบบที่ถูกต้อง ดังนั้นค่าเฉลี่ยตามเงื่อนไขของได้รับเป็นฟังก์ชันเชิงเส้นของดังนั้นสมมติฐานเชิงเส้นจึงเป็นที่พอใจ ถ้ามีขนาดใหญ่เมื่อเทียบกับดังนั้นจะมีขนาดเล็ก ตัวอย่างเช่น,X ฉันX ฉันv a r ( ε ฉัน ) = σ 2 β 1 R $Y_i$$X_i$$X_i$${\rm var}(\varepsilon_i) = \sigma^2$$\beta_1$$R^2$

x = rnorm(200)
y = 1 + 2*x + rnorm(200,sd=5)
cor(x,y)^2
[1] 0.1125698

ดังนั้นการประเมินสมมติฐานเชิงเส้นตรงจึงไม่ใช่เรื่องของการดูว่าอยู่ในช่วงที่ยอมรับได้$R^2$หรือไม่ แต่มันเป็นเรื่องของการตรวจสอบแผนการกระจายระหว่างตัวทำนาย / ค่าที่ทำนายและการตอบสนองและทำการตัดสินใจ

Re: จะต้องทำอย่างไรเมื่อข้อสรุปเชิงเส้นตรงไม่ตรงและเปลี่ยนค่า IV ก็ไม่ได้ช่วย !!

เมื่อไม่ใช่เชิงเส้นเป็นปัญหาอาจเป็นประโยชน์ในการดูพล็อตของส่วนที่เหลือเทียบกับตัวทำนายแต่ละตัว - หากมีรูปแบบที่สังเกตเห็นได้ชัดเจนสิ่งนี้สามารถบ่งชี้ว่าไม่ใช่เชิงเส้นในตัวทำนายนั้น ตัวอย่างเช่นถ้าพล็อตนี้แสดงความสัมพันธ์ "รูปชาม" ระหว่างส่วนที่เหลือกับตัวทำนายสิ่งนี้อาจบ่งบอกถึงกำลังสองที่หายไปในคำทำนายนั้น รูปแบบอื่น ๆ อาจระบุรูปแบบการทำงานที่แตกต่างกัน ในบางกรณีอาจเป็นไปได้ว่าคุณยังไม่ได้ลองแปลงที่ถูกต้องหรือว่าตัวแบบที่แท้จริงไม่ได้เป็นเชิงเส้นในตัวแปรที่แปลงแล้ว (แม้ว่าอาจเป็นไปได้ที่จะหาการประมาณที่สมเหตุสมผล)

เกี่ยวกับตัวอย่างของคุณ:ขึ้นอยู่กับพล็อตที่คาดการณ์และที่เกิดขึ้นจริง (พล็อตที่ 1 และ 3 ในโพสต์ต้นฉบับ) สำหรับตัวแปรตามสองที่แตกต่างกันดูเหมือนว่าสำหรับสมมติฐานทั้งสองนั้น ในพล็อตแรกดูเหมือนว่าอาจมีความแตกต่างกันเล็กน้อย แต่ความสัมพันธ์ระหว่างทั้งสองนั้นดูเป็นเส้นตรง ในพล็อตที่สองความสัมพันธ์มีลักษณะเป็นเส้นตรง แต่ความแข็งแกร่งของความสัมพันธ์ค่อนข้างอ่อนแอตามที่ระบุโดยกระจายขนาดใหญ่รอบเส้น (เช่นความแปรปรวนข้อผิดพลาดขนาดใหญ่) - นี่คือเหตุผลที่คุณเห็นต่ำ$R^2$

แน่นอนว่าการปรับความนุ่มนวลของผิวให้เรียบเหมือน LOESS และการเห็นความกระชับของเส้นตรงเป็นวิธีหนึ่งในการประเมินความเป็นเส้นตรงของฟังก์ชัน ฉันต้องการพูดถึงประเด็นหลักของคำถามซึ่งเป็นขอบเขตที่ R สแควร์สามารถวัดความเป็นเชิงเส้นได้ ชัดเจนตั้งแต่หมายถึงข้อมูลตกลงบนเส้นอย่างสมบูรณ์ แต่คำถามที่ว่าใกล้ถึงจะต้องพิจารณาว่าโค้งเป็นเส้นตรงนั้นยากกว่าที่จะฟัง ขนาดของกลุ่มตัวอย่างแน่นอนเป็นปัจจัย หากคุณมีเพียง 3 ถึง 6 คะแนน1 R 2 R 2 2 1 < x < 2 R 2 R $R^2=1$$1$$R^2$$R^2$จะสูงมากโดยไม่คำนึงถึงรูปร่างของฟังก์ชันที่อาจแสดงข้อมูล แม้ในกลุ่มตัวอย่างขนาดใหญ่ภูมิภาคที่มีการรวบรวมข้อมูล ฟังก์ชันที่ไม่ใช่เชิงเส้นจะมีลักษณะเป็นเส้นตรงในตัวเครื่อง นี่เป็นเรื่องจริงสำหรับพหุนาม พิจารณาฟังก์ชันการ y = x 2 ในภูมิภาคลักษณะการทำงานเชิงเส้นและข้อมูลที่สร้างขึ้นจากรุ่นนี้ด้วยเสียงที่ดังสารเติมแต่งเล็ก ๆ น้อย ๆ จะนำไปสู่มูลค่าสูงสำหรับ 2 ในทางกลับกันโมเดลอาจมีลักษณะเป็นเส้นตรงอย่างสมบูรณ์ แต่มีองค์ประกอบเสียงรบกวนขนาดใหญ่และอาจมีขนาดเล็ก$^2$$1<x<2$$R^2$$R^2$