R-squared เชิงลบหมายถึงอะไร

สมมติว่าฉันมีข้อมูลบางส่วนแล้วฉันก็พอดีกับข้อมูลด้วยแบบจำลอง (การถดถอยเชิงเส้น) จากนั้นฉันคำนวณ R-squared ( )$R^2$

เมื่อ R-squared เป็นลบนั่นหมายความว่าอย่างไร นั่นหมายความว่าแบบจำลองของฉันไม่ดีหรือไม่? ฉันรู้ว่าช่วงสามารถเป็น [-1,1] เมื่อเป็น 0 นั่นหมายความว่าอย่างไร$R^2$$R^2$

$R^2$อาจเป็นค่าลบมันก็หมายความว่า:

1. โมเดลเหมาะกับข้อมูลของคุณไม่ดีมาก
2. คุณไม่ได้ตั้งค่าดักฟัง

สำหรับคนที่บอกว่าอยู่ระหว่าง 0 ถึง 1 นี่ไม่ใช่กรณี ในขณะที่ค่าลบสำหรับบางสิ่งบางอย่างที่มีคำว่า 'กำลังสอง' อยู่ในนั้นอาจฟังดูคล้ายกับว่าทำลายกฎของคณิตศาสตร์ แต่มันสามารถเกิดขึ้นได้ในตัวแบบR 2โดยไม่มีการสกัด เพื่อให้เข้าใจว่าทำไมเราต้องดูว่าคำนวณอย่างไรกับR $R^2$$R^2$$R^2$

ยาวไปหน่อย - หากคุณต้องการคำตอบโดยไม่เข้าใจให้ข้ามไปจนจบ มิฉะนั้นฉันพยายามจะเขียนมันด้วยคำพูดง่ายๆ

อันดับแรกให้กำหนด 3 ตัวแปร: , T S SและE S S$RSS$$TSS$$ESS$

กำลังคำนวณ RSS :

ทุกตัวแปรอิสระเรามีตัวแปรY เราพล็อตเป็นเส้นตรงแบบที่ดีที่สุดซึ่งคาดการณ์ค่าของYสำหรับค่าของแต่ละx ขอเรียกค่าของYสายคาดการณ์ปี ข้อผิดพลาดระหว่างสิ่งที่บรรทัดของคุณคาดการณ์และสิ่งที่สามารถคำนวณค่าyจริงได้คือการลบ ความแตกต่างเหล่านี้ทั้งหมดจะยืดและเพิ่มขึ้นซึ่งจะช่วยให้ส่วนที่เหลือรวมของสแควร์R S S$x$$y$$y$$x$$y$$\hat y$$y$$RSS$

ใส่ลงในสมการ$RSS = \sum (y - \hat y)^2$

กำลังคำนวณ TSS :

เราสามารถคำนวณค่าเฉลี่ยของซึ่งเรียกว่าˉ Y ถ้าเราวางแผนˉ ปีก็เป็นเพียงเส้นแนวนอนผ่านข้อมูลเพราะมันเป็นค่าคงที่ เราสามารถทำอะไรกับมัน แต่เป็นลบˉ Y (ค่าเฉลี่ยของปี ) จากทุกค่าจริงของปี ผลที่ได้คือยืดและรวมเข้าด้วยกันซึ่งจะช่วยให้ผลรวมของสี่เหลี่ยมT S S$y$$\bar y$$\bar y$$\bar y$$y$$y$$TSS$

ใส่มันลงในสมการ$TSS = \sum (y - \bar y)^2$

การคำนวณ ESS :

ความแตกต่างระหว่างปี (ค่าของปีที่คาดการณ์โดยบรรทัด) และค่าเฉลี่ยˉ Yจะยืดและเสริม นี่คือผลรวมของสี่เหลี่ยมอธิบายซึ่งเท่ากับ Σ ( Y - ˉ Y ) 2$\hat y$$y$$\bar y$$\sum (\hat y - \bar y)^2$

โปรดจำไว้ว่าแต่เราสามารถเพิ่ม+ Y - Yเป็นมันเพราะมันจะยกเลิกตัวเองออก ดังนั้นT S S = Σ ( Y - Y + Y - ˉ Y ) 2 ขยายวงเล็บเหล่านี้เราได้รับT S S = Σ ( Y - Y ) 2$TSS = \sum (y - \bar y)^2$$+ \hat y - \hat y$$TSS = \sum (y - \hat y + \hat y -\bar y)^2$$TSS = \sum (y - \hat y)^2 + 2* \sum (y - \hat y)(\hat y - \bar y) + \sum (\hat y - \bar y)^2$

เมื่อและเฉพาะเมื่อสายพล็อตที่มีการตัดต่อไปนี้เป็นความจริงเสมอ: 0 ดังนั้นT S S = Σ ( Y - Y ) 2 + Σ ( Y - ˉ Y ) 2ซึ่งคุณอาจสังเกตเห็นก็หมายความว่าT S S = R S S $2* \sum (y - \hat y)(\hat y - \bar y) = 0$$TSS = \sum (y - \hat y)^2 + \sum (\hat y - \bar y)^2$ S ถ้าเราแบ่งคำทั้งหมดด้วย T S Sและจัดเรียงใหม่เราจะได้ 1 - R S $TSS = RSS + ESS$$TSS$ S$1 - \frac {RSS}{TSS} = \frac {ESS}{TSS}$

นี่คือส่วนสำคัญ :

ถูกกำหนดเป็นแบบจำลองของคุณอธิบายความแปรปรวนเท่าไร (โมเดลของคุณดีแค่ไหน) ในรูปแบบสมการนั่นคือ R 2 = 1 - R S $R^2$ S ดูคุ้นเคยไหม เมื่อเส้นถูกพล็อตด้วยจุดตัดเราสามารถแทนที่สิ่งนี้เป็นR2=ES$R^2 = 1 - \frac {RSS}{TSS}$ S เนื่องจากทั้งตัวเศษและตัวอสูรนั้นเป็นผลบวกกำลังสองR2จึงต้องเป็นค่าบวก$R^2 = \frac {ESS}{TSS}$$R^2$

แต่

เมื่อเราไม่ได้ระบุตัดไม่จำเป็นต้องเท่ากับ0 ซึ่งหมายความว่าT S S = R S S + E S S + 2 * Σ ( Y - Y ) ( Y - ˉ Y )$2* \sum (y - \hat y)(\hat y - \bar y)$$0$$TSS = RSS + ESS + 2* \sum (y - \hat y)(\hat y - \bar y)$

การหารทุกเทอมด้วยเราจะได้1 - R S $TSS$$1 - \frac{RSS}{TSS} = \frac {ESS + 2* \sum (y - \hat y)(\hat y - \bar y)}{TSS}$.

Finally, we substitute to get $R^2 = \frac {ESS + 2* \sum (y - \hat y)(\hat y - \bar y)}{TSS}$. This time, the numerator has a term in it which is not a sum of squares, so it can be negative. This would make $R^2$ negative. When would this happen? $2* \sum (y - \hat y)(\hat y - \bar y)$ would be negative when $y - \hat y$ is negative and $\hat y - \bar y$ is positive, or vice versa. This occurs when the horizontal line of $\bar y$ actually explains the data better than the line of best fit.

Here's an exaggerated example of when $R^2$ is negative (Source: University of Houston Clear Lake)

Put simply:

• When $R^2 < 0$, a horizontal line explains the data better than your model.

You also asked about $R^2 = 0$.

• When $R^2 = 0$, a horizontal line explains the data equally as well as your model.

I commend you for making it through that. If you found this helpful, you should also upvote fcop's answer here which I had to refer to, because it's been a while.

Neither answer so far is entirely correct, so I will try to give my understanding of R-Squared. I have given a more detailed explanation of this on my blog post here "What is R-Squared"

Sum Squared Error

วัตถุประสงค์ของการถดถอยกำลังสองน้อยที่สุดธรรมดาคือการได้เส้นที่ลดข้อผิดพลาดกำลังสองรวม บรรทัดเริ่มต้นที่มีข้อผิดพลาดกำลังสองรวมต่ำสุดคือเส้นแนวนอนตลอดค่าเฉลี่ย โดยทั่วไปถ้าคุณทำไม่ได้ดีกว่าคุณสามารถทำนายค่าเฉลี่ยและนั่นจะทำให้เกิดข้อผิดพลาดกำลังสองรวมขั้นต่ำ

R-Squared เป็นวิธีการวัดว่าดีกว่าเส้นค่าเฉลี่ยที่คุณทำโดยอิงจากข้อผิดพลาดกำลังสองรวม สมการของ R-Squared คือ

ตอนนี้การถดถอยของ SS และผลรวมของ SS นั้นเป็นผลรวมของเงื่อนไขกำลังสอง ทั้งสองอย่างนั้นเป็นค่าบวกเสมอ ซึ่งหมายความว่าเรากำลังรับ 1 และลบค่าบวก ดังนั้นค่า R-Squared สูงสุดคือบวก 1 แต่ค่าต่ำสุดคือค่าลบอนันต์ ใช่นั่นถูกต้องช่วงของ R-squared อยู่ระหว่าง -infinity และ 1 ไม่ใช่ -1 ถึง 1 และไม่ใช่ 0 และ 1

Sum Squared Error คืออะไร

ผลรวมของข้อผิดพลาดกำลังสองจะเกิดข้อผิดพลาดในทุกจุดยกกำลังสองและเพิ่มกำลังสองทั้งหมด สำหรับข้อผิดพลาดทั้งหมดจะใช้เส้นแนวนอนผ่านค่าเฉลี่ยเนื่องจากนั่นจะให้ข้อผิดพลาดกำลังสองรวมน้อยที่สุดหากคุณไม่มีข้อมูลอื่น ๆ นั่นคือไม่สามารถทำการถดถอยได้

มันคือสมการนี้

ขณะนี้มีการถดถอยวัตถุประสงค์ของเราคือทำดีกว่าค่าเฉลี่ย ตัวอย่างเช่นสายการถดถอยนี้จะให้ข้อผิดพลาดกำลังสองรวมต่ำกว่าการใช้เส้นแนวนอน

สมการสำหรับข้อผิดพลาดกำลังสองรวมของการถดถอยคือสิ่งนี้

ตามหลักแล้วคุณจะมีข้อผิดพลาดการถดถอยเป็นศูนย์นั่นคือเส้นการถดถอยของคุณจะตรงกับข้อมูลอย่างสมบูรณ์แบบ ในกรณีนั้นคุณจะได้ค่า R-Squared เท่ากับ 1

ลบ R กำลังสอง

ข้อมูลทั้งหมดข้างต้นเป็นมาตรฐานที่ค่อนข้างดี ทีนี้ถ้าลบ R-Squared แล้วล่ะ?

มันกลับกลายเป็นว่าไม่มีเหตุผลที่สมการถดถอยของคุณจะต้องให้ข้อผิดพลาดกำลังสองรวมต่ำกว่าค่าเฉลี่ย โดยทั่วไปแล้วคิดว่าถ้าคุณไม่สามารถทำนายได้ดีกว่าค่าเฉลี่ยคุณก็แค่ใช้ค่าเฉลี่ย แต่ไม่มีอะไรบังคับให้เป็นสาเหตุ คุณสามารถทำนายค่ามัธยฐานของทุกสิ่งได้

ในทางปฏิบัติจริงด้วยการถดถอยกำลังสองน้อยที่สุดเวลาที่ใช้ทั่วไปมากที่สุดเพื่อให้ได้ค่าลบ R-Squared คือเมื่อคุณบังคับให้จุดที่เส้นการถดถอยต้องผ่าน โดยทั่วไปแล้วจะทำได้โดยการตั้งค่าการสกัดกั้น แต่คุณสามารถบังคับให้เส้นการถดถอยผ่านจุดใดก็ได้

เมื่อคุณทำเช่นนั้นเส้นการถดถอยจะผ่านจุดนั้นและพยายามรับข้อผิดพลาดกำลังสองรวมต่ำสุดขณะที่ยังผ่านจุดนั้น

โดยค่าเริ่มต้นสมการการถดถอยใช้ค่าเฉลี่ย x และค่าเฉลี่ย y เป็นจุดที่เส้นการถดถอยผ่าน แต่ถ้าคุณบังคับให้ผ่านจุดที่อยู่ห่างจากจุดที่เส้นถดถอยโดยปกติคุณจะได้รับข้อผิดพลาดกำลังสองรวมที่สูงกว่าการใช้เส้นแนวนอน

ในภาพด้านล่างเส้นการถดถอยทั้งสองถูกบังคับให้มีการสกัดกั้นเป็น 0 ซึ่งทำให้เกิดการลบ R-squared สำหรับข้อมูลที่อยู่ไกลจากแหล่งกำเนิด

สำหรับชุดคะแนนสูงสุดเส้นสีแดงเส้นการถดถอยเป็นเส้นการถดถอยที่ดีที่สุดที่สามารถผ่านจุดกำเนิดได้ มันเพิ่งเกิดขึ้นว่าเส้นถดถอยนั้นแย่กว่าการใช้เส้นแนวนอนและด้วยเหตุนี้จึงให้ค่าลบ R-Squared

ไม่ได้กำหนด R-Squared

มีกรณีพิเศษหนึ่งกรณีที่ไม่มีใครพูดถึงซึ่งคุณจะได้รับ R-Squared ที่ไม่ได้กำหนด นั่นคือถ้าข้อมูลของคุณอยู่ในแนวนอนทั้งหมดข้อผิดพลาดผลรวมกำลังสองของคุณจะเป็นศูนย์ เป็นผลให้คุณมีศูนย์หารด้วยศูนย์ในสมการ R-squared ซึ่งไม่ได้กำหนด

ตามหมายเหตุของผู้วิจารณ์คนก่อน ๆ r ^ 2 อยู่ระหว่าง [0,1] ไม่ใช่ [-1, + 1] ดังนั้นจึงเป็นไปไม่ได้ที่จะลบ คุณไม่สามารถยกกำลังสองค่าและรับจำนวนลบ บางทีคุณดูที่ r ความสัมพันธ์? มันอาจอยู่ระหว่าง [-1, + 1] โดยที่ศูนย์หมายความว่าไม่มีความสัมพันธ์ระหว่างตัวแปร -1 หมายความว่ามีความสัมพันธ์เชิงลบที่สมบูรณ์แบบ (เมื่อเพิ่มตัวแปรหนึ่งตัวลดลงอีกหนึ่ง) และ +1 เป็นบวกที่สมบูรณ์แบบ ความสัมพันธ์ (ตัวแปรทั้งสองขึ้นหรือลงสอดคล้องกัน)

หากคุณกำลังดู r ^ 2 อยู่แล้วตามที่ผู้วิจารณ์คนก่อนหน้าอธิบายว่าคุณอาจเห็นการปรับ r ^ 2 ไม่ใช่ r ^ 2 ที่แท้จริง พิจารณาความหมายของสถิติ: ฉันสอนสถิติพฤติกรรมศาสตร์และวิธีที่ง่ายที่สุดที่ฉันได้เรียนรู้ที่จะสอนนักเรียนเกี่ยวกับความหมายของ r ^ 2 คือ "% แปรปรวนอธิบาย" ดังนั้นถ้าคุณมี r ^ 2 = 0.5 ตัวแบบจะอธิบาย 50% ของการเปลี่ยนแปลงของตัวแปรที่ขึ้นกับ (ผลลัพธ์) หากคุณมีค่าลบ r ^ 2 ก็หมายความว่าแบบจำลองนี้อธิบายค่าลบ% ของตัวแปรผลลัพธ์ซึ่งไม่ใช่คำแนะนำที่สมเหตุสมผล อย่างไรก็ตามการปรับ r ^ 2 จะพิจารณาขนาดของตัวอย่าง (n) และจำนวนของตัวทำนาย (p) สูตรการคำนวณอยู่ที่นี่. หากคุณมีค่าต่ำมาก r ^ 2 แสดงว่าคุณสามารถรับค่าลบได้ง่ายพอสมควร จริงอยู่ที่การปรับเชิงลบ r ^ 2 นั้นไม่มีความหมายที่เข้าใจง่ายกว่าปกติ r ^ 2 แต่อย่างที่ผู้วิจารณ์คนก่อนบอกว่ามันแค่หมายความว่าแบบจำลองของคุณแย่มากหากไม่ใช่แค่ไร้ประโยชน์