คือ

ฉันกำลังอ่านบันทึกการบรรยายโดย Cosma Shalizi (โดยเฉพาะอย่างยิ่งหัวข้อ 2.1.1 ของการบรรยายครั้งที่สอง ) และได้รับการเตือนว่าคุณจะได้รับต่ำมาก$R^2$แม้ว่าคุณจะมีโมเดลเชิงเส้นสมบูรณ์

ในการถอดความตัวอย่างของ Shalizi: สมมติว่าคุณมีโมเดล$Y = aX + \epsilon$โดยที่$a$รู้จัก จากนั้น$\newcommand{\Var}{\mathrm{Var}}\Var[Y] = a^2 \Var[x] + \Var[\epsilon]$และจำนวนความแปรปรวนที่อธิบายคือ$a^2 \Var[X]$ดังนั้น$R^2 = \frac{a^2 \Var[x]}{a^2 \Var[X] + \Var[\epsilon]}$epsilon]} นี้ไป 0 เป็น$\Var[X] \rightarrow 0$และ 1 $\Var[X] \rightarrow \infty$\

ในทางกลับกันคุณสามารถรับR ^ 2สูง$R^2$ถึงแม้ว่าแบบจำลองของคุณจะไม่ใช่แบบเส้นตรง (ใครมีตัวอย่างที่ดีทันทีทันใด?)

ดังนั้นเมื่อ$R^2$เป็นสถิติที่มีประโยชน์และเมื่อใดควรจะละเว้น?

ในการตอบคำถามแรกพิจารณาตัวแบบ

$$Y = X + \sin(X) + \varepsilon$$

กับ iidของค่าเฉลี่ยเป็นศูนย์และความแปรปรวนแน่นอน เมื่อช่วงของ (เพิ่มขึ้นคงที่หรือสุ่ม),ไปที่ 1 อย่างไรก็ตามหากความแปรปรวนของมีขนาดเล็ก (ประมาณ 1 หรือน้อยกว่า) ข้อมูลจะเป็น "ไม่เชิงเส้นอย่างเห็นได้ชัด" ในแปลงที่ 1X R 2 ε v a r ( ε ) = $\varepsilon$$X$$R^2$$\varepsilon$$var(\varepsilon)=1$

วิธีที่ง่ายที่สุดในการรับคือการแบ่งตัวแปรอิสระออกเป็นช่วงแคบ ๆ การถดถอย (ใช้รูปแบบเดียวกันทั้งหมด ) ภายในแต่ละช่วงจะมีค่าต่ำแม้ว่าการถดถอยแบบเต็มตามข้อมูลทั้งหมดจะมีค่าสูง การไตร่ตรองสถานการณ์นี้เป็นการฝึกที่ให้ข้อมูลและเตรียมการที่ดีสำหรับคำถามที่สองR 2 R $R^2$$R^2$$R^2$

ทั้งแปลงต่อไปนี้ใช้ข้อมูลเดียวกัน สำหรับการถดถอยเต็มคือ 0.86 สำหรับชิ้น (1/2 ของความกว้างจาก -5/2 ไป 5/2) เป็น 0.16, 0.18, 0.07, 0.14, 0.08, 0.17, 0.20, 0.12, 0.01 , .00, อ่านจากซ้ายไปขวา หากมีสิ่งใดสิ่งที่พอดีจะดีขึ้นในสถานการณ์ที่ถูกแบ่งออกเพราะเส้น 10 เส้นแยกกันสามารถสอดคล้องกับข้อมูลภายในช่วงแคบ ๆ แม้ว่าสำหรับชิ้นส่วนทั้งหมดจะต่ำกว่าค่าอย่างสมบูรณ์ทั้งความแข็งแกร่งของความสัมพันธ์ความเป็นเส้นตรงหรือลักษณะของข้อมูลใด ๆ (ยกเว้นช่วงของใช้สำหรับการถดถอย) มีการเปลี่ยนแปลงR 2 R 2 R 2$R^2$$R^2$$R^2$$R^2$$X$

(หนึ่งอาจคัดค้านว่าขั้นตอนการแบ่งส่วนนี้เปลี่ยนการกระจายตัวของนั่นเป็นความจริง แต่ก็สอดคล้องกับการใช้งานในการสร้างแบบจำลองเอฟเฟกต์คงที่และแสดงให้เห็นถึงระดับที่บอกเราเกี่ยวกับ ความแปรปรวนของในสถานการณ์สุ่ม - เอฟเฟกต์โดยเฉพาะอย่างยิ่งเมื่อถูก จำกัด ให้เปลี่ยนแปลงภายในช่วงเวลาที่น้อยกว่าของช่วงธรรมชาติจะลดลง)R 2 R 2 X X R $X$$R^2$$R^2$$X$$X$$R^2$

ปัญหาพื้นฐานของคือมันขึ้นอยู่กับหลายสิ่งหลายอย่างมากเกินไป (แม้เมื่อปรับในการถดถอยหลายครั้ง) แต่ส่วนใหญ่โดยเฉพาะอย่างยิ่งในความแปรปรวนของตัวแปรอิสระและความแปรปรวนของส่วนที่เหลือ ปกติแล้วมันจะไม่บอกอะไรเราเกี่ยวกับ "ความเป็นเส้นตรง" หรือ "ความแข็งแกร่งของความสัมพันธ์" หรือแม้แต่ "ความดีที่เหมาะสม" สำหรับการเปรียบเทียบลำดับของแบบจำลอง$R^2$

ส่วนใหญ่เวลาที่คุณสามารถหาสถิติที่ดีกว่า 2 สำหรับการเลือกรุ่นคุณสามารถดู AIC และ BIC; สำหรับการแสดงความเพียงพอของแบบจำลองให้ดูที่ความแปรปรวนของส่วนที่เหลือ $R^2$

นี่นำเรามาถึงคำถามที่สองในที่สุด สถานการณ์หนึ่งที่อาจมีการใช้งานบางอย่างคือเมื่อตัวแปรอิสระถูกตั้งค่าเป็นค่ามาตรฐานการควบคุมผลกระทบของความแปรปรวนเป็นหลัก จากนั้นจะเป็นพร็อกซีสำหรับความแปรปรวนของค่าตกค้างที่ได้มาตรฐานอย่างเหมาะสม 1 - R $R^2$$1 - R^2$

ตัวอย่างของคุณใช้เฉพาะเมื่อตัวแปรควรจะอยู่ในรูปแบบ มันใช้ไม่ได้อย่างแน่นอนเมื่อคนหนึ่งใช้ค่าประมาณกำลังสองน้อยที่สุดตามปกติ หากต้องการดูสิ่งนี้โปรดทราบว่าหากเราประมาณสี่เหลี่ยมอย่างน้อยในตัวอย่างของคุณเราจะได้รับ:$\newcommand{\Var}{\mathrm{Var}}X$ $a$

$$\hat{a}=\frac{\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}}{\frac{1}{N}\sum_{i=1}^{N}X_{i}^{2}}=\frac{\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}}{s_{X}^{2}+\overline{X}^{2}}$$ โดยที่คือความแปรปรวน (ตัวอย่าง) ของและคือ ค่าเฉลี่ย (ตัวอย่าง) ของ$s_{X}^2=\frac{1}{N}\sum_{i=1}^{N}(X_{i}-\overline{X})^{2}$$X$$\overline{X}=\frac{1}{N}\sum_{i=1}^{N}X_{i}$$X$

$$\hat{a}^{2}\Var[X]=\hat{a}^{2}s_{X}^{2}=\frac{\left(\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}\right)^2}{s_{X}^2}\left(\frac{s_{X}^{2}}{s_{X}^{2}+\overline{X}^{2}}\right)^2$$

ตอนนี้คำที่สองนั้นน้อยกว่าเสมอ(เท่ากับในขีด จำกัด ) ดังนั้นเราจึงได้ขอบเขตบนสำหรับการสนับสนุนจากตัวแปร :$1$$1$$R^2$$X$

$$\hat{a}^{2}\Var[X]\leq \frac{\left(\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}\right)^2}{s_{X}^2}$$

ดังนั้นถ้าเช่นกันเราจะเห็น as (เนื่องจากตัวเศษเป็นศูนย์ แต่ตัวส่วนจะเป็น ) นอกจากนี้เราอาจได้รับบรรจบกันระหว่างถึงโดยขึ้นอยู่กับว่าคำสองคำนี้แตกต่างกันอย่างรวดเร็วเพียงใด ตอนนี้คำข้างต้นโดยทั่วไปจะแตกต่างเร็วกว่าหากควรอยู่ในรูปแบบและช้าลงหากไม่ควรอยู่ในรูปแบบ ในทั้งสองกรณีไปในทิศทางที่ถูกต้อง$\left(\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}\right)^2\to\infty$$R^2\to 0$$s_{X}^{2}\to\infty$$\Var[\epsilon]>0$$R^2$$0$$1$$s_{X}^2$$X$$X$$R^2$

และโปรดทราบว่าสำหรับชุดข้อมูล จำกัด ใด ๆ (เช่นชุดข้อมูลจริง) เราไม่สามารถมีเว้นแต่ว่าข้อผิดพลาดทั้งหมดจะเป็นศูนย์ สิ่งนี้โดยทั่วไปบ่งชี้ว่าเป็นหน่วยวัดที่สัมพันธ์กันแทนที่จะเป็นค่าสัมบูรณ์ ถ้าหากมีค่าเท่ากับเราสามารถหาแบบจำลองที่เหมาะสมได้ดีกว่าเสมอ นี่อาจเป็นแง่มุม "อันตราย" ของในเรื่องนั้นเพราะมันถูกปรับให้อยู่ระหว่างถึงดูเหมือนว่าเราจะสามารถสอดแทรกมันได้อย่างสมบูรณ์$R^2=1$$R^2$$R^2$$1$$R^2$$0$$1$

มันอาจจะมีประโยชน์มากกว่าที่จะดูว่าค่าลดลงเร็วแค่ไหนเมื่อคุณเพิ่มตัวแปรลงในโมเดล และสุดท้าย แต่ไม่ท้ายสุดก็ไม่ควรเพิกเฉยในการเลือกตัวแปรเนื่องจากเป็นสถิติที่เพียงพอสำหรับการเลือกตัวแปร - มันมีข้อมูลทั้งหมดเกี่ยวกับการเลือกตัวแปรที่อยู่ในข้อมูล สิ่งเดียวที่จำเป็นคือการเลือกการลดลงในซึ่งสอดคล้องกับ "ข้อผิดพลาดที่เหมาะสม" - ซึ่งมักจะขึ้นอยู่กับขนาดตัวอย่างและจำนวนของตัวแปร$R^2$$R^2$$R^2$

ถ้าฉันสามารถเพิ่มตัวอย่างเมื่อเป็นอันตราย หลายปีที่ผ่านมาฉันทำงานกับข้อมูลไบโอเมตริกซ์และยังเด็กและโง่ฉันดีใจเมื่อพบค่ามีนัยสำคัญทางสถิติสำหรับการถดถอยแบบแฟนซีซึ่งฉันได้สร้างขึ้นโดยใช้ฟังก์ชันแบบขั้นตอน มันเป็นเพียงคนเดียวหลังจากนั้นมองกลับมาหลังจากที่นำเสนอให้กับผู้ชมต่างประเทศขนาดใหญ่ได้ฉันตระหนักดีว่าได้รับความแปรปรวนขนาดใหญ่ของข้อมูล - รวมกับการแสดงที่น่าสงสารที่เป็นไปได้ของกลุ่มตัวอย่างที่เกี่ยวกับประชากรที่เป็น 0.02 เป็นความหมายอย่างเต็มที่ แม้ว่ามันจะเป็น "นัยสำคัญทางสถิติ" ...$R^2$$R^2$$R^2$

ผู้ที่ทำงานกับสถิติจำเป็นต้องเข้าใจข้อมูล!

เมื่อคุณมีการทำนายเดียวถูกตีความว่าเป็นสัดส่วนของการเปลี่ยนแปลงในที่สามารถอธิบายได้ด้วยการเชิงเส้นความสัมพันธ์กับXการตีความนี้จะต้องเก็บไว้ในใจเมื่อมองไปที่ค่าของ 2$R^{2}$$Y$$X$$R^2$

คุณสามารถได้รับขนาดใหญ่จากความสัมพันธ์ที่ไม่ใช่เชิงเส้นเฉพาะเมื่อความสัมพันธ์ใกล้เคียงกับเชิงเส้น ตัวอย่างเช่นสมมติว่าที่และ(0,1) ถ้าคุณทำการคำนวณของ$R^2$$Y = e^{X} + \varepsilon$$X \sim {\rm Uniform}(2,3)$$\varepsilon \sim N(0,1)$

$$R^{2} = {\rm cor}(X, e^{X} + \varepsilon)^{2}$$

คุณจะพบว่ามันอยู่ที่ประมาณ (ฉันประมาณโดยการจำลองเท่านั้น) แม้ว่าความสัมพันธ์จะไม่ชัดเจน เหตุผลก็คือว่าดูแย่มากเช่นฟังก์ชั่นเส้นตรงในช่วงเวลา(2,3)$.914$$e^{X}$$(2,3)$

สถานการณ์หนึ่งที่คุณต้องการหลีกเลี่ยงคือการถดถอยหลายครั้งซึ่งการเพิ่มตัวแปรตัวทำนายที่ไม่เกี่ยวข้องลงในแบบจำลองนั้นในบางกรณีสามารถเพิ่มได้ สิ่งนี้สามารถแก้ไขได้โดยใช้ค่าปรับแล้วแทนซึ่งคำนวณเป็น$R^2$$R^2$$R^2$

n$\bar{R}^2 = 1 - (1-R^2)\frac{n-1}{n-p-1}$โดยที่คือจำนวนตัวอย่างข้อมูลและคือจำนวน regressors ที่ไม่นับเทอมคงที่ .$n$$p$

1. เป็นตัวอย่างที่ดีสำหรับสูงที่มีฟังก์ชั่นแบบไม่เชิงเส้นเป็นฟังก์ชันกำลังสองจำกัด ให้ช่วง[0,1]ด้วยเสียงรบกวน 0 มันจะไม่มีสี่เหลี่ยมจัตุรัส 1 ถ้าคุณมี 3 คะแนนขึ้นไปเนื่องจากมันจะไม่พอดีในแนวเส้นตรง แต่ถ้าจุดการออกแบบจะกระจายอย่างสม่ำเสมอบนคุณจะได้รับจะสูงอาจจะแปลกใจดังนั้น นี่อาจไม่ใช่กรณีที่คุณมีคะแนนมากใกล้ 0 และมากใกล้ 1 ที่มีค่าน้อยหรือไม่มีอะไรอยู่ตรงกลาง$R^2$$y=x^2$$[0,1]$$R^2$$[0, 1]$$R^2$

2. $R^2$จะไม่ดีในกรณีเส้นตรงที่สมบูรณ์แบบหากคำที่มีเสียงดังมีความแปรปรวนขนาดใหญ่ ดังนั้นคุณสามารถใช้โมเดลซึ่งเป็นโมเดลเชิงเส้นที่สมบูรณ์แบบ แต่ให้ความแปรปรวนใน e มีแนวโน้มที่จะไม่มีที่สิ้นสุดและคุณจะได้ไปที่ 0 ตรวจสอบข้อบกพร่องของมัน R Square ทำการวัดเปอร์เซ็นต์ของ ความแปรปรวนที่อธิบายโดยข้อมูลและมันวัดความดีของความพอดี สูงหมายถึงแบบที่ดี แต่เรายังต้องระวังเกี่ยวกับความพอดีที่เกิดจากพารามิเตอร์มากเกินไปสำหรับขนาดของชุดข้อมูลที่เรามี$Y= x + \epsilon$$R^2$$R^2$

3. ในสถานการณ์การถดถอยหลายครั้งจะมีปัญหาการ overfitting เพิ่มตัวแปรและจะเพิ่มขึ้นเสมอ การแก้ไขแก้ไขนี้ค่อนข้างจะคำนึงถึงจำนวนพารามิเตอร์$R^2$$R^2$