ทำไมการถดถอยถึงความแปรปรวน?

ฉันกำลังอ่านบันทึกนี้

บนหน้า 2 มันระบุ:

"ความแปรปรวนของข้อมูลอธิบายได้อย่างไรโดยตัวแบบการถดถอยที่กำหนด"

"การตีความการถดถอยเป็นเรื่องเกี่ยวกับค่าเฉลี่ยของสัมประสิทธิ์; การอนุมานเป็นเรื่องของความแปรปรวน"

ฉันได้อ่านเกี่ยวกับคำแถลงดังกล่าวหลายครั้งแล้วทำไมเราถึงสนใจ "ความแปรปรวนของข้อมูลอธิบายโดยตัวแบบการถดถอยที่ให้มาเท่าไหร่" ... โดยเฉพาะอย่างยิ่งทำไม "ความแปรปรวน"?

regression variance interpretation

— Luna
แหล่งที่มา

"[V] ariance" ตรงข้ามกับค่าเบี่ยงเบนมาตรฐานอะไร? คุณคิดว่าเราควรใส่ใจในเรื่องการถดถอยอย่างไร เป้าหมายทั่วไปของคุณในการสร้างแบบจำลองการถดถอยคืออะไร?

— gung - Reinstate Monica

ความแปรปรวนมีหน่วยแตกต่างจากปริมาณที่ทำแบบจำลองดังนั้นฉันมักพบว่าเป็นการยากที่จะตีความ "สัดส่วนของความแปรปรวนที่อธิบายโดยตัวแบบ"

— บิน

คำตอบ:

ทำไมเราถึงสนใจ "ความแปรปรวนของข้อมูลอธิบายโดยตัวแบบการถดถอยที่ให้มาเท่าไหร่"

เพื่อตอบคำถามนี้มันมีประโยชน์ที่จะคิดเกี่ยวกับความหมายของเปอร์เซ็นต์ความแปรปรวนที่จะอธิบายโดยตัวแบบการถดถอย

Let เป็นตัวแปรผลลัพธ์ ความแปรปรวนตัวอย่างปกติของตัวแปรตามในรูปแบบการถดถอยคือ $Y_{1}, ..., Y_{n}$ ตอนนี้ขอได้รับการคาดการณ์ของอยู่บนพื้นฐานของสี่เหลี่ยมน้อยเชิงเส้นแบบการถดถอยที่มีค่าทำนายฉันพิสูจน์แล้วว่าที่นี่แปรปรวนข้างต้นนี้สามารถแบ่งเป็น:

\frac{1}{n - 1} \sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2}

$\frac{1}{n-1} \sum_{i=1}^{n} (Y_i - \overline{Y})^2$

{\hat{Y}}_{i} \equiv \hat{f} (X_{i})

$\widehat{Y}_i \equiv \widehat{f}({\boldsymbol X}_i)$

Y_{i}

$Y_i$

X_{i}

${\boldsymbol X}_i$

\frac{1}{n - 1} \sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2} = \underset{r e s i d u a l v a r i a n c e}{\underset{⏟}{\frac{1}{n - 1} \sum_{i = 1}^{n} (Y_{i} - {\hat{Y}}_{i})^{2}}} + \underset{e x p l a i n e d v a r i a n c e}{\underset{⏟}{\frac{1}{n - 1} \sum_{i = 1}^{n} ({\hat{Y}}_{i} - \bar{Y})^{2}}}

$\frac{1}{n-1} \sum_{i=1}^{n} (Y_i - \overline{Y})^2 = \underbrace{\frac{1}{n-1} \sum_{i=1}^{n} (Y_i - \widehat{Y}_i)^2}_{{\rm residual \ variance}} + \underbrace{\frac{1}{n-1} \sum_{i=1}^{n} (\widehat{Y}_i - \overline{Y})^2}_{{\rm explained \ variance}}$

ในการถดถอยกำลังสองน้อยที่สุดค่าเฉลี่ยของค่าที่ทำนายคือดังนั้นค่าความแปรปรวนโดยรวมจะเท่ากับความแตกต่างเฉลี่ยกำลังสองระหว่างค่าที่สังเกตกับค่าที่ทำนาย (ความแปรปรวนตกค้าง) บวกค่าความแปรปรวนตัวอย่างของการทำนายเองซึ่งเป็นเพียงการทำงานของที่ s ดังนั้น "อธิบาย" ความแปรปรวนอาจจะคิดว่าเป็นความแปรปรวนในที่เป็นส่วนที่เปลี่ยนแปลงในฉันสัดส่วนของความแปรปรวนในนั่นคือ "อธิบาย" (เช่นสัดส่วนของความแปรปรวนในที่เกิดจากการแปรผันใน $\overline{Y}$ ${\boldsymbol X}$ $Y_i$ ${\boldsymbol X}_i$ $Y_i$ $Y_i$ ) บางครั้งเรียกว่า 2 ${\boldsymbol X}_i$ $R^2$

ตอนนี้เราใช้สองตัวอย่างที่ชัดเจนว่าทำไมการแยกย่อยความแปรปรวนนี้จึงสำคัญ:

(1) การพยากรณ์มีอะไรจะทำอย่างไรกับการตอบสนอง ในกรณีที่ตัวทำนายที่เป็นกลางที่ดีที่สุด (ในความรู้สึกน้อยสแควร์) สำหรับคือ Yดังนั้นความแปรปรวนรวมในเป็นเพียงเท่ากับความแปรปรวนคงเหลือและไม่เกี่ยวข้องกับความแปรปรวนในการพยากรณ์ที่ฉัน $Y_i$ $\widehat{Y}_i = \overline{Y}$ $Y_i$ ${\boldsymbol X}_i$
(2) การพยากรณ์ที่ดีที่สุดที่จะเป็นเส้นตรงที่เกี่ยวข้องกับการพยากรณ์ ในกรณีที่การคาดการณ์เป็นสิ่งที่ถูกต้องและฉันดังนั้นจึงไม่มีความแปรปรวนที่เหลือและความแปรปรวนทั้งหมดในผลลัพธ์คือความแปรปรวนในการทำนายตัวเองซึ่งเป็นเพียงหน้าที่ของผู้ทำนาย ดังนั้นทุกความแปรปรวนในผลที่เป็นเพียงเพราะความแปรปรวนในการพยากรณ์ฉัน $\widehat{Y}_i = Y_i$ ${\boldsymbol X}_i$

สถานการณ์ที่มีข้อมูลจริงมักจะอยู่ระหว่างทั้งสองขั้วเช่นเดียวกับสัดส่วนของความแปรปรวนที่สามารถนำมาประกอบกับแหล่งที่มาทั้งสองนี้ ยิ่ง "อธิบายความแปรปรวน" มี - คือมากขึ้นของการเปลี่ยนแปลงในว่าเป็นเพราะการเปลี่ยนแปลงใน - ดีกว่าการคาดการณ์มีประสิทธิภาพ (เช่นขนาดเล็ก "ความแปรปรวนที่เหลือ" เป็น) ซึ่งเป็น อีกวิธีในการบอกว่าแบบจำลองกำลังสองน้อยที่สุดเหมาะสมดี $Y_i$ ${\boldsymbol X}_i$ $\widehat{Y}_{i}$

— มาโคร
แหล่งที่มา

นี่เป็นเหมือนคำตอบของฉัน แต่อาจอธิบายได้ดีขึ้นเล็กน้อย นอกจากนี้ฉันเห็นคำวิจารณ์ที่เป็นไปได้ที่อาจกล่าวถึงคือฉันควรเขียนรูปแบบที่สัมพันธ์กับค่าเฉลี่ยของ Y

— Michael R. Chernick

@MichaelChernick ใช่ แต่อย่างน้อยกำลังสองถดถอย (ซึ่งฉันคิดว่า OP กำลังพูดถึงตามสไลด์ที่เชื่อมโยง) ค่าเฉลี่ยของค่าที่ทำนายเท่ากับค่าเฉลี่ยของ

ดังนั้นคุณสามารถเรียกมันว่าความแปรปรวนตัวอย่างของ การคาดการณ์

Y

$Y$

— มาโคร

ฉันแก้ไขคำตอบของฉันเพราะ Yb เป็นสิ่งจำเป็นสำหรับการย่อยสลายความแปรปรวนในการทำงานอย่างถูกต้อง

— Michael R. Chernick

ใช่เป็นที่ชัดเจนสำหรับฉันว่าเธออ้างถึงการถดถอยกำลังสองน้อยที่สุด ยังมีอีกหลายสิ่งที่คุณเขียนเป็นเพียงการทำซ้ำสิ่งที่ฉันพูดแตกต่างกันเล็กน้อย ฉันยังให้ +1

— Michael R. Chernick

แมโครจุดของฉันคือการที่สลายตัวนี้เกิดขึ้นเฉพาะในกรณีที่

และดังนั้น "ถดถอย" โดยเนื้อแท้เกี่ยวข้องกับการฉายฉากบนพื้นที่ที่มีเวกเตอร์อย่างต่อเนื่อง โปรดทราบว่าเราสามารถ "แยก" การย่อยสลายนี้ได้อย่างง่ายดายเพียงแค่ลบเวกเตอร์คงที่ออกจากแบบจำลองของเราซึ่งดูเหมือนว่าขัดแย้งกับความคิดเห็นล่าสุดของคุณ

⟨ y - \hat{y}, \hat{y} - \bar{y} 1 ⟩ = 0

$\langle \mathbf y - \hat {\mathbf y}, \hat{\mathbf{y}} - \bar{y} \mathbf{1} \rangle = 0$

— พระคาร์ดินัล

ฉันวิ่งไม่ได้กับสุนัขตัวใหญ่ ๆ ของสถิติที่ตอบมาก่อนหน้าฉันและบางทีความคิดของฉันก็ไร้เดียงสา แต่ฉันมองมันด้วยวิธีนี้ ...

ลองนึกภาพคุณกำลังอยู่ในรถและกำลังขับรถไปทางซ้ายและขวาแล้วเหยียบแป้นเหยียบคันเร่งและเบรกอย่างเมามัน ทว่ารถกำลังเคลื่อนที่ไปอย่างราบรื่นไม่ได้รับผลกระทบจากการกระทำของคุณ คุณสงสัยทันทีว่าคุณไม่ได้อยู่ในรถจริงและบางทีถ้าเรามองอย่างใกล้ชิดเราจะพิจารณาว่าคุณกำลังขี่ในดิสนีย์เวิลด์ (ถ้าคุณอยู่ในรถจริงคุณจะตกอยู่ในอันตราย แต่อย่าไปที่นั่น)

ในทางกลับกันถ้าคุณขับรถไปตามถนนในรถแล้วหมุนล้อไปทางซ้ายหรือขวาเพียงเล็กน้อยก็ทำให้รถเคลื่อนที่ได้การแตะเบรกทำให้เกิดการชะลอตัวอย่างรุนแรงในขณะที่เหยียบคันเร่งเหวี่ยงคุณกลับเข้ามาใน ที่นั่ง คุณอาจสงสัยว่าคุณอยู่ในรถสปอร์ตประสิทธิภาพสูง

โดยทั่วไปคุณอาจพบบางสิ่งระหว่างทั้งสองขั้ว ระดับที่อินพุตของคุณ (พวงมาลัย, เบรก, แก๊ส) ส่งผลโดยตรงต่อการเคลื่อนไหวของรถช่วยให้คุณทราบถึงคุณภาพของรถ นั่นคือความแปรปรวนของรถของคุณในการเคลื่อนไหวที่เกี่ยวข้องกับการกระทำของคุณยิ่งรถดีขึ้นและยิ่งเมื่อรถเคลื่อนที่อิสระจากการควบคุมของคุณยิ่งแย่ลงรถ

ในลักษณะที่คล้ายกันคุณกำลังพูดคุยเกี่ยวกับการสร้างแบบจำลองสำหรับข้อมูลบางอย่าง (ขอเรียกข้อมูลนี้ ) บนพื้นฐานของบางชุดอื่น ๆ ของข้อมูล (ขอเรียกว่า ) ถ้าไม่แตกต่างกันมันก็เหมือนกับรถที่ไม่เคลื่อนไหวและไม่มีจุดใดที่จะพูดถึงว่ารถ (รุ่น) ทำงานได้ดีหรือไม่ดังนั้นเราจะถือว่า $y$ $x_1, x_2, ..., x_i$ $y$ $y$ แตกต่างกัน

เช่นเดียวกับรถที่เป็นแบบอย่างที่ดีมีคุณภาพจะมีความสัมพันธ์ที่ดีระหว่างผลแตกต่างกันและปัจจัยการผลิตที่แตกต่างกัน ซึ่งแตกต่างจากรถที่ไม่จำเป็นต้องสาเหตุมีการเปลี่ยนแปลง แต่ถ้ารูปแบบเป็นไปได้ที่มีประโยชน์จำเป็นที่จะต้องมีการเปลี่ยนแปลงในความสัมพันธ์ที่ใกล้เคียงกับปีกล่าวอีกนัยหนึ่งอธิบายความแปรปรวนจำนวนมากใน $y$ $x_i$ $x_i$ $y$ $x_i$ $y$ $x_i$ $y$ ปี

ป.ล. ฉันไม่สามารถเปรียบเทียบวินนี่เดอะพูห์ได้ แต่ฉันพยายาม

PPS [แก้ไข:] โปรดทราบว่าฉันกำลังตอบคำถามนี้โดยเฉพาะ อย่าสับสนกับการคิดว่าถ้าคุณอธิบายความแปรปรวน 100% โมเดลของคุณจะทำงานได้อย่างยอดเยี่ยม นอกจากนี้คุณยังต้องคำนึงถึงการปรับให้กระชับมากเกินไปซึ่งแบบจำลองของคุณมีความยืดหยุ่นมากซึ่งเหมาะกับข้อมูลการฝึกอบรมอย่างใกล้ชิดรวมถึงนิสัยแปลก ๆ และความแปลกประหลาด ในการใช้การเปรียบเทียบคุณต้องการรถยนต์ที่มีระบบบังคับเลี้ยวและเบรกที่ดี แต่คุณต้องการให้รถทำงานได้ดีบนถนนไม่ใช่แค่ในแทร็กทดสอบที่คุณใช้

— เวย์น
แหล่งที่มา