ความสัมพันธ์ระหว่างตัวประมาณค่า OLS สำหรับการสกัดกั้นและความชัน

ในรูปแบบการถดถอยอย่างง่าย

Y = β_{0} + β_{1} x + ε,

$y = \beta_0 + \beta_1 x + \varepsilon,$

ตัวประมาณ OLSและมีความสัมพันธ์กัน $\hat{\beta}_0^{OLS}$ $\hat{\beta}_1^{OLS}$

สูตรสำหรับความสัมพันธ์ระหว่างตัวประมาณสองตัวคือ (ถ้าฉันได้มาอย่างถูกต้อง):

Corr ({\hat{β}}_{0}^{O L S}, {\hat{β}}_{1}^{O L S}) = \frac{- Σ_{ผม = 1}^{n} x_{ผม}}{\sqrt{n} \sqrt{Σ_{ผม = 1}^{n} x_{ผม}^{2}}} .

$\operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} \sqrt{\sum_{i=1}^{n}x_i^2} }.$

คำถาม:

คำอธิบายที่เข้าใจง่ายสำหรับการปรากฏตัวของความสัมพันธ์คืออะไร?
การปรากฏตัวของความสัมพันธ์มีนัยสำคัญหรือไม่?

โพสต์ได้รับการแก้ไขและยืนยันว่าความสัมพันธ์หายไปกับขนาดตัวอย่างได้ถูกลบออก (ขอบคุณ @whuber และ @ChristophHanck)

regression least-squares estimators

— Richard Hardy
แหล่งที่มา

สูตรนี้ถูกต้อง แต่คุณสามารถอธิบายสิ่งที่คุณใช้ในการแสดงอาการเชิงเส้นกำกับได้หรือไม่? หลังจากทั้งหมดในหลายกรณีความสัมพันธ์ไม่หายไป - มันคงที่ พิจารณาเช่นการทดลองที่มีข้อมูลไบนารีและสมมติว่าจะเก็บรวบรวมโดยสลับระหว่างและ0แล้วและความสัมพันธ์มักจะใกล้เคียงกับ , ไม่ว่าขนาดใหญ่จะกลายเป็น

x_{i}

$x_i$

x_{i}

$x_i$

1

$1$

0

$0$

\sum x_{i} = \sum x_{i}^{2} \approx n / 2

$\sum x_i = \sum x_i^2 \approx n/2$

\sqrt{2} / 2 \neq 0

$\sqrt{2}/2 \ne 0$

n

$n$

— whuber

ฉันจะบอกว่ามันจะหายไปถ้า : เขียนซึ่ง plims เพื่อ2)}

E (X) = 0

$E(X)=0$

Corr ({\hat{β}}_{0}^{O L S}, {\hat{β}}_{1}^{O L S}) = \frac{- \frac{1}{ยังไม่มีข้อความ} Σ_{ผม = 1}^{ยังไม่มีข้อความ} x_{ผม}}{\sqrt{\frac{ยังไม่มีข้อความ Σ_{ผม = 1}^{ยังไม่มีข้อความ} x_{ผม}^{2}}{{ยังไม่มีข้อความ}^{2}}}} = \frac{- \frac{1}{ยังไม่มีข้อความ} Σ_{ผม = 1}^{ยังไม่มีข้อความ} x_{ผม}}{\sqrt{\frac{Σ_{ผม = 1}^{ยังไม่มีข้อความ} x_{ผม}^{2}}{ยังไม่มีข้อความ}}},

$\operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\frac{1}{N}\sum_{i=1}^{N}x_i}{\sqrt{\frac{N\sum_{i=1}^{N}x_i^2}{N^2}}} = \frac{-\frac{1}{N}\sum_{i=1}^{N}x_i}{\sqrt{\frac{\sum_{i=1}^{N}x_i^2}{N}}},$

- E (X) / \sqrt{E (X^{2})}

$-E(X)/\sqrt{E(X^2)}$

— Christoph Hanck

อันที่จริงฉันพลาดหนึ่งเมื่อผมสืบมาพฤติกรรมของความสัมพันธ์เป็นเพิ่มขึ้น ดังนั้นคนผิวเผินและ ChristophHanck จึงถูกต้อง ฉันสนใจยังคงอยู่ในคำอธิบายที่ใช้งานง่ายสำหรับเหตุผลที่ความสัมพันธ์จะไม่ใช่ศูนย์ในสถานที่แรกและมีประโยชน์ใด ๆผลกระทบ (ฉันไม่ได้บอกว่าความสัมพันธ์ควรจะเป็นศูนย์อย่างสังหรณ์ใจฉันก็ไม่ได้มีสัญชาตญาณที่นี่)

n

$n$

n

$n$

— Richard Hardy

สูตรของคุณแสดงให้เห็นอย่างเรียบร้อยเช่นสำหรับ regressor

ที่มีค่าเฉลี่ยเป็นศูนย์กลางความสัมพันธ์กับการสกัดกั้นจะหายไป

x

$x$

— Michael M

ที่เกี่ยวข้อง: ทำไมข้อผิดพลาดมาตรฐานของการสกัดกั้นเพิ่มขึ้นอีก

มาจาก 0?

\bar{x}

$\bar x$

— gung - Reinstate Monica

ให้ฉันลองดังนี้ (จริงๆไม่แน่ใจว่าเป็นสัญชาตญาณที่มีประโยชน์):

จากความคิดเห็นข้างต้นความสัมพันธ์จะประมาณ ดังนั้นถ้าแทนที่จะเป็นข้อมูลส่วนใหญ่จะถูกจัดกลุ่มไว้ทางด้านขวาของศูนย์ ดังนั้นหากค่าสัมประสิทธิ์ความชันมีขนาดใหญ่ขึ้นสูตรความสัมพันธ์ยืนยันว่าการสกัดกั้นจำเป็นต้องมีขนาดเล็กลง - ซึ่งทำให้รู้สึกบางอย่าง

- \frac{E (X)}{\sqrt{E (X^{2})}}

$-\frac{E(X)}{\sqrt{E(X^2)}}$

E (X) > 0

$E(X)>0$

E (X) = 0

$E(X)=0$

ฉันกำลังคิดถึงสิ่งนี้:

ในตัวอย่างสีน้ำเงินค่าประมาณความชันคือประจบซึ่งหมายความว่าการประมาณค่าสกัดกั้นอาจมากกว่า ความชันของตัวอย่างทองนั้นค่อนข้างใหญ่ดังนั้นการสกัดกั้นอาจมีขนาดเล็กลงเพื่อชดเชยสิ่งนี้

ในทางตรงกันข้ามถ้าเราสามารถมีความชันโดยไม่มีข้อ จำกัด ใด ๆ ในการสกัดกั้น $E(X)=0$

ตัวหารของสูตรสามารถตีความตามบรรทัดเหล่านี้ได้: หากสำหรับความหมายที่กำหนดความแปรปรวนที่วัดโดยการเพิ่มข้อมูลจะถูกละเลงไปเหนือ -axis เพื่อให้มีประสิทธิภาพ "ดู" มากขึ้นหมายถึงศูนย์อีกครั้งคลายข้อ จำกัด ในการสกัดกั้นสำหรับให้ค่าเฉลี่ยของX $E(X^2)$ $x$ $X$

นี่คือรหัสที่ฉันหวังว่าจะอธิบายได้อย่างสมบูรณ์:

n <- 30
x_1 <- sort(runif(n,2,3))
beta <- 2
y_1 <- x_1*beta + rnorm(n) # the golden sample

x_2 <- sort(runif(n,2,3)) 
beta <- 2
y_2 <- x_2*beta + rnorm(n) # the blue sample

xax <- seq(-1,3,by=.001)
plot(x_1,y_1,xlim=c(-1,3),ylim=c(-4,7),pch=19,col="gold",ylab="y",xlab="x")
abline(lm(y_1~x_1),col="gold",lwd=2)
abline(v=0,lty=2)
lines(xax,beta*xax) # the "true" regression line
abline(lm(y_2~x_2),col="lightblue",lwd=2)
points(x_2,y_2,pch=19,col="lightblue")

— คริสโตฟฮันค์
แหล่งที่มา

สำหรับความหมายเชิงปฏิบัติให้พิจารณาการพัฒนาและการใช้เส้นโค้งการสอบเทียบสำหรับเครื่องมือในห้องปฏิบัติการ สำหรับการพัฒนาการสอบเทียบค่าที่ทราบของ

จะถูกทดสอบด้วยเครื่องมือและวัดค่าเอาต์พุตของเครื่องมือ

ตามด้วยการถดถอยเชิงเส้น จากนั้นตัวอย่างที่ไม่รู้จักจะถูกนำไปใช้กับเครื่องมือและค่า

ใหม่จะใช้ในการทำนาย

ไม่รู้จักตามการสอบเทียบการถดถอยเชิงเส้น การวิเคราะห์ข้อผิดพลาดของการประมาณค่าของ

ไม่รู้จักจะเกี่ยวข้องกับความสัมพันธ์ระหว่างการประมาณความชันของการถดถอยและการสกัดกั้น

x

$x$

y

$y$

y

$y$

x

$x$

x

$x$

— EdM

คุณอาจต้องการติดตามIntroduction to เศรษฐมิติของ Dougherty บางทีเมื่อพิจารณาแล้วว่าเป็นตัวแปรที่ไม่สุ่มและกำหนดค่าเบี่ยงเบนกำลังสองเฉลี่ยของเป็น $x$ $x$ 2โปรดทราบว่า MSD ถูกวัดในจตุรัสของหน่วยของ(เช่นถ้าเป็นดังนั้น MSD จะอยู่ในหน่วย) ในขณะที่รูตหมายถึงการเบี่ยงเบนกำลังสองสแควร์, $\DeclareMathOperator{\MSD}{MSD}\MSD(x) = \frac{1}{n} \sum_{i=1}^n (x_i - \bar{x})^2$ $x$ $x$ $\text{cm}$ $\text{cm}^2$ อยู่ในระดับเดิม อัตราผลตอบแทนนี้ $\DeclareMathOperator{\RMSD}{RMSD}\RMSD(x)=\sqrt{\MSD(x)}$

Corr ({\hat{β}}_{0}^{O L S}, {\hat{β}}_{1}^{O L S}) = \frac{- \bar{x}}{\sqrt{เอ็มเอส (x) + {\bar{x}}^{2}}}

$\DeclareMathOperator{\Corr}{Corr}\Corr(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\bar{x}}{\sqrt{\MSD(x) + \bar{x}^2}}$

นี้จะช่วยให้คุณเห็นวิธีการความสัมพันธ์ได้รับผลกระทบจากทั้งค่าเฉลี่ยของ (โดยเฉพาะความสัมพันธ์ระหว่างความลาดชันและตัดประมาณของคุณจะถูกลบออกถ้าตัวแปรเป็นศูนย์กลาง) และยังตามของการแพร่กระจาย (การสลายตัวนี้อาจทำให้เส้นกำกับชัดเจนขึ้น!) $x$ $x$

ฉันจะย้ำถึงความสำคัญของผลลัพธ์นี้: ถ้าไม่มีค่าศูนย์เราสามารถแปลงมันได้โดยการลบเพื่อให้อยู่ตรงกลาง ถ้าเราพอดีกับเส้นถดถอยของบนความชันและการประมาณค่าตัดจะไม่ถูกนำมาสัมพันธ์กัน - ค่าที่ต่ำกว่าหรือสูงเกินไปในค่าหนึ่งไม่น่าจะทำให้ค่าต่ำหรือค่าสูงเกินไป แต่เส้นถดถอยนี้เป็นเพียงการแปลของบนเส้นถดถอย ! ข้อผิดพลาดมาตรฐานของการสกัดกั้นของบนเส้นเป็นเพียงตัวชี้วัดของความไม่แน่นอนของ $x$ $\bar{x}$ $y$ $x - \bar{x}$ $y$ $x$ $y$ $x - \bar{x}$ $\hat y$ เมื่อตัวแปรที่แปลของคุณ ; เมื่อสายที่จะแปลกลับไปยังตำแหน่งเดิมย้อนกลับนี้จะเป็นข้อผิดพลาดมาตรฐานของที่ xโดยทั่วไปข้อผิดพลาดมาตรฐานของที่ใด ๆค่าเป็นเพียงข้อผิดพลาดมาตรฐานของการสกัดกั้นของการถดถอยของบนแปลเหมาะสม ; ข้อผิดพลาดมาตรฐานของที่เป็นหลักสูตรที่ข้อผิดพลาดมาตรฐานของการสกัดกั้นในต้นฉบับถดถอยที่ไม่ได้แปล $x - \bar x = 0$ $\hat y$ $x = \bar x$ $\hat y$ $x$ $y$ $x$ $\hat y$ $x=0$

เนื่องจากเราสามารถแปลในความรู้สึกบางมีอะไรพิเศษเกี่ยวกับและดังนั้นจึงไม่มีอะไรพิเศษเกี่ยวกับ 0กับบิตของความคิดสิ่งที่ผมกำลังจะบอกว่าผลงานที่ใด ๆค่าของซึ่งจะเป็นประโยชน์ถ้าคุณกำลังมองหาข้อมูลเชิงลึกในช่วงความเชื่อมั่นเช่นสำหรับการตอบสนองเฉลี่ยจากบรรทัดถดถอยของคุณ แต่เราได้เห็นว่ามีเป็นบางสิ่งบางอย่างที่พิเศษเกี่ยวกับที่เพราะมันอยู่ที่นี่ว่าข้อผิดพลาดในความสูงโดยประมาณของเส้นถดถอย - ซึ่งเป็นของประมาณการที่แน่นอน $x$ $x=0$ $\hat \beta_0$ $\hat y$ $x$ $\hat y$ $x=\bar x$ - และข้อผิดพลาดในความชันโดยประมาณของเส้นการถดถอยไม่มีอะไรเกี่ยวข้องกัน ตัดประมาณของคุณคือและข้อผิดพลาดในการประมาณค่าของมันจะต้องมีต้นกำเนิดทั้งจากการประมาณค่าของหรือประมาณค่าของ(ตั้งแต่ที่เราได้รับการยกย่องเป็นไม่ใช่สุ่ม); ตอนนี้เรารู้แหล่งที่มาของทั้งสองของข้อผิดพลาดจะ uncorrelated ก็เป็นที่ชัดเจนว่าทำไมพีชคณิตควรจะมีความสัมพันธ์ทางลบระหว่างความลาดชันประมาณและตัด (ไขว้เขวลาดชันจะมีแนวโน้มที่จะตัดประมาทตราบ $\bar y$ $\hat \beta_0 = \bar y - \hat \beta_1 \bar x$ $\bar y$ $\hat \beta_1$ $x$ ) แต่ความสัมพันธ์เชิงบวกระหว่างการสกัดกั้นโดยประมาณและการตอบสนองที่คาดเฉลี่ยที่ xแต่สามารถเห็นความสัมพันธ์ดังกล่าวได้โดยไม่ต้องใช้พีชคณิตเช่นกัน $\bar x < 0$ $\hat y = \bar y$ $x = \bar x$

ลองนึกภาพเส้นถดถอยโดยประมาณเป็นไม้บรรทัด ผู้ปกครองที่จะต้องผ่าน )เราเพิ่งเห็นว่ามีความไม่แน่นอนสองอย่างที่ไม่เกี่ยวข้องกันในตำแหน่งของเส้นนี้ซึ่งฉันเห็นภาพ kinaesthetically ว่า "ความไม่แน่นอน" การเปลี่ยน "และความไม่แน่นอน" การเลื่อนแบบขนาน " ก่อนที่คุณจะบิดไม้บรรทัดให้ถือที่ $(\bar x, \bar y)$ $(\bar x, \bar y)$ ในฐานะที่เป็นเดือยแล้วให้มันมีความหลากหลายที่เกี่ยวข้องกับความไม่แน่นอนของคุณในความลาดชัน ผู้ปกครองจะมีการโยกเยกที่ดีมากขึ้นอย่างรุนแรงดังนั้นหากคุณไม่แน่ใจเกี่ยวกับความลาดชัน (แน่นอนความลาดชันเชิงบวกก่อนหน้านี้อาจจะกลายเป็นลบหากความไม่แน่นอนของคุณมีขนาดใหญ่) แต่โปรดทราบว่าความสูงของเส้นถดถอยที่ไม่เปลี่ยนแปลงจากความไม่แน่นอนเช่นนี้และเอฟเฟ็กต์ของ twang จะเห็นได้ชัดเจนยิ่งขึ้นจากค่าเฉลี่ยที่คุณมอง $x=\bar x$

ในการ "เลื่อน" ไม้บรรทัดจับให้แน่นแล้วเลื่อนขึ้นและลงระวังให้ขนานกับตำแหน่งเดิม - อย่าเปลี่ยนความชัน! การเลื่อนขึ้นและลงอย่างแรงขึ้นอยู่กับความไม่แน่นอนของคุณเกี่ยวกับความสูงของเส้นถดถอยขณะที่ผ่านจุดเฉลี่ย ลองคิดดูว่าข้อผิดพลาดมาตรฐานของการสกัดกั้นจะเป็นอย่างไรถ้าถูกแปลเพื่อให้แกนผ่านจุดเฉลี่ย อีกวิธีหนึ่งคือตั้งแต่ความสูงโดยประมาณของเส้นถดถอยที่นี่เป็นเพียงก็ยังเป็นข้อผิดพลาดมาตรฐานของ Yโปรดทราบว่าความไม่แน่นอนของ "การเลื่อน" แบบนี้มีผลต่อทุกจุดบนเส้นการถดถอยอย่างเท่าเทียมกันซึ่งแตกต่างจาก "twang" $x$ $y$ $\bar y$ $\bar y$

สองคนนี้ไม่แน่นอนสมัครอิสระ (ดี uncorrelatedly แต่ถ้าเราคิดแง่ข้อผิดพลาดการกระจายตามปกติแล้วพวกเขาก็ควรจะเป็นอิสระในทางเทคนิค) เพื่อให้ความสูงของทุกจุดบนเส้นถดถอยของคุณจะได้รับผลกระทบจาก "การทำเสียงซอ" ความไม่แน่นอนซึ่งเป็นศูนย์ที่ หมายถึงและแย่ลงกว่าเดิมและความไม่แน่นอน "เลื่อน" ซึ่งเหมือนกันทุกที่ (คุณเห็นความสัมพันธ์กับช่วงความมั่นใจในการถดถอยที่ฉันสัญญาไว้ก่อนหน้านี้โดยเฉพาะความกว้างของพวกเขาแคบที่สุดที่หรือไม่) $\hat y$ $\bar x$

ซึ่งรวมถึงความไม่แน่นอนในที่ซึ่งเป็นหลักสิ่งที่เราหมายถึงข้อผิดพลาดมาตรฐานใน 0ทีนี้สมมุติว่าอยู่ทางขวาของ ; จากนั้นการปรับกราฟให้มีความลาดชันโดยประมาณที่สูงขึ้นมีแนวโน้มที่จะลดการสกัดกั้นโดยประมาณของเราเนื่องจากร่างสเก็ตช์จะแสดง นี่คือความสัมพันธ์เชิงลบที่ทำนายโดย $\hat y$ $x=0$ $\hat \beta_0$ $\bar x$ $x=0$ เมื่อเป็นบวก ในทางกลับกันถ้าอยู่ทางซ้ายของคุณจะเห็นว่าความชันโดยประมาณที่สูงกว่ามีแนวโน้มที่จะเพิ่มการสกัดกั้นโดยประมาณของเราซึ่งสอดคล้องกับความสัมพันธ์เชิงบวกที่สมการของคุณคาดการณ์เมื่อติดลบ โปรดทราบว่าถ้าอยู่ไกลจากศูนย์การประมาณของเส้นถดถอยที่มีความชันไล่ระดับไม่แน่นอนออกไปทาง $\frac{-\bar{x}}{\sqrt{\MSD(x) + \bar{x}^2}}$ $\bar x$ $\bar x$ $x=0$ $\bar x$ $\bar x$ $y$ แกนจะกลายเป็นล่อแหลมมากขึ้น (ความกว้างของ "twang" แย่ลงจากค่าเฉลี่ย) ว่า "การทำเสียงซอ" ข้อผิดพลาดในระยะจะหนาแน่นเกินดุลข้อผิดพลาด "เลื่อน" ในระยะดังนั้นข้อผิดพลาดในเกือบจะถูกกำหนดโดยสิ้นเชิงข้อผิดพลาดใด ๆ ใน 1ในขณะที่คุณสามารถตรวจสอบพีชคณิตถ้าเราใช้เวลาโดยไม่ต้องเปลี่ยนเอ็มเอสหรือค่าเบี่ยงเบนมาตรฐานของความผิดพลาดความสัมพันธ์ระหว่าง $- \hat \beta_1 \bar x$ $\bar y$ $\hat \beta_0$ $\hat \beta_1$ $\bar x \to \pm \infty$ $s_u$ $\hat \beta_0$ มีแนวโน้มที่จะ1 $\hat \beta_1$ $\mp 1$

เพื่อแสดงให้เห็นถึงสิ่งนี้ (คุณอาจต้องการคลิกขวาที่ภาพและบันทึกหรือดูขนาดเต็มในแท็บใหม่หากตัวเลือกนั้นมีให้คุณ) ฉันเลือกที่จะพิจารณาตัวอย่างซ้ำของที่มีการ IID กว่าชุดถาวรของค่ากับดังนั้น $y_i = 5 + 2x_i + u_i$ $u_i \sim N(0, 10^2)$ $x$ $\bar x = 10$ $\mathbb{E}(\bar y)=25$ . ในการตั้งค่านี้มีความสัมพันธ์เชิงลบแข็งแกร่งอย่างเป็นธรรมระหว่างความลาดชันประมาณและการสกัดกั้นและความสัมพันธ์เชิงบวกระหว่างอ่อนแอการตอบสนองเฉลี่ยประมาณและประมาณตัด อนิเมชั่นแสดงตัวอย่างที่จำลองขึ้นจำนวนมากพร้อมเส้นตัวอย่างการถดถอย (ทอง) ลากผ่านเส้นการถดถอยจริง (สีดำ) แถวที่สองแสดงให้เห็นว่าการสะสมของเส้นการถดถอยโดยประมาณนั้นดูเหมือนว่ามีข้อผิดพลาดเฉพาะในประมาณและลาดที่ตรงกับความชันจริง ("การเลื่อน" ผิดพลาด); จากนั้นหากมีข้อผิดพลาดเฉพาะในลาดและ $\bar y$ $x=\bar x$ $\bar y$ $\bar y$ จับคู่กับค่าประชากร (ข้อผิดพลาด "การจับคู่"); และในที่สุดสิ่งที่คอลเลกชันของเส้นโดยประมาณดูเหมือนจริงเมื่อทั้งสองแหล่งที่มาของข้อผิดพลาดรวมกัน สิ่งเหล่านี้ได้รับการกำหนดรหัสสีโดยขนาดของการสกัดกั้นโดยประมาณจริง ๆ (ไม่ใช่จุดตัดที่แสดงในสองกราฟแรกที่แหล่งที่มาของข้อผิดพลาดถูกกำจัด) จากสีน้ำเงินสำหรับการตัดต่ำไปจนถึงแดงสำหรับการสกัดสูง โปรดสังเกตว่าจากสีเพียงอย่างเดียวเราจะเห็นได้ว่าตัวอย่างที่มีค่า ต่ำมีแนวโน้มที่จะสร้างค่าดักจับโดยประมาณที่ต่ำกว่าเช่นเดียวกับตัวอย่างที่มีค่าสูง $\bar y$ ความลาดชันโดยประมาณ แถวถัดไปแสดงการแจกแจงแบบจำลอง (ฮิสโตแกรม) และเชิงทฤษฎี (เส้นโค้งปกติ) ของการประมาณและแถวสุดท้ายจะแสดงแผนการกระจายระหว่างพวกเขา สังเกตว่ามีความสัมพันธ์ระหว่างไม่มีและความลาดชันประมาณความสัมพันธ์เชิงลบระหว่างการสกัดกั้นโดยประมาณและความลาดชันและความสัมพันธ์เชิงบวกระหว่างการสกัดกั้นและ Y $\bar y$ $\bar y$

MSD กำลังทำอะไรอยู่ในส่วนของ ? แพร่กระจายออกช่วงของค่าคุณวัดมากกว่าเป็นที่รู้จักกันดีที่จะช่วยให้คุณสามารถที่จะประเมินความลาดชันอย่างแม่นยำมากขึ้นและสัญชาตญาณที่มีความชัดเจนจากร่าง แต่มันไม่ได้ช่วยให้คุณสามารถประเมินใด ๆ ที่ดี ฉันขอแนะนำให้คุณนึกภาพการใช้ MSD ใกล้ศูนย์ (เช่นการสุ่มตัวอย่างคะแนนนั้นใกล้กับค่าเฉลี่ยของ) มากเท่านั้นดังนั้นความไม่แน่นอนของคุณในความชันจะใหญ่มาก: ลองคิด twangs ที่ยิ่งใหญ่ แต่ไม่เปลี่ยนความไม่แน่นอนแบบเลื่อน หาก-axisของคุณอยู่ห่างจาก(กล่าวอีกนัยหนึ่งคือถ้า $\frac{-\bar{x}}{\sqrt{\MSD(x) + \bar{x}^2}}$ $x$ $\bar y$ $x$ $y$ $\bar x$ $\bar x \neq 0$ ) คุณจะพบว่าความไม่แน่นอนในการสกัดกั้นของคุณจะถูกครอบงำอย่างเต็มที่จากข้อผิดพลาดการบิดที่เกี่ยวข้องกับความลาดชัน ในทางตรงกันข้ามหากคุณเพิ่มการกระจายของการวัดของคุณโดยไม่ต้องเปลี่ยนค่าเฉลี่ยคุณจะปรับปรุงความแม่นยำของการประมาณความชันของคุณได้อย่างหนาแน่นและต้องการเพียงการใช้ twangs ที่อ่อนโยนต่อสายของคุณเท่านั้น ตอนนี้ความสูงของการสกัดกั้นของคุณถูกครอบงำด้วยความไม่แน่นอนของการเลื่อนซึ่งไม่เกี่ยวข้องกับความชันโดยประมาณของคุณ สิ่งนี้นับด้วยความจริงเกี่ยวกับพีชคณิตว่าความสัมพันธ์ระหว่างความชันโดยประมาณกับการสกัดกั้นมีแนวโน้มที่จะเป็นศูนย์เช่นและเมื่อต่อ $x$ $\MSD(x) \to \pm \infty$ $\bar x \neq 0$ $\pm 1$ (เครื่องหมายเป็นตรงข้ามของสัญญาณของ ) ในฐานะ 0 $\bar x$ $\MSD(x) \to 0$

ความสัมพันธ์ของตัวประมาณค่าความชันและการสกัดกั้นเป็นหน้าที่ของทั้งและ MSD (หรือ RMSD) ของดังนั้นการมีส่วนร่วมของพวกเขามีน้ำหนักมากขึ้นอย่างไร? อันที่จริงเรื่องทั้งหมดที่เป็นอัตราส่วนของเพื่อ RMSD ของxปรีชาเรขาคณิตคือ RMSD จะช่วยให้เราชนิดของ "หน่วยธรรมชาติ" สำหรับ ; ถ้าเราลดค่า -axis โดยใช้นี่คือการยืดในแนวนอนที่ทำให้การสกัดกั้นโดยประมาณและไม่เปลี่ยนแปลงทำให้เราใหม่ $\bar x$ $x$ $\bar x$ $x$ $x$ $x$ $w_i = x_i / \RMSD(x)$ $\bar y$ และคูณลาดประมาณโดย RMSD ของxสูตรสำหรับความสัมพันธ์ระหว่างความลาดชันและตัดใหม่ประมาณคือในแง่เดียวของซึ่งเป็นหนึ่งและซึ่งเป็นอัตราส่วน $\RMSD(w)=1$ $x$ $\RMSD(w)$ $\bar w$ )เมื่อการประมาณค่าสกัดกั้นไม่เปลี่ยนแปลงและการประมาณค่าความชันจะถูกคูณด้วยค่าคงที่เป็นบวกจากนั้นค่าสหสัมพันธ์ระหว่างพวกมันจึงไม่เปลี่ยนแปลง: ดังนั้นความสัมพันธ์ระหว่างความชันดั้งเดิมกับการสกัดกั้นจึงขึ้นอยู่กับ $\frac{\bar x}{\RMSD(x)}$ )พีชคณิตเราสามารถดูได้โดยการหารด้านบนและด้านล่างของ $\frac{\bar x}{\RMSD(x)}$ โดยที่จะได้รับ $\frac{-\bar x}{\sqrt{\MSD(x)+\bar{x}^2}}$ $\RMSD(x)$ 2 $\Corr\left(\hat \beta_0, \hat \beta_1 \right) = \frac{- (\bar x / \RMSD(x))}{\sqrt{1 + (\bar x / \RMSD(x))^2}}$

เมื่อต้องการค้นหาความสัมพันธ์ระหว่างและพิจารณา )โดย bilinearity ของนี้อยู่ $\hat \beta_0$ $\bar y$ $\DeclareMathOperator{\Cov}{Cov}\Cov(\hat \beta_0, \bar y)=\Cov(\bar y - \hat \beta_1 \bar x, \bar y)$ $\Cov$ $\Cov(\bar y, \bar y) - \bar x \Cov(\hat \beta_1, \bar y)$ . เทอมแรกคือในขณะที่คำที่สองที่เราสร้างไว้ก่อนหน้านี้เป็นศูนย์ จากนี้เราอนุมาน $\operatorname{Var}(\bar y)=\frac{\sigma_u^2}{n}$

Corr ({\hat{β}}_{0}, \bar{Y}) = \frac{1}{\sqrt{1 + (\bar{x} / RMSD (x))^{2}}}

$\Corr(\hat \beta_0, \bar y)=\frac{1}{\sqrt{1 + (\bar x/\RMSD(x))^2}}$

ดังนั้นความสัมพันธ์นี้ก็ขึ้นอยู่กับอัตราส่วน )โปรดทราบว่าสี่เหลี่ยมของและรวมถึงหนึ่ง: เราคาดว่าตั้งแต่ทุกรูปแบบการสุ่มตัวอย่าง (สำหรับการแก้ไข) ในเป็นเพราะทั้งรูปแบบ ในหรือการเปลี่ยนแปลงใน , และแหล่งที่มาของการเปลี่ยนแปลงเหล่านี้จะ uncorrelated กับแต่ละอื่น ๆ นี่คือพล็อตของความสัมพันธ์กับอัตราส่วน $\frac{\bar x}{\RMSD(x)}$ $\Corr(\hat \beta_0, \hat \beta_1)$ $\Corr(\hat \beta_0, \bar y)$ $x$ $\hat \beta_0$ $\hat \beta_1$ $\bar y$ ) $\frac{\bar x}{\RMSD(x)}$

พล็อตที่แสดงให้เห็นอย่างชัดเจนว่าเมื่อสูงเมื่อเทียบกับ RMSDข้อผิดพลาดในการประมาณการตัดเป็นส่วนใหญ่เนื่องจากข้อผิดพลาดในการประมาณการความลาดชันและทั้งสองมีความสัมพันธ์อย่างใกล้ชิดขณะที่เมื่ออยู่ในระดับต่ำเมื่อเทียบกับ RMSDมันเป็นข้อผิดพลาด ในการประมาณค่าของที่ครอบงำและความสัมพันธ์ระหว่างการสกัดกั้นและความลาดชันนั้นอ่อนแอ โปรดทราบว่าความสัมพันธ์ของการสกัดกั้นกับความชันเป็นฟังก์ชันแปลกของอัตราส่วน $\bar x$ $\bar x$ $\bar y$ ดังนั้นเครื่องหมายขึ้นอยู่กับเครื่องหมายของและเป็นศูนย์ถ้าในขณะที่ความสัมพันธ์ของการสกัดกั้นกับนั้นเป็นค่าบวกเสมอและเป็นฟังก์ชั่นของอัตราส่วนนั่นคือมันไม่ได้ ว่าสิ่งที่ด้านข้างของแกนที่มี ความสัมพันธ์มีความเท่าเทียมกันในขนาดถ้าเป็นหนึ่ง RMSD ห่างจากแกนเมื่อ $\frac{\bar x}{\RMSD(x)}$ $\bar x$ $\bar x=0$ $\bar y$ $y$ $\bar x$ $\bar x$ $y$ และ $\Corr(\hat \beta_0, \bar y)=\frac{1}{\sqrt{2}} \approx 0.707$ ที่ป้ายอยู่ฝั่งตรงข้ามของxในตัวอย่างในการจำลองด้านบนและดังนั้นค่าเฉลี่ยอยู่ที่RMSDs จาก-axis; ในอัตราส่วนนี้ความสัมพันธ์ระหว่างการสกัดกั้นและความลาดชันนั้นแข็งแกร่งขึ้น แต่ความสัมพันธ์ระหว่างการสกัดกั้นและยังคงไม่สำคัญ $\Corr(\hat \beta_0, \hat \beta_1)=\pm \frac{1}{\sqrt{2}} \approx \pm 0.707$ $\bar x$ $\bar x=10$ $\RMSD(x) \approx 5.16$ $1.93$ $y$ $\bar y$

นอกจากนี้ฉันชอบคิดสูตรสำหรับข้อผิดพลาดมาตรฐานของการสกัดกั้น

s . อี . ({\hat{β}}_{0}^{O L S}) = \sqrt{s_{ยู}^{2} (\frac{1}{n} + \frac{{\bar{x}}^{2}}{n เอ็มเอส (x)})}

$\operatorname{s.e.}(\hat \beta_0^{OLS}) = \sqrt{s_u^2 \left( \frac{1}{n} + \frac{{\bar x}^2 }{n \MSD(x)} \right) }$

ในฐานะและเหมือนกันสำหรับสูตรสำหรับข้อผิดพลาดมาตรฐานของที่(ใช้สำหรับช่วงความเชื่อมั่นสำหรับการตอบสนองค่าเฉลี่ยและที่ตัดเป็นเพียงกรณีพิเศษตามที่ผมอธิบายก่อนหน้านี้ผ่านการแปล ข้อโต้แย้ง), $\sqrt{\text{sliding error} + \text{twanging error}}$ $\hat y$ $x = x_0$

s . อี . (\hat{Y}) = \sqrt{s_{ยู}^{2} (\frac{1}{n} + \frac{(x_{0} - \bar{x})^{2}}{n เอ็มเอส (x)})}

$\operatorname{s.e.}(\hat y) = \sqrt{s_u^2 \left( \frac{1}{n} + \frac{(x_0 - \bar x)^2}{n \MSD(x)} \right) }$

รหัส R สำหรับแปลง

require(graphics)
require(grDevices)
require(animation

#This saves a GIF so you may want to change your working directory
#setwd("~/YOURDIRECTORY")
#animation package requires ImageMagick or GraphicsMagick on computer
#See: http://www.inside-r.org/packages/cran/animation/docs/im.convert
#You might only want to run up to the "STATIC PLOTS" section
#The static plot does not save a file, so need to change directory.

#Change as desired
simulations <- 100 #how many samples to draw and regress on
xvalues <- c(2,4,6,8,10,12,14,16,18) #used in all regressions
su <- 10 #standard deviation of error term
beta0 <- 5 #true intercept
beta1 <- 2 #true slope
plotAlpha <- 1/5 #transparency setting for charts
interceptPalette <- colorRampPalette(c(rgb(0,0,1,plotAlpha),
            rgb(1,0,0,plotAlpha)), alpha = TRUE)(100) #intercept color range
animationFrames <- 20 #how many samples to include in animation

#Consequences of previous choices
n <- length(xvalues) #sample size
meanX <- mean(xvalues) #same for all regressions
msdX <- sum((xvalues - meanX)^2)/n #Mean Square Deviation
minX <- min(xvalues)
maxX <- max(xvalues)
animationFrames <- min(simulations, animationFrames)

#Theoretical properties of estimators
expectedMeanY <- beta0 + beta1 * meanX
sdMeanY <- su / sqrt(n) #standard deviation of mean of Y (i.e. Y hat at mean x)
sdSlope <- sqrt(su^2 / (n * msdX))
sdIntercept <- sqrt(su^2 * (1/n + meanX^2 / (n * msdX)))


data.df <- data.frame(regression = rep(1:simulations, each=n),
                      x = rep(xvalues, times = simulations))

data.df$y <- beta0 + beta1*data.df$x + rnorm(n*simulations, mean = 0, sd = su) 

regressionOutput <- function(i){ #i is the index of the regression simulation
  i.df <- data.df[data.df$regression == i,]
  i.lm <- lm(y ~ x, i.df)
  return(c(i, mean(i.df$y), coef(summary(i.lm))["x", "Estimate"],
          coef(summary(i.lm))["(Intercept)", "Estimate"]))
}

estimates.df <- as.data.frame(t(sapply(1:simulations, regressionOutput)))
colnames(estimates.df) <- c("Regression", "MeanY", "Slope", "Intercept")

perc.rank <- function(x) ceiling(100*rank(x)/length(x))
rank.text <- function(x) ifelse(x < 50, paste("bottom", paste0(x, "%")), 
                                paste("top", paste0(101 - x, "%")))
estimates.df$percMeanY <- perc.rank(estimates.df$MeanY)
estimates.df$percSlope <- perc.rank(estimates.df$Slope)
estimates.df$percIntercept <- perc.rank(estimates.df$Intercept)
estimates.df$percTextMeanY <- paste("Mean Y", 
                                    rank.text(estimates.df$percMeanY))
estimates.df$percTextSlope <- paste("Slope",
                                    rank.text(estimates.df$percSlope))
estimates.df$percTextIntercept <- paste("Intercept",
                                    rank.text(estimates.df$percIntercept))

#data frame of extreme points to size plot axes correctly
extremes.df <- data.frame(x = c(min(minX,0), max(maxX,0)),
              y = c(min(beta0, min(data.df$y)), max(beta0, max(data.df$y))))

#STATIC PLOTS ONLY

par(mfrow=c(3,3))

#first draw empty plot to reasonable plot size
with(extremes.df, plot(x,y, type="n", main = "Estimated Mean Y"))
invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                 estimates.df$Intercept, beta1, 
                 interceptPalette[estimates.df$percIntercept]))

with(extremes.df, plot(x,y, type="n", main = "Estimated Slope"))
invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                 expectedMeanY - estimates.df$Slope * meanX, estimates.df$Slope, 
                 interceptPalette[estimates.df$percIntercept]))

with(extremes.df, plot(x,y, type="n", main = "Estimated Intercept"))
invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                 estimates.df$Intercept, estimates.df$Slope, 
                 interceptPalette[estimates.df$percIntercept]))

with(estimates.df, hist(MeanY, freq=FALSE, main = "Histogram of Mean Y",
                        ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdMeanY))))
curve(dnorm(x, mean=expectedMeanY, sd=sdMeanY), lwd=2, add=TRUE)

with(estimates.df, hist(Slope, freq=FALSE, 
                        ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdSlope))))
curve(dnorm(x, mean=beta1, sd=sdSlope), lwd=2, add=TRUE)

with(estimates.df, hist(Intercept, freq=FALSE, 
                        ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdIntercept))))
curve(dnorm(x, mean=beta0, sd=sdIntercept), lwd=2, add=TRUE)

with(estimates.df, plot(MeanY, Slope, pch = 16,  col = rgb(0,0,0,plotAlpha), 
                        main = "Scatter of Slope vs Mean Y"))

with(estimates.df, plot(Slope, Intercept, pch = 16, col = rgb(0,0,0,plotAlpha),
                        main = "Scatter of Intercept vs Slope"))

with(estimates.df, plot(Intercept, MeanY, pch = 16, col = rgb(0,0,0,plotAlpha),
                        main = "Scatter of Mean Y vs Intercept"))


#ANIMATED PLOTS

makeplot <- function(){for (i in 1:animationFrames) {

  par(mfrow=c(4,3))

  iMeanY <- estimates.df$MeanY[i]
  iSlope <- estimates.df$Slope[i]
  iIntercept <- estimates.df$Intercept[i]

  with(extremes.df, plot(x,y, type="n", main = paste("Simulated dataset", i)))
  with(data.df[data.df$regression==i,], points(x,y))
  abline(beta0, beta1, lwd = 2)
  abline(iIntercept, iSlope, lwd = 2, col="gold")

  plot.new()
  title(main = "Parameter Estimates")
  text(x=0.5, y=c(0.9, 0.5, 0.1), labels = c(
    paste("Mean Y =", round(iMeanY, digits = 2), "True =", expectedMeanY),
    paste("Slope =", round(iSlope, digits = 2), "True =", beta1),
    paste("Intercept =", round(iIntercept, digits = 2), "True =", beta0)))

  plot.new()
  title(main = "Percentile Ranks")
  with(estimates.df, text(x=0.5, y=c(0.9, 0.5, 0.1),
                          labels = c(percTextMeanY[i], percTextSlope[i],
                                     percTextIntercept[i])))


  #first draw empty plot to reasonable plot size
  with(extremes.df, plot(x,y, type="n", main = "Estimated Mean Y"))
  invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                   estimates.df$Intercept, beta1, 
                   interceptPalette[estimates.df$percIntercept]))
  abline(iIntercept, beta1, lwd = 2, col="gold")

  with(extremes.df, plot(x,y, type="n", main = "Estimated Slope"))
  invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                expectedMeanY - estimates.df$Slope * meanX, estimates.df$Slope, 
                interceptPalette[estimates.df$percIntercept]))
  abline(expectedMeanY - iSlope * meanX, iSlope,
         lwd = 2, col="gold")

  with(extremes.df, plot(x,y, type="n", main = "Estimated Intercept"))
  invisible(mapply(function(a,b,c) { abline(a, b, col=c) }, 
                   estimates.df$Intercept, estimates.df$Slope, 
                   interceptPalette[estimates.df$percIntercept]))
  abline(iIntercept, iSlope, lwd = 2, col="gold")

  with(estimates.df, hist(MeanY, freq=FALSE, main = "Histogram of Mean Y",
                          ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdMeanY))))
  curve(dnorm(x, mean=expectedMeanY, sd=sdMeanY), lwd=2, add=TRUE)
  lines(x=c(iMeanY, iMeanY),
        y=c(0, dnorm(iMeanY, mean=expectedMeanY, sd=sdMeanY)),
        lwd = 2, col = "gold")

  with(estimates.df, hist(Slope, freq=FALSE, 
                          ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdSlope))))
  curve(dnorm(x, mean=beta1, sd=sdSlope), lwd=2, add=TRUE)
  lines(x=c(iSlope, iSlope), y=c(0, dnorm(iSlope, mean=beta1, sd=sdSlope)),
        lwd = 2, col = "gold")

  with(estimates.df, hist(Intercept, freq=FALSE, 
                          ylim=c(0, 1.3*dnorm(0, mean=0, sd=sdIntercept))))
  curve(dnorm(x, mean=beta0, sd=sdIntercept), lwd=2, add=TRUE)
  lines(x=c(iIntercept, iIntercept),
        y=c(0, dnorm(iIntercept, mean=beta0, sd=sdIntercept)),
        lwd = 2, col = "gold")

  with(estimates.df, plot(MeanY, Slope, pch = 16,  col = rgb(0,0,0,plotAlpha), 
                          main = "Scatter of Slope vs Mean Y"))
  points(x = iMeanY, y = iSlope, pch = 16, col = "gold")

  with(estimates.df, plot(Slope, Intercept, pch = 16, col = rgb(0,0,0,plotAlpha),
                          main = "Scatter of Intercept vs Slope"))
  points(x = iSlope, y = iIntercept, pch = 16, col = "gold")

  with(estimates.df, plot(Intercept, MeanY, pch = 16, col = rgb(0,0,0,plotAlpha),
                          main = "Scatter of Mean Y vs Intercept"))
  points(x = iIntercept, y = iMeanY, pch = 16, col = "gold")

}}

saveGIF(makeplot(), interval = 4, ani.width = 500, ani.height = 600)

สำหรับพล็อตของความสัมพันธ์กับอัตราส่วนของถึง RMSD: $\bar x$

require(ggplot2)

numberOfPoints <- 200
data.df  <- data.frame(
  ratio = rep(seq(from=-10, to=10, length=numberOfPoints), times=2),
  between = rep(c("Slope", "MeanY"), each=numberOfPoints))
data.df$correlation <- with(data.df, ifelse(between=="Slope",
  -ratio/sqrt(1+ratio^2),
  1/sqrt(1+ratio^2)))

ggplot(data.df, aes(x=ratio, y=correlation, group=factor(between),
                    colour=factor(between))) +
  theme_bw() + 
  geom_line(size=1.5) +
  scale_colour_brewer(name="Correlation between", palette="Set1",
                      labels=list(expression(hat(beta[0])*" and "*bar(y)),
                              expression(hat(beta[0])*" and "*hat(beta[1])))) +
  theme(legend.key = element_blank()) +
  ggtitle(expression("Correlation of intercept estimates with slope and "*bar(y))) +
  xlab(expression("Ratio of "*bar(X)/"RMSD(X)")) +
  ylab(expression(paste("Correlation")))

— สีเงิน
แหล่งที่มา

"twang" และ "slide" เป็นคำศัพท์ของฉัน นี่คือสัญชาตญาณการมองเห็นของฉันและไม่ใช่สิ่งที่ฉันเคยเห็นในตำราเรียนใด ๆ แม้ว่าความคิดพื้นฐานที่นี่จะเป็นเนื้อหามาตรฐานทั้งหมด คุณจะรู้ว่ามีชื่อทางเทคนิคมากกว่า "twang" และ "slide" หรือไม่! ฉันใช้คำตอบนี้จากหน่วยความจำในคำตอบของคำถามที่เกี่ยวข้องที่ฉันไม่เคยมีรอบที่จะเสร็จสิ้นและโพสต์ นั่นมีกราฟสอนเพิ่มเติมซึ่ง (ถ้าฉันสามารถติดตามรหัส R บนคอมพิวเตอร์เครื่องเก่าของฉันหรือหาเวลาที่จะทำซ้ำ) ฉันจะเพิ่ม

— Silverfish

เป็นงานอะไร! ขอบคุณมาก! ตอนนี้ความเข้าใจของฉันต้องอยู่ในสภาพดีขึ้นมาก

— Richard Hardy

@RichardHardy ฉันได้ใส่แอนิเมชั่นจำลองเข้าไปซึ่งควรทำให้สิ่งต่าง ๆ ชัดเจนขึ้น

— Silverfish