จะคำนวณช่วงความมั่นใจของการสกัดกั้น x ในการถดถอยเชิงเส้นได้อย่างไร?

เนื่องจากข้อผิดพลาดมาตรฐานของการถดถอยเชิงเส้นมักจะได้รับสำหรับตัวแปรตอบสนองฉันสงสัยว่าจะได้รับช่วงความมั่นใจในทิศทางอื่นได้อย่างไร - เช่นการสกัดกั้น x ฉันสามารถเห็นภาพว่ามันอาจจะเป็นอะไร แต่ฉันแน่ใจว่าต้องมีวิธีที่ตรงไปตรงมาในการทำเช่นนี้ ด้านล่างเป็นตัวอย่างใน R ของวิธีการเห็นภาพนี้:

set.seed(1)
x <- 1:10
a <- 20
b <- -2
y <- a + b*x + rnorm(length(x), mean=0, sd=1)

fit <- lm(y ~ x)
XINT <- -coef(fit)[1]/coef(fit)[2]

plot(y ~ x, xlim=c(0, XINT*1.1), ylim=c(-2,max(y)))
abline(h=0, lty=2, col=8); abline(fit, col=2)
points(XINT, 0, col=4, pch=4)
newdat <- data.frame(x=seq(-2,12,len=1000))

# CI
pred <- predict(fit, newdata=newdat, se.fit = TRUE) 
newdat$yplus <-pred$fit + 1.96*pred$se.fit 
newdat$yminus <-pred$fit - 1.96*pred$se.fit 
lines(yplus ~ x, newdat, col=2, lty=2)
lines(yminus ~ x, newdat, col=2, lty=2)

# approximate CI of XINT
lwr <- newdat$x[which.min((newdat$yminus-0)^2)]
upr <- newdat$x[which.min((newdat$yplus-0)^2)]
abline(v=c(lwr, upr), lty=3, col=4)

r regression confidence-interval bootstrap

— มาร์คในกล่อง
แหล่งที่มา

library(boot);  sims <- boot(data.frame(x, y), function(d, i) {   fit <- lm(y ~ x, data = d[i,])   -coef(fit)[1]/coef(fit)[2] }, R = 1e4);  points(quantile(sims$t, c(0.025, 0.975)), c(0, 0))

คุณสามารถบูตนี้: สำหรับช่วงเวลาการทำนายผกผันไฟล์ช่วยเหลือของchemCal:::inverse.predictการอ้างอิงต่อไปนี้ซึ่งอาจช่วยให้ได้รับ CI: Massart, LM, Vandenginste, BGM, Buydens, LMC, De Jong, S. , Lewi, PJ, Smeyers-Verbeke, J. (1997 ) คู่มือเคมีและคุณสมบัติ: ส่วน A, p 200

— Roland

สิ่งที่คุณแสดงในกราฟไม่ใช่ CI สำหรับการสกัดกั้น คุณแสดงจุดที่เส้นความเชื่อมั่นต่ำและสูงของการทำนายข้ามแกน

— Roland

บ่อยครั้งที่การถดถอยเชิงเส้นมีรูปแบบที่บอกว่าสิ่งนี้:เพื่อให้ s เป็นแบบสุ่มและ s เป็นค่าคงที่ ที่อาจจะมีความชอบธรรมด้วยการบอกว่าคุณกำลังมองหาการกระจายตามเงื่อนไขที่กำหนด s ในทางปฏิบัติถ้าคุณใช้ตัวอย่างใหม่ก็มักจะไม่ได้เป็นเพียง s แต่ยัง s การเปลี่ยนแปลงที่แนะนำในบางสถานการณ์ที่พวกเขาควรได้รับการพิจารณาแบบสุ่ม ฉันสงสัยว่าสิ่งนี้จะขึ้นอยู่กับความเหมาะสมของ

Y_{ผม} = α + β x_{ผม} + ε_{ผม} ที่ไหน ε_{1}, ... ε_{n} ~ IID ยังไม่มีข้อความ (0, σ^{2}),

$Y_i = \alpha + \beta x_i + \varepsilon_i \quad \text{where } \varepsilon_1,\ldots\varepsilon_n \sim \text{i.i.d. } N(0,\sigma^2),$

Y

$Y$

x

$x$

x

$x$

Y

$Y$

x

$x$

\dots

$\,\ldots\qquad$

— Michael Hardy

stats.stackexchange.com/search?q="inverse+regression "

— whuber

@AdrienRenaud - สำหรับฉันดูเหมือนว่าคำตอบของคุณจะง่ายเกินไปเนื่องจากลักษณะที่ไม่สมมาตรที่ฉันพูดถึง หากฉันไม่ได้ขอมากเกินไปคุณอาจขยายความเป็นไปได้ที่คุณพูดถึง

— Marc ในกล่อง

คำตอบ:

จะคำนวณช่วงความมั่นใจของการสกัดกั้น x ในการถดถอยเชิงเส้นได้อย่างไร?

Asumptions

ใช้โมเดลการถดถอยอย่างง่าย $y_i = \alpha + \beta x_i + \varepsilon_i$ .
ข้อผิดพลาดมีการแจกแจงแบบปกติแบบมีเงื่อนไขบน regressors $\epsilon | X \sim \mathcal{N}(0, \sigma^2 I_n)$
พอดีกับการใช้กำลังสองน้อยที่สุดธรรมดา

3 ขั้นตอนการคำนวณช่วงความมั่นใจในการสกัดกั้น x

การขยายตัวของเทย์เลอร์ (ใช้งานง่าย)
วิธี Marc ในกล่อง (MIB)
CAPITANI-POLLASTRI ( https://boa.unimib.it/retrieve/handle/10281/43053/64388/DECAPITANI_Pollastri.pdf )

คำสั่งแรกของการขยายตัวของเทย์เลอร์

แบบจำลองของคุณคือ $Y=aX+b$ มีค่าเบี่ยงเบนมาตรฐานโดยประมาณ $\sigma_a$ และ $\sigma_b$ บน $a$ และ $b$ พารามิเตอร์และความแปรปรวนร่วมโดยประมาณ $\sigma_{ab}$ . คุณแก้ปัญหา

a X + ข = 0 \Leftrightarrow X = \frac{- ข}{a} .

$aX+b=0 \Leftrightarrow X= \frac{-b} a.$

จากนั้นค่าเบี่ยงเบนมาตรฐาน $\sigma_X$ บน $X$ มอบให้โดย:

{(\frac{σ_{X}}{X})}^{2} = {(\frac{σ_{ข}}{ข})}^{2} + {(\frac{σ_{a}}{a})}^{2} - 2 \frac{σ_{a ข}}{a ข} .

$\left( \frac {\sigma_X} X \right)^2 = \left( \frac {\sigma_b} b \right)^2 + \left( \frac {\sigma_a} a \right)^2 - 2 \frac{\sigma_{ab}}{ab}.$

MIB

ดูรหัสจาก Marc ในกล่องที่วิธีการคำนวณช่วงความมั่นใจของการสกัดกั้น x ในการถดถอยเชิงเส้น .

Capitani-POLLASTRI

CAPITANI-POLLASTRI จัดให้มีฟังก์ชันการแจกแจงสะสมและฟังก์ชันความหนาแน่นสำหรับอัตราส่วนของตัวแปรสุ่มปกติที่สัมพันธ์กันสองตัว มันสามารถใช้ในการคำนวณช่วงความเชื่อมั่นของการสกัดกั้น x ในการถดถอยเชิงเส้น ขั้นตอนนี้ให้ผลลัพธ์ที่เหมือนกันเกือบ (กับ) จาก MIB

อันที่จริงแล้วการใช้กำลังสองน้อยที่สุดธรรมดาและสมมติว่าปกติเป็นข้อผิดพลาด $\hat\beta \sim \mathcal{N}(\beta, \sigma^2 (X^TX)^{-1})$ (ยืนยันแล้ว) และ $\hat{\beta}$ มีความสัมพันธ์ (ตรวจสอบแล้ว)

กระบวนการดังต่อไปนี้:

รับตัวประมาณ OLS สำหรับ $a$ และ $b$ .
รับค่าความแปรปรวนร่วมและความแปรปรวนร่วม, แยก $\sigma_a, \sigma_b, \sigma_{ab}=\rho\sigma_a\sigma_b$ .
สมมติว่า $a$ และ $b$ ติดตามการแจกแจงแบบปกติ Bivariate ที่สัมพันธ์กัน $\mathcal{N}(a, b, \sigma_a, \sigma_b, \rho)$ . จากนั้นฟังก์ชันความหนาแน่นและฟังก์ชันการแจกแจงสะสมของ $x_{intercept}= \frac{-b}{a}$ ได้รับจาก CAPITANI-POLLASTRI
ใช้ฟังก์ชันการแจกแจงสะสมของ $x_{intercept}= \frac{-b}{a}$ เพื่อคำนวณปริมาณที่ต้องการและกำหนดช่วงเวลาการเกิด

การเปรียบเทียบ 3 ขั้นตอน

กระบวนการเปรียบเทียบโดยใช้การกำหนดค่าข้อมูลต่อไปนี้:

x <- 1:10
a <- 20
b <- -2
y <- a + b * x + rnorm (length (x), mean = 0, sd = 1)

มีการสร้างและวิเคราะห์ตัวอย่างที่แตกต่างกัน 10,000 ตัวอย่างโดยใช้วิธีการ 3 วิธี รหัส (R) ที่ใช้สร้างและวิเคราะห์สามารถดูได้ที่: https://github.com/adrienrenaud/stackExchange/blob/master/crossValidated/q221630/answer.ipynb

MIB และ CAPITANI-POLLASTRI ให้ผลลัพธ์ที่เท่าเทียมกัน
อันดับแรกการขยายตัวของเทย์เลอร์แตกต่างอย่างมีนัยสำคัญจากสองวิธีอื่น
MIB และ CAPITANI-POLLASTRI ได้รับความเดือดร้อนจากความไม่ครอบคลุม พบว่า 68% (95%) ci มีค่าจริง 63% (92%) ของเวลา
การสั่งซื้อครั้งแรกของการขยายตัวเทย์เลอร์ทนทุกข์ทรมานจากการครอบคลุมมากเกินไป พบว่า 68% (95%) ci มีค่าจริง 87% (99%) ของเวลา

สรุปผลการวิจัย

การแจกแจง x-intercept นั้นไม่สมมาตร มันปรับช่วงความเชื่อมั่นที่ไม่สมมาตร MIB และ CAPITANI-POLLASTRI ให้ผลลัพธ์ที่เท่าเทียมกัน CAPITANI-POLLASTRI มีเหตุผลทางทฤษฎีที่ดีและให้เหตุผลสำหรับ MIB MIB และ CAPITANI-POLLASTRI ได้รับความเดือดร้อนจากการได้รับความคุ้มครองในระดับปานกลางและสามารถใช้เพื่อกำหนดช่วงความมั่นใจ

— Adrien Renaud
แหล่งที่มา

ขอบคุณสำหรับคำตอบที่ดีนี้ วิธีนี้หมายความว่าข้อผิดพลาดมาตรฐานของการสกัดกั้น x นั้นสมมาตรหรือไม่? ช่วงเวลาการทำนายในรูปของฉันบ่งบอกว่านี่ไม่ใช่กรณีและฉันได้เห็นการอ้างอิงถึงที่อื่น

— Marc ในกล่อง

ใช่มันบ่งบอกถึงช่วงเวลาที่สมมาตร หากคุณต้องการแบบไม่สมมาตรคุณสามารถใช้ความเป็นไปได้ของโพรไฟล์ในการรักษาพารามิเตอร์โมเดลของคุณเป็นพารามิเตอร์ที่สร้างความรำคาญ แต่มันเป็นเรื่องการทำงานมากขึ้น :)

— Adrien Renaud

คุณช่วยอธิบายรายละเอียดเพิ่มเติมเกี่ยวกับวิธีรับนิพจน์นั้นได้อย่างไร

(σ_{X} / X)^{2}

$(\sigma_X/X)^2$ ?

@fcop มันคือการขยายตัวของเทย์เลอร์ ลองดูที่en.wikipedia.org/wiki/Propagation_of_uncertainty

— Adrien Renaud

ฉันอยากจะแนะนำ bootstrapping the residual:

library(boot)

set.seed(42)
sims <- boot(residuals(fit), function(r, i, d = data.frame(x, y), yhat = fitted(fit)) {

  d$y <- yhat + r[i]

  fitb <- lm(y ~ x, data = d)

  -coef(fitb)[1]/coef(fitb)[2]
}, R = 1e4)
lines(quantile(sims$t, c(0.025, 0.975)), c(0, 0), col = "blue")

สิ่งที่คุณแสดงในกราฟคือจุดที่ขีด จำกัด ล่าง / บนของวงความเชื่อมั่นของการทำนายข้ามแกน ฉันไม่คิดว่าสิ่งเหล่านี้เป็นข้อจำกัดความเชื่อมั่นของการสกัดกั้น แต่อาจจะเป็นการประมาณคร่าวๆ

— โรลันด์
แหล่งที่มา

เยี่ยมมาก - สิ่งนี้ดูสมเหตุสมผลกว่าตัวอย่างจากความคิดเห็นของคุณ ขอบคุณอีกครั้ง.

— Marc ในกล่อง