มีวิธีใช้เมทริกซ์ความแปรปรวนร่วมเพื่อค้นหาค่าสัมประสิทธิ์สำหรับการถดถอยหลายครั้งหรือไม่?

สำหรับการถดถอยเชิงเส้นอย่างง่ายสัมประสิทธิ์การถดถอยสามารถคำนวณได้โดยตรงจากความแปรปรวน - ความแปรปรวนร่วมเมทริกซ์โดย โดยที่คือดัชนีตัวแปรตามและคือดัชนีของตัวแปรอธิบาย $C$

\frac{C_{d, อี}}{C_{อี, อี}}

$C_{d, e}\over C_{e,e}$

d

$d$

e

$e$

หากมีเพียงเมทริกซ์ความแปรปรวนร่วมเป็นไปได้หรือไม่ที่จะคำนวณค่าสัมประสิทธิ์สำหรับแบบจำลองที่มีตัวแปรอธิบายหลายค่า?

ETA: สำหรับตัวแปรอธิบายสองตัวปรากฏว่า และ analogously สำหรับ\ฉันไม่ได้เห็นวิธีการขยายตัวแปรนี้เป็นตัวแปรสามตัวขึ้นไปทันที

β_{1} = \frac{C โอ โวลต์ (Y, x_{1}) โวลต์ a R (x_{2}) - C โอ โวลต์ (Y, x_{2}) C โอ โวลต์ (x_{1}, x_{2})}{โวลต์ a R (x_{1}) โวลต์ a R (x_{2}) - C โอ โวลต์ (x_{1}, x_{2})^{2}}

$\beta_1 = \frac{Cov(y,x_1)var(x_2) - Cov(y,x_2)Cov(x_1,x_2)}{var(x_1)var(x_2) - Cov(x_1,x_2)^2}$

β_{2}

$\beta_2$

regression regression-coefficients covariance-matrix

— เดวิด
แหล่งที่มา

ค่าสัมประสิทธิ์เวกเตอร์

เป็นวิธีการแก้

การเปลี่ยนแปลงเชิงพีชคณิตบางอย่างเผยให้เห็นว่านี่เป็นความจริงเช่นเดียวกับสูตรที่คุณให้ในกรณี 2 สัมประสิทธิ์ ออกมาวางไว้เป็นอย่างดีที่นี่: stat.purdue.edu/~jennings/stat514/stat512notes/topic3.pdf ไม่แน่ใจว่าจะช่วยได้ทั้งหมด แต่ฉันอยากเดาว่านี่เป็นไปไม่ได้โดยทั่วไปจากสูตรนั้น

\hat{β}

$\hat{\beta}$

X^{'} Y = (X^{'} X)^{- 1} β

$X'Y=(X'X)^{-1}\beta$

— shadowtalker

@David คุณคิดวิธีขยายให้เป็นตัวแปรอธิบายจำนวน (เกิน 2) หรือไม่? ฉันต้องการการแสดงออก

— Jane Wayne

@JaneWayne ฉันไม่แน่ใจว่าฉันเข้าใจคำถามของคุณ: whuber ให้วิธีแก้ปัญหาด้านล่างในรูปแบบเมทริกซ์,

C^{- 1} (Cov (X_{i}, y))^{'}

$C^{-1}(\text{Cov}(X_i, y))^\prime$

— David

ใช่ฉันศึกษามันและเขาพูดถูก

— Jane Wayne

ใช่เมทริกซ์ความแปรปรวนร่วมของตัวแปรทั้งหมด - คำอธิบายและการตอบกลับ - มีข้อมูลที่จำเป็นในการค้นหาค่าสัมประสิทธิ์ทั้งหมดโดยมีคำว่าการสกัดกั้น (ค่าคงที่) รวมอยู่ในแบบจำลอง (แม้ว่าพันธมิตรจะไม่ให้ข้อมูลเกี่ยวกับคำที่คงที่ แต่ก็สามารถพบได้จากวิธีการของข้อมูล)

การวิเคราะห์

ขอให้ข้อมูลสำหรับการอธิบายตัวแปรได้รับการจัดเป็นเวกเตอร์คอลัมน์มิติและตัวแปรการตอบสนองเป็นคอลัมน์เวกเตอร์ , ถือว่าเป็นสำนึกของตัวแปรสุ่มYสามัญไม่น้อยกว่าประมาณการสี่เหลี่ยมของสัมประสิทธิ์ในรูปแบบ $n$ $x_1, x_2, \ldots, x_p$ $y$ $Y$ $\hat\beta$

E (Y) = α + X β

$\mathbb{E}(Y) = \alpha + X\beta$

ได้มาจากการประกอบคอลัมน์เวกเตอร์ให้เป็นอาร์เรย์และแก้ระบบสมการเชิงเส้น $p+1$ $X_0 = (1, 1, \ldots, 1)^\prime, X_1, \ldots, X_p$ $n \times p+1$ $X$

X^{'} X \hat{β} = X^{'} y .

$X^\prime X \hat\beta = X^\prime y.$

มันเทียบเท่ากับระบบ

\frac{1}{n} X^{'} X \hat{β} = \frac{1}{n} X^{'} y .

$\frac{1}{n}X^\prime X \hat\beta = \frac{1}{n}X^\prime y.$

การกำจัดแบบเกาส์เซียนจะแก้ปัญหาระบบนี้ได้ มันดำเนินการโดยติดกับเมทริกซ์ $p+1\times p+1$ และ-vector $\frac{1}{n}X^\prime X$ $p+1$ เป็นอาร์เรย์และแถวลด $\frac{1}{n}X^\prime y$ $p+1 \times p+2$ $A$

ขั้นตอนแรกจะตรวจสอบ1การหาค่านี้ไม่ใช่ศูนย์จะดำเนินการลบทวีคูณที่เหมาะสมของแถวแรกของจากแถวที่เหลือเพื่อทำให้รายการที่เหลืออยู่ในคอลัมน์แรกเป็นศูนย์ ทวีคูณเหล่านี้จะเป็น $\frac{1}{n}(X^\prime X)_{11} = \frac{1}{n}X_0^\prime X_0 = 1$ $A$ และจำนวนลบออกจากรายการจะเท่ากับเจนี่เป็นเพียงสูตรสำหรับความแปรปรวนของและเจยิ่งกว่านั้นจำนวนที่เหลือในตำแหน่งเท่ากับ $\frac{1}{n}X_0^\prime X_i = \overline X_i$ $A_{i+1,j+1} = X_i^\prime X_j$ $\overline X_i \overline X_j$ $X_i$ $X_j$ $i+1, p+2$ แปรปรวนของกับY $\frac{1}{n}X_i^\prime y - \overline{X_i}\overline{y}$ $X_i$ $y$

ดังนั้นหลังจากขั้นตอนแรกของการกำจัดแบบเกาส์เซียนแล้วระบบจะลดลงไปสู่การแก้ปัญหา

C \hat{β} = (Cov (X_{i}, y))^{'}

$C\hat{\beta} = (\text{Cov}(X_i, y))^\prime$

และชัดเจน - เนื่องจากสัมประสิทธิ์ทั้งหมดเป็นความแปรปรวนร่วม - วิธีการแก้ปัญหานั้นสามารถพบได้จากเมทริกซ์ความแปรปรวนร่วมของตัวแปรทั้งหมด

(เมื่อย้อนกลับได้คำตอบสามารถเขียนสูตรที่ให้ในคำถามเป็นกรณีพิเศษของสิ่งนี้เมื่อและการเขียนสูตรดังกล่าวอย่างชัดเจนจะ มีความซับซ้อนมากขึ้นเรื่อย ๆ เมื่อโตขึ้นนอกจากนี้พวกมันด้อยกว่าสำหรับการคำนวณเชิงตัวเลขซึ่งดำเนินการได้ดีที่สุดโดยการแก้ระบบสมการแทนที่จะแก้ไขเมทริกซ์ ) $C$ $C^{-1}(\text{Cov}(X_i, y))^\prime$ $p=1$ $p=2$ $p$ $C$

ระยะอย่างต่อเนื่องจะมีความแตกต่างระหว่างค่าเฉลี่ยของ β $y$ $X\hat{\beta}$

ตัวอย่าง

เพื่อแสดงให้เห็นว่าRรหัสต่อไปนี้สร้างข้อมูลบางส่วนคำนวณความแปรปรวนร่วมของพวกเขาและได้รับการประมาณค่าสัมประสิทธิ์กำลังสองน้อยที่สุดจากข้อมูลนั้น lmก็จะเปรียบเทียบพวกเขาประมาณการที่ได้รับจากน้อยสี่เหลี่ยม-ประมาณการ

#
# 1. Generate some data.
#
n <- 10        # Data set size
p <- 2         # Number of regressors
set.seed(17)
z <- matrix(rnorm(n*(p+1)), nrow=n, dimnames=list(NULL, paste0("x", 1:(p+1))))
y <- z[, p+1]
x <- z[, -(p+1), drop=FALSE]; 
#
# 2. Find the OLS coefficients from the covariances only.
#
a <- cov(x)
b <- cov(x,y)
beta.hat <- solve(a, b)[, 1]  # Coefficients from the covariance matrix
#
# 2a. Find the intercept from the means and coefficients.
#
y.bar <- mean(y)
x.bar <- colMeans(x)
intercept <- y.bar - x.bar %*% beta.hat

ผลลัพธ์แสดงข้อตกลงระหว่างสองวิธี:

(rbind(`From covariances` = c(`(Intercept)`=intercept, beta.hat),
       `From data via OLS` = coef(lm(y ~ x))))

                  (Intercept)        x1        x2
From covariances     0.946155 -0.424551 -1.006675
From data via OLS    0.946155 -0.424551 -1.006675

— whuber
แหล่งที่มา

X

$X$ cov(z)

คำตอบเช่นนี้ยกระดับการตรวจสอบข้ามนี้

— jpmuc

@whuber ในตัวอย่างของคุณคุณคำนวณตัดจากyและและx และเป็นส่วนหนึ่งของข้อมูลเดิม เป็นไปได้หรือไม่ที่จะได้รับการสกัดกั้นจากเมทริกซ์ความแปรปรวนร่วมและมีความหมายเพียงอย่างเดียว? คุณช่วยระบุสัญลักษณ์ได้ไหม? beta.hatyx

— Jane Wayne

\bar{X}

$\bar X$

\hat{β}

$\hat \beta$

\bar{X} \hat{β} = \bar{X \hat{β}} .

$\overline X \hat\beta = \overline{X \hat\beta}.$

มีประโยชน์มาก +1 สำหรับโค้ด

— Michael