การถดถอยเชิงเส้นเมื่อคุณรู้จักไม่ใช่โดยตรง

สมมติว่า Y $X\beta =Y$

เราไม่ทราบว่าตรงเพียงความสัมพันธ์กับแต่ละทำนาย Y $Y$ $X^\mathrm{t}Y$

วิธีแก้ปัญหาสแควร์สน้อย (OLS) สามัญคือและไม่มีปัญหา $\beta=(X^\mathrm{t} X)^{-1} X^\mathrm{t}Y$

แต่สมมติว่าอยู่ใกล้เอกพจน์ (multicollinearity) และคุณต้องประเมินพารามิเตอร์สันเขาที่ดีที่สุด ทุกวิธีที่ดูเหมือนว่าจะต้องมีค่าที่แน่นอนของY $X^\mathrm{t}X$ $Y$

มีวิธีการอื่นเมื่อมีเพียงเป็นที่รู้จักกัน? $X^\mathrm{t}Y$

regression multicollinearity

— เฉือน
แหล่งที่มา

คำถามที่น่าสนใจ บางทีอัลกอริทึม EM บางอย่างอาจใช้งานได้ ...

— ความน่าจะเป็นทาง

ฉันไม่เข้าใจคุณไม่สามารถใช้การตรวจสอบข้ามเพื่อประเมินค่าพารามิเตอร์สันที่ดีที่สุดได้หรือไม่?

— Pardis

@Pardis: ไม่มีฟังก์ชั่นการสูญเสียในคำถามดังนั้นเราจึงไม่ทราบว่าวิธีการที่เหมาะสมที่สุด คุณเห็นปัญหาที่เราพบหรือไม่ถ้าฟังก์ชั่นการสูญเสียคือ MSE?

— พระคาร์ดินัล

@ JohnSmith: คุณกำลังพูดถึงจุดที่ฉันขับรถไป ไม่มีข้อบ่งชี้ว่าจะวัด "optimality" ได้อย่างไร สิ่งที่คุณกำลังทำอย่างมีประสิทธิภาพคือการแนะนำตัวชี้วัดที่แตกต่างกัน (ฟังก์ชันระยะทาง) เพื่อวัด "คุณภาพ" ของการทำนายหรือแบบ เราต้องการรายละเอียดเพิ่มเติมจาก OP เพื่อให้ได้ไกลมากฉันสงสัย

— พระคาร์ดินัล

@Pardis: การหาค่าประมาณนั้นไม่ใช่ปัญหาดังที่คุณทราบ :) อย่างไรก็ตามหากคุณตัดสินใจทำ crossvalidation คุณจะประมาณค่า MSE ที่ไม่อยู่ในกลุ่มตัวอย่างเช่นในครึ่งหน้าซ้ายของแต่ละรอบซ้ำได้อย่างไร :)

— สำคัญ

คำตอบ:

นี่เป็นคำถามที่น่าสนใจ น่าแปลกที่มันเป็นไปได้ที่จะทำอะไรบางอย่างภายใต้สมมติฐานบางอย่าง แต่มีการสูญเสียข้อมูลเกี่ยวกับความแปรปรวนที่เหลือ มันขึ้นอยู่กับ $X$ ว่าหายไปมากแค่ไหน

ลองพิจารณาดังต่อไปนี้ค่าการสลายตัวเอกพจน์ของกับเมทริกซ์ที่มีคอลัมน์ orthonormal,เส้นทแยงมุมเมทริกซ์ที่มีค่าเอกพจน์บวกในแนวทแยงมุมและ aเมทริกซ์มุมฉาก จากนั้นคอลัมน์ของสร้างพื้นฐาน orthonormal สำหรับพื้นที่คอลัมน์ของและ เป็นเวกเตอร์ของสัมประสิทธิ์สำหรับการประมาณค่าบนพื้นที่คอลัมน์นี้เมื่อขยายใน $\newcommand{\t}{^\mathrm{t}}X = UDV\t$ $X$ $U$ $n \times p$ $D$ $d_1 \geq d_2 \geq ... \geq d_p > 0$ $V$ $p \times p$ $U$ $X$

Z = U^{t} Y = D^{- 1} V^{t} V D U^{t} Y = D^{- 1} V^{t} X^{t} Y

$Z = U\t Y = D^{-1} V\t V D U\t Y = D^{-1} V\t X\t Y$

Y

$Y$

U

$U$ พื้นฐาน column จากสูตรที่เราเห็นว่าคำนวณจากความรู้ของและเท่านั้น

Z

$Z$

X

$X$

X^{t} Y

$X\t Y$

เนื่องจากการคาดการณ์การถดถอยสันสำหรับสามารถคำนวณได้เป็น เราเห็นว่าสัมประสิทธิ์สำหรับตัวทำนายการถดถอยของสันเขาในรูปแบบ column คือ ตอนนี้เราให้สมมติฐานว่าการกระจายมีหมายถึงมิติและความแปรปรวนเมทริกซ์I_n แล้วมีมิติเฉลี่ยและความแปรปรวนเมทริกซ์I_p ถ้าเราจินตนาการถึงความเป็นอิสระ $\lambda$

\hat{Y} = X (X^{t} X + λ I)^{- 1} X^{t} Y = U D (D^{2} + λ I)^{- 1} D U^{t} Y = U D (D^{2} + λ I)^{- 1} D Z

$\hat{Y} = X(X\t X + \lambda I)^{-1} X\t Y = U D(D^2 + \lambda I)^{-1} D U\t Y = U D(D^2 + \lambda I)^{-1} D Z$

U

$U$

\hat{Z} = D (D^{2} + λ I)^{- 1} D Z .

$\hat{Z} = D (D^2 + \lambda I)^{-1} D Z.$

Y

$Y$

n

$n$

ξ

$\xi$

σ^{2} I_{n}

$\sigma^2 I_n$

Z

$Z$

p

$p$

U^{t} ξ

$U\t \xi$

σ^{2} I_{p}

$\sigma^2 I_p$

Y^{New}

$Y^{\text{New}}$ มีการแจกแจงแบบเดียวกับ (ทุกอย่างที่มีเงื่อนไขบนจากที่นี่)สอดคล้องกันมีเหมือนกัน การกระจายเป็นและเป็นอิสระและ นี่คือความเท่าเทียมที่สามตามมาด้วย orthogonality ของและและที่สี่จากความจริงที่ว่า

Y

$Y$

X

$X$

Z^{New} = U^{t} Y^{New}

$Z^{\text{New}} = U\t Y^{\text{New}}$

Z

$Z$

\begin{array}{rcl} E | | Y^{New} - \hat{Y} | |^{2} & = & E | | Y^{New} - U Z^{New} + U Z^{New} - U \hat{Z} | |^{2} \\ = & E | | Y^{New} - U Z^{New} | |^{2} + E | | U Z^{New} - U \hat{Z} | |^{2} \\ = & {Err}_{0} + E | | Z^{New} - \hat{Z} | |^{2} . \end{array}

$\begin{eqnarray*} E ||Y^{\text{New}} - \hat{Y}||^2 &= & E || Y^{\text{New}} - U Z^{\text{New}} + U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & E || Y^{\text{New}} - U Z^{\text{New}}||^2 + E||U Z^{\text{New}} - U \hat{Z} ||^2 \\ & = & \text{Err}_0 + E||Z^{\text{New}} - \hat{Z} ||^2. \end{eqnarray*}$

Y^{New} - U Z^{New}

$Y^{\text{New}} - U Z^{\text{New}}$

U Z^{New} - U \hat{Z}

$U Z^{\text{New}} - U \hat{Z}$

U

$U$ มีคอลัมน์ปกติ ปริมาณเป็นข้อผิดพลาดที่เราไม่สามารถได้รับข้อมูลใด ๆ เกี่ยวกับ แต่มันไม่ได้ขึ้นอยู่อย่างใดอย่างหนึ่ง เพื่อลดข้อผิดพลาดการทำนายที่ด้านซ้ายมือเราต้องลดคำที่สองทางด้านขวามือให้น้อยที่สุด

{Err}_{0}

$\text{Err}_0$

λ

$\lambda$

โดยการคำนวณมาตรฐาน นี่เป็นที่รู้จักกันองศาที่มีประสิทธิภาพของเสรีภาพสำหรับถดถอยสันกับพารามิเตอร์\ตัวประมาณค่าที่เป็นกลางของคือ

\begin{array}{rcl} E | | Z^{New} - \hat{Z} | |^{2} & = & E | | Z - \hat{Z} | |^{2} + 2 \sum_{i = 1}^{p} cov (Z_{i}, {\hat{Z}}_{i}) \\ = & E | | Z - \hat{Z} | |^{2} + 2 σ^{2} \underset{df (λ)}{\underset{⏟}{\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ}}} . \end{array}

$\begin{eqnarray*} E||Z^{\text{New}} - \hat{Z} ||^2 &= & E||Z - \hat{Z}||^2 + 2 \sum_{i=1}^p \text{cov}(Z_i, \hat{Z}_i) \\ & = & E||Z - \hat{Z}||^2 + 2 \sigma^2 \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}}_{\text{df}(\lambda)}. \end{eqnarray*}$

df (λ)

$\text{df}(\lambda)$

λ

$\lambda$

E | | Z - \hat{Z} | |^{2}

$E||Z - \hat{Z}||^2$

err (λ) = | | Z - \hat{Z} | |^{2} = \sum_{i = 1}^{p} {(1 - \frac{d_{i}^{2}}{d_{i}^{2} + λ})}^{2} Z_{i}^{2} .

$\text{err}(\lambda) = ||Z - \hat{Z}||^2 = \sum_{i=1}^p \left(1 - \frac{d_i^2}{d_i^2 + \lambda}\right)^2 Z_i^2.$

เรารวมสิ่งนี้เข้ากับตัวประมาณ (ไม่เอนเอียง) ของระบุว่าเรารู้ซึ่งเราต้องลดให้น้อยที่สุด เห็นได้ชัดว่านี้สามารถทำได้ถ้าเรารู้หรือมีการคาดเดาที่เหมาะสมหรือประมาณการของ 2

err (λ) + 2 σ^{2} df (λ)

$\text{err}(\lambda) + 2 \sigma^2 \text{df}(\lambda)$

E | | Z^{New} - \hat{Z} | |^{2}

$E||Z^{\text{New}} - \hat{Z} ||^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

σ^{2}

$\sigma^2$

การประมาณอาจเป็นปัญหาได้มากกว่า เป็นไปได้ที่จะแสดงว่า ดังนั้นหากมีความเป็นไปได้ที่จะเลือกน้อยมากจนไม่สามารถให้ความลำเอียงยกกำลังสองเราสามารถลองประมาณเป็น ถ้างานนี้จะขึ้นอยู่มากในX $\sigma^2$

E | | Z - \hat{Z} | |^{2} = σ^{2} (p - \underset{d (λ)}{\underset{⏟}{\sum_{i = 1}^{p} \frac{d_{i}^{2}}{d_{i}^{2} + λ} (2 - \frac{d_{i}^{2}}{d_{i}^{2} + λ})}}) + bias (λ)^{2} .

$E||Z - \hat{Z}||^2 = \sigma^2\left(p - \underbrace{\sum_{i=1}^p \frac{d_i^2}{d_i^2 + \lambda}\left(2 - \frac{d_i^2}{d_i^2 + \lambda}\right)}_{\text{d}(\lambda)}\right) + \text{bias}(\lambda)^2.$

λ

$\lambda$

σ^{2}

$\sigma^2$

{\hat{σ}}^{2} = \frac{1}{p - d (λ)} | | Z - \hat{Z} | |^{2} .

$\hat{\sigma}^2 = \frac{1}{p-\text{d}(\lambda)} ||Z - \hat{Z}||^2.$

X

$X$

สำหรับรายละเอียดบางอย่างดูหัวข้อ 3.4.1 และบทที่ 7 ในการสอนภาษาอังกฤษหรือบางทีอาจจะดียิ่งขึ้นในบทที่ 2 GAM

— NRH
แหล่งที่มา

กำหนดตามคำถามและสำหรับพารามิเตอร์ต่างๆและตั้งค่าของตัวอย่างฉลาก จากนั้นคำนวณได้เนื่องจากไม่ทราบเมื่อขยายออกทั้งคู่ บรรทัดฐาน $β$ $β(λ,K)=[(X^TX)_{KK}+λI]^{−1}(X^TY)_K$ $\lambda$ $K$ $e(λ,K):=\|Xβ(λ,K)-Y\|^2-\|Xβ-Y\|^2$ $\|Y\|^2$

สิ่งนี้นำไปสู่อัลกอริทึมต่อไปนี้:

คำนวณในการเลือกบางส่วนของการฝึกอบรมชุดK $e(λ,K)$ $K$
พล็อตผลเป็นหน้าที่ของ\ $\lambda$
ยอมรับค่าของโดยที่เนื้อเรื่องแบน $\lambda$
ใช้เป็นค่าประมาณสุดท้าย $β^*=[X^TX+λI]^{−1}X^TY$

— อาร์โนลด์ Neumaier
แหล่งที่มา

ฉันคาดเดา "ที่พล็อตเป็นราบเรียบ" จะอยู่ที่ขนาดเล็กมากเช่นประมาณ 0 :)

λ

$\lambda$

— jbowman

@jbowman: สิ่งนี้จะเกิดขึ้นก็ต่อเมื่อปัญหาอยู่ในสภาพที่ดีและไม่ต้องการการทำให้เป็นมาตรฐานดังนั้นก็เพียงพอแล้ว ในกรณีที่ไม่มีเงื่อนไขการคาดการณ์ของรายการนอกจะไม่ดีเนื่องจากการใส่เกินและดังนั้นจึงมีขนาดใหญ่

λ = 0

$\lambda=0$

K

$K$

e (λ, K)

$e(\lambda,K)$

— Arnold Neumaier

@ArnoldNeumaier:ไม่สามารถคำนวณได้ เรารู้ความสัมพันธ์กับตัวทำนายแต่ละตัวเท่านั้น อยู่ใน "โดเมนทำนาย" ไม่ได้อยู่ใน "โดเมน Y" (ถ้า N เป็นขนาดตัวอย่างและ p จำนวนผู้ทำนายเรามีค่า p เท่านั้นหนึ่งค่าสำหรับแต่ละตัวทำนาย)

(X^{T} Y)_{K}

$(X^TY)_K$

(X^{T} Y)

$(X^TY)$

— Jag

@Jag: แล้วมีข้อมูลไม่เพียงพอสำหรับการเลือก\แต่ต้องได้รับการรวบรวมอย่างใด หากในระหว่างการรวบรวมคุณแบ่งพาร์ติชันตัวอย่างออกเป็นแบทช์และประกอบแยกต่างหากสำหรับแต่ละแบทช์หนึ่งสามารถสำรองหนึ่งแบทช์แต่ละชุดสำหรับการตรวจสอบข้าม

λ

$\lambda$

X^{T} Y

$X^TY$

k

$k$

X^{T} Y

$X^TY$

— Arnold Neumaier

@ArnoldNeumaier:ได้รับจากภายนอกไม่ได้รับการรวบรวม

X^{T} Y

$X^TY$

— Jag