ลำดับของตัวแปรอธิบายมีความสำคัญเมื่อคำนวณสัมประสิทธิ์การถดถอยหรือไม่

ตอนแรกฉันคิดว่าคำสั่งไม่สำคัญ แต่จากนั้นฉันอ่านเกี่ยวกับกระบวนการ orthogonalization กรัมสำหรับการคำนวณค่าสัมประสิทธิ์การถดถอยหลายและตอนนี้ฉันมีความคิดที่สอง

ตามกระบวนการ gram-schmidt ตัวแปรที่อธิบายต่อมาถูกจัดทำดัชนีในหมู่ตัวแปรอื่น ๆ เวกเตอร์ที่เหลือของมันที่เล็กลงนั้นเป็นเพราะเวกเตอร์ที่เหลือของตัวแปรก่อนหน้านั้นจะถูกลบออกจากมัน ดังนั้นค่าสัมประสิทธิ์การถดถอยของตัวแปรอธิบายก็มีขนาดเล็กลงเช่นกัน

หากนั่นเป็นจริงเวกเตอร์ที่เหลือของตัวแปรนั้นจะใหญ่กว่าถ้ามันถูกจัดทำดัชนีไว้ก่อนหน้านี้เนื่องจากเวกเตอร์ที่เหลือน้อยกว่าจะถูกลบออกจากมัน ซึ่งหมายความว่าสัมประสิทธิ์การถดถอยจะใหญ่ขึ้นเช่นกัน

ตกลงดังนั้นฉันถูกขอให้อธิบายคำถามของฉัน ดังนั้นฉันจึงโพสต์ภาพหน้าจอจากข้อความที่ทำให้ฉันสับสนตั้งแต่แรก ตกลงไปเลย

ความเข้าใจของฉันคือว่ามีอย่างน้อยสองตัวเลือกในการคำนวณค่าสัมประสิทธิ์การถดถอย ตัวเลือกแรกจะแสดง (3.6) ในภาพหน้าจอด้านล่าง

วิธีแรก

นี่คือตัวเลือกที่สอง (ฉันต้องใช้หลายภาพหน้าจอ)

วิธีที่สอง

ป้อนคำอธิบายรูปภาพที่นี่

ถ้าฉันไม่ได้อ่านอะไรผิดพลาด (ซึ่งเป็นไปได้อย่างแน่นอน) ดูเหมือนว่าคำสั่งจะมีความสำคัญในตัวเลือกที่สอง มันมีความสำคัญในตัวเลือกแรกหรือไม่? ทำไมหรือทำไมไม่? หรือกรอบอ้างอิงของฉันสับสนหรือเปล่าว่านี่ไม่ใช่คำถามที่ถูกต้อง? นอกจากนี้ทั้งหมดนี้เกี่ยวข้องกับ Type I Sum of Squares หรือไม่กับ Type II Sum of Squares

ขอบคุณล่วงหน้ามากฉันสับสนมาก!

regression multiple-regression regression-coefficients

— Ryan Zotti
แหล่งที่มา

คุณช่วยอธิบายกระบวนการคำนวณสัมประสิทธิ์ที่แน่นอนได้อย่างไร จากสิ่งที่ฉันรู้เกี่ยวกับ gram-schmidt ortogonalisation และวิธีการใช้กับปัญหาการถดถอยฉันสามารถสันนิษฐานได้ว่าโดยใช้ขั้นตอน gs ที่คุณจะได้รับจากการถดถอย แต่ไม่ใช่สัมประสิทธิ์ดั้งเดิม โปรดทราบว่าการพอดีคือการฉายภาพไปยังพื้นที่ของคอลัมน์ หากคุณตั้งฉากคอลัมน์คุณจะได้ฐานมุมฉากของพื้นที่ซึ่งครอบคลุมคอลัมน์ดังนั้นความพอดีจะเป็นการรวมกันเชิงเส้นของฐานนี้และการรวมเชิงเส้นของคอลัมน์ดั้งเดิม มันจะเหมือนกัน ...

— mpiktas

แต่ค่าสัมประสิทธิ์จะแตกต่างกัน นี่เป็นเรื่องปกติอย่างสมบูรณ์

— mpiktas

ฉันเดาว่าฉันสับสนเพราะฉันคิดว่าฉันอ่านใน "องค์ประกอบของการเรียนรู้ทางสถิติ" ว่าค่าสัมประสิทธิ์ที่คำนวณโดยใช้กระบวนการแกรม - ชมิดท์จะเหมือนกับที่คำนวณโดยใช้กระบวนการดั้งเดิม: B = (X'X) ^ - 1 X'y

— Ryan Zotti

นี่คือข้อความที่ตัดตอนมาจากหนังสือที่พูดเกี่ยวกับขั้นตอน: "เราสามารถดูการประเมิน [ของสัมประสิทธิ์] เป็นผลมาจากการใช้งานสองอย่างของการถดถอยอย่างง่ายขั้นตอนคือ: 1. ถดถอย x ต่อ 1 เพื่อผลิตส่วนที่เหลือ z = x - x ̄1; 2. ถอยหลัง y บน z ที่เหลือเพื่อให้สัมประสิทธิ์ βˆ1 สูตรนี้สรุปให้กับกรณีของอินพุต p ดังที่แสดงในอัลกอริทึม 3.1 โปรดทราบว่าอินพุต z0,...., zj − 1 ในขั้นตอน 2 เป็นมุมฉากดังนั้นค่าสัมประสิทธิ์การถดถอยอย่างง่ายที่คำนวณได้ก็มีค่าสัมประสิทธิ์การถดถอยหลายเท่า "

— Ryan Zotti

มันยุ่งเล็กน้อยเมื่อฉันคัดลอกและวางลงในส่วนความคิดเห็นที่นี่ดังนั้นอาจจะเป็นการดีที่สุดที่จะดูที่แหล่งโดยตรง มันเป็นหน้า 53-54 ของ "องค์ประกอบของการเรียนรู้ทางสถิติ" ซึ่งสามารถใช้ได้อย่างอิสระสำหรับการดาวน์โหลดบนเว็บไซต์ของ Stanford: www-stat.stanford.edu/~tibs/ElemStatLearn

— Ryan Zotti

คำตอบ:

ฉันเชื่อว่าความสับสนอาจเกิดขึ้นจากสิ่งที่เรียบง่ายกว่าเล็กน้อย แต่ก็ให้โอกาสที่ดีในการทบทวนเรื่องที่เกี่ยวข้อง

$\newcommand{\bhat}{\hat{\beta}}\newcommand{\m}{\mathbf}\newcommand{\z}{\m{z}}\bhat_i$ แต่ที่เฉพาะที่ผ่านมา , สามารถคำนวณทางนี้!

{\hat{β}}_{i} \overset{?}{=} \frac{⟨ y, z_{i} ⟩}{‖ z_{i} ‖^{2}},

$\bhat_i \stackrel{?}{=} \frac{\langle \m y, \z_i \rangle}{\|\z_i\|^2}\>,$

{\hat{β}}_{p}

$\bhat_p$

โครงการ orthogonalization ที่ต่อเนื่อง (รูปแบบของ Gram - Schmidt orthogonalization) คือ (เกือบ) ผลิตเมทริกซ์และคู่หนึ่งซึ่ง $\newcommand{\Z}{\m{Z}}\newcommand{\G}{\m{G}}\Z$ $\G$ ที่คือมีคอลัมน์ orthonormal และคือสามเหลี่ยมบน ฉันพูดว่า "เกือบ" เนื่องจากอัลกอริทึมเป็นเพียงการระบุถึงบรรทัดฐานของคอลัมน์ซึ่งโดยทั่วไปจะไม่เป็นหนึ่ง แต่สามารถทำให้หน่วยบรรทัดฐานโดยการทำให้คอลัมน์เป็นปกติ .

X = Z G,

$\m X = \Z \G \>,$

Z

$\Z$

n \times p

$n \times p$

G = (g_{i j})

$\G = (g_{ij})$

p \times p

$p \times p$

Z

$\Z$

G

$\G$

สมมติว่าแน่นอนว่ามียศที่ไม่ซ้ำกันแก้ปัญหาน้อยสแควร์เป็นเวกเตอร์ที่แก้ระบบ $\m X \in \mathbb R^{n \times p}$ $p \leq n$ $\bhat$

X^{T} X \hat{β} = X^{T} y .

$\m X^T \m X \bhat = \m X^T \m y \>.$

แทนและการใช้ (โดยการก่อสร้าง) เราได้รับ $\m X = \Z \G$ $\Z^T \Z = \m I$

G^{T} G \hat{β} = G^{T} Z^{T} y,

$\G^T \G \bhat = \G^T \Z^T \m y \> ,$

G \hat{β} = Z^{T} y .

$\G \bhat = \Z^T \m y \>.$

$\G$ $g_{pp}$

g_{p p} {\hat{β}}_{p} = ⟨ y, z_{p} ⟩ .

$g_{pp} \bhat_p = \langle \m y, \z_p \rangle \>.$

g_{p p} = ‖ z_{p} ‖

$g_{pp} = \|\z_p\|$

z_{i}

$\z_i$

$\bhat_i$ $(p-1)$

g_{p - 1, p - 1} {\hat{β}}_{p - 1} + g_{p - 1, p} {\hat{β}}_{p} = ⟨ z_{p - 1}, y ⟩,

$g_{p-1,p-1} \bhat_{p-1} + g_{p-1,p} \bhat_p = \langle \m z_{p-1}, \m y \rangle \>,$

{\hat{β}}_{p - 1} = g_{p - 1, p - 1}^{- 1} ⟨ z_{p - 1}, y ⟩ - g_{p - 1, p - 1}^{- 1} g_{p - 1, p} {\hat{β}}_{p} .

$\bhat_{p-1} = g_{p-1,p-1}^{-1} \langle \m z_{p-1}, \m y \rangle \> - g_{p-1,p-1}^{-1} g_{p-1,p} \bhat_p .$

g_{i i}

$g_{ii}$

{\hat{β}}_{i}

$\bhat_i$

$\m X$ $\m X^{(r)}$ $r$ $\bhat_r$ $\bhat_r$ $\m y$ $\m x_r$

การย่อยสลาย QR ทั่วไป

$\m X$

X = Q R,

$\m X = \m Q \m R \>,$

X

$\m X$

\hat{β}

$\bhat$

R^{T} R \hat{β} = R^{T} Q^{T} y,

$\m R^T \m R \bhat = \m R^T \m Q^T \m y \>,$

R \hat{β} = Q^{T} y .

$\m R \bhat = \m Q^T \m y \> .$

R

$\m R$

{\hat{β}}_{p}

$\bhat_p$

$\m X$ $\hat{\m y}$

— พระราชาคณะ
แหล่งที่มา

$\beta_j$ $\beta_p$

แบบฝึกหัด 3.4 ใน ESL

$X$

วิธีการแก้

$X$

X = Z Γ,

$X = Z \Gamma,$

Z

$Z$

z_{j}

$z_j$

Γ

$\Gamma$

γ_{i j} = \frac{⟨ z_{i}, x_{j} ⟩}{‖ z_{i} ‖^{2}}

$\gamma_{ij} = \frac{\langle z_i, x_j \rangle}{\| z_i \|^2}$

x_{j} = z_{j} + \sum_{k = 0}^{j - 1} γ_{k j} z_{k} .

$x_j = z_j + \sum_{k=0}^{j-1} \gamma_{kj} z_k.$

$QR$ $X = QR$ $Q$ $R$ $Q = Z D^{-1}$ $R = D\Gamma$ $D$ $D_{jj} = \| z_j \|$

$\hat \beta$

(X^{T} X) \hat{β} = X^{T} y .

$(X^T X) \hat \beta = X^T y.$

Q R

$QR$

\begin{aligned} (R^{T} Q^{T}) (Q R) \hat{β} & = R^{T} Q^{T} y \\ R \hat{β} & = Q^{T} y \end{aligned}

$\begin{align*} (R^T Q^T) (QR) \hat \beta &= R^T Q^T y \\ R \hat \beta &= Q^T y \end{align*}$

$R$

\begin{aligned} R_{p p} {\hat{β}}_{p} & = ⟨ q_{p}, y ⟩ \\ ‖ z_{p} ‖ {\hat{β}}_{p} & = ‖ z_{p} ‖^{- 1} ⟨ z_{p}, y ⟩ \\ {\hat{β}}_{p} & = \frac{⟨ z_{p}, y ⟩}{‖ z_{p} ‖^{2}} \end{aligned}

$\begin{align*} R_{pp} \hat \beta_p &= \langle q_p, y \rangle \\ \| z_p \| \hat \beta_p &= \| z_p \|^{-1} \langle z_p, y \rangle \\ \hat \beta_p &= \frac{\langle z_p, y \rangle}{\| z_p \|^2} \end{align*}$

{\hat{β}}_{j}

$\hat \beta_j$

{\hat{β}}_{p - 1}

$\hat \beta_{p-1}$

\begin{aligned} R_{p - 1, p - 1} {\hat{β}}_{p - 1} + R_{p - 1, p} {\hat{β}}_{p} & = ⟨ q_{p - 1}, y ⟩ \\ ‖ z_{p - 1} ‖ {\hat{β}}_{p - 1} + ‖ z_{p - 1} ‖ γ_{p - 1, p} {\hat{β}}_{p} & = ‖ z_{p - 1} ‖^{- 1} ⟨ z_{p - 1}, y ⟩ \end{aligned}

$\begin{align*} R_{p-1, p-1} \hat \beta_{p-1} + R_{p-1,p} \hat \beta_p &= \langle q_{p-1}, y \rangle \\ \| z_{p-1} \| \hat \beta_{p-1} + \| z_{p-1} \| \gamma_{p-1,p} \hat \beta_p &= \| z_{p-1} \|^{-1} \langle z_{p-1}, y \rangle \end{align*}$

{\hat{β}}_{p - 1}

$\hat \beta_{p-1}$

β_{j}

$\beta_j$

— Andrew Tulloch
แหล่งที่มา

ทำไมไม่ลองและเปรียบเทียบล่ะ พอดีกับชุดของสัมประสิทธิ์การถดถอยจากนั้นเปลี่ยนคำสั่งและพอดีพวกเขาอีกครั้งและดูว่าพวกเขาแตกต่างกัน

@mpiktas ชี้ให้เห็นว่าไม่ชัดเจนว่าคุณกำลังทำอะไรอยู่

$B$ $(x'x)B=(x'y)$ $(x'x)$

$x_1$ $x_2$ $x_1$ $y$ $x_2$ $y$ $x_1$ $x_2$ $y$ $x_1$ $x_1$ $x_2$

— เกร็กสโนว์
แหล่งที่มา

ผมคิดว่าย่อหน้าสุดท้ายของคุณอาจจะเป็นที่อยู่ใกล้กับแหล่งที่มาของความสับสนของฉัน - GS ไม่ทำให้เรื่องการสั่งซื้อ นั่นคือสิ่งที่ฉันคิดว่า. ฉันยังสับสนอยู่บ้างเพราะหนังสือที่ฉันกำลังอ่านเรียกว่า: "องค์ประกอบของการเรียนรู้ทางสถิติ" (สิ่งพิมพ์ของ Stanford ที่ให้บริการฟรี: www-stat.stanford.edu/~tibs/ElemStatLearn ) ดูเหมือนว่า แนะนำว่า GS นั้นเทียบเท่ากับวิธีมาตรฐานสำหรับการคำนวณค่าสัมประสิทธิ์; นั่นคือ B = (X'X) ^ - 1 X'y

— Ryan Zotti

และส่วนหนึ่งของสิ่งที่คุณพูดทำให้ฉันสับสนเล็กน้อย: "ฉันเห็นการใช้ GS เพื่อแก้ปัญหา B ในสมการกำลังสองน้อยที่สุด (x′x) ^ - 1 B = (x′y) แต่แล้วคุณจะทำ GS บนเมทริกซ์ (x′x) ไม่ใช่ข้อมูลดั้งเดิม " ฉันคิดว่าเมทริกซ์ x'x มีข้อมูลต้นฉบับอยู่หรือไม่ ... อย่างน้อยนั่นคือสิ่งที่องค์ประกอบของการเรียนรู้ทางสถิติกล่าว มันบอกว่า x ใน x'x คือ N โดย p เมทริกซ์โดยที่ N คือจำนวนอินพุต (การสังเกต) และ p คือจำนวนมิติ

— Ryan Zotti

หาก GS ไม่ใช่ขั้นตอนมาตรฐานสำหรับการคำนวณค่าสัมประสิทธิ์ดังนั้นการปรับความสัมพันธ์โดยทั่วไปจะปฏิบัติอย่างไร ความซ้ำซ้อน (collinearity) เป็นวิธีการกระจายในหมู่ของ x? การผสมกันแบบดั้งเดิมไม่ทำให้ค่าสัมประสิทธิ์ไม่เสถียรหรือไม่? ถ้าอย่างนั้นจะไม่แนะนำว่ากระบวนการ GS เป็นกระบวนการมาตรฐานหรือไม่ เนื่องจากกระบวนการ GS ทำให้ค่าสัมประสิทธิ์ไม่เสถียร - เวกเตอร์ที่เหลือขนาดเล็กทำให้ค่าสัมประสิทธิ์ไม่เสถียร

— Ryan Zotti

อย่างน้อยนั่นคือสิ่งที่ข้อความกล่าวว่า "หาก xp มีความสัมพันธ์สูงกับบางส่วนของ xk ตัวอื่นเวกเตอร์ที่เหลือ zp จะใกล้เคียงกับศูนย์และจาก (3.28) ค่าสัมประสิทธิ์ βˆp จะไม่เสถียรมาก"

— Ryan Zotti

โปรดทราบว่า GS เป็นรูปแบบของการย่อยสลาย QR

— พระคาร์ดินัล