11

ฉันไม่ได้มีคำจำกัดความที่เป็นทางการของสเกลความแตกต่างขนาด แต่นี่คือสิ่งที่รู้เบื้องต้นเกี่ยวกับสถิติการเรียนรู้พูดเกี่ยวกับเรื่องนี้ในหน้า 217:

มาตรฐานไม่น้อยกว่าค่าสัมประสิทธิ์สี่เหลี่ยม ... มีequivariant ขนาด : คูณโดยคงเพียงแค่นำไปสู่การปรับขนาดอย่างน้อยสี่เหลี่ยมประมาณการค่าสัมประสิทธิ์โดยปัจจัยของ C $X_j$ $c$ $1/c$

สำหรับความเรียบง่ายสมมติว่าโมเดลเชิงเส้นทั่วไป $\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilon$ โดยที่ $\mathbf{y} \in \mathbb{R}^N$ , $\mathbf{X}$ คือเมทริกซ์ $N \times (p+1)$ (โดยที่ $p+1 < N$ ) พร้อมกับรายการทั้งหมดใน $\mathbb{R}$ , $\boldsymbol\beta \in \mathbb{R}^{p+1}$ และ $\boldsymbol\epsilon$ เป็น $N$ เวกเตอร์มิติของตัวแปรสุ่มค่าจริงกับ $\mathbb{E}[\boldsymbol\epsilon] = \mathbf{0}_{N \times 1}$ 1}

จากการประมาณค่า OLS เรารู้ว่าถ้า $\mathbf{X}$ มีอันดับเต็ม (คอลัมน์)

{\hat{β}}_{X} = (X^{T} X)^{- 1} X^{T} y .

$\hat{\boldsymbol\beta}_{\mathbf{X}} = (\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}\text{.}$ สมมติว่าเราคูณคอลัมน์

X

$\mathbf{X}$ , พูด

x_{k}

$\mathbf{x}_k$ สำหรับ

k \in {1, 2, \dots, p + 1}

$k \in \{1, 2, \dots, p+1\}$ โดยคง

c \neq 0

$c \neq 0$ 0 นี่จะเท่ากับเมทริกซ์

X \underset{S}{\underset{⏟}{[\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ c \\ 1 \\ ⋱ \\ 1 \end{matrix}]}} = [\begin{matrix} x_{1} & x_{2} & \dots & c x_{k} & \dots & x_{p + 1} \end{matrix}] \equiv \tilde{X}

$\begin{equation} \mathbf{X}\underbrace{\begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & c\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}}_{\mathbf{S}} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots & c\mathbf{x}_{k} & \cdots & \mathbf{x}_{p+1}\end{bmatrix} \equiv \tilde{\mathbf{X}} \end{equation}$ ที่รายการอื่น ๆ ทั้งหมดของเมทริกซ์

S

$\mathbf{S}$ ข้างต้นเป็น

0

$0$ และ

c

$c$ อยู่ใน

k

$k$ รายการของเส้นทแยงมุมของ TH

S

$\mathbf{S}$ {S} จากนั้น

\tilde{X}

$\tilde{\mathbf X}$

\tilde{X}

$\tilde{\mathbf X}$ เป็นเมทริกซ์การออกแบบใหม่คือ

{\hat{β}}_{\tilde{X}} = {({\tilde{X}}^{T} \tilde{X})}^{- 1} {\tilde{X}}^{T} y .

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \left(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}\right)^{-1}\tilde{\mathbf{X}}^{T}\mathbf{y}\text{.}$ หลังจากทำงานเสร็จแล้วเราสามารถแสดงให้เห็นว่า

{\tilde{X}}^{T} \tilde{X} = [\begin{matrix} x_{1}^{T} x_{1} & x_{1}^{T} x_{2} & \dots & c x_{1}^{T} x_{k} & \dots & x_{1}^{T} x_{p + 1} \\ x_{2}^{T} x_{1} & x_{2}^{T} x_{2} & \dots & c x_{2}^{T} x_{k} & \dots & x_{2}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋱ & ⋮ & \dots & ⋮ \\ c x_{k}^{T} x_{1} & c x_{k}^{T} x_{2} & \dots & c^{2} x_{k}^{T} x_{k} & \dots & c x_{k}^{T} x_{p + 1} \\ ⋮ & ⋮ & ⋮ & ⋮ & \dots & ⋮ \\ x_{p + 1}^{T} x_{1} & x_{p + 1}^{T} x_{2} & \dots & c x_{p + 1}^{T} x_{p + 1} & \dots & x_{p + 1}^{T} x_{p + 1} \end{matrix}]

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{x}_1 & \mathbf{x}_1^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_1^{T}\mathbf{x}_k & \cdots & \mathbf{x}_1^{T}\mathbf{x}_{p+1} \\ \mathbf{x}_2^{T}\mathbf{x}_1 & \mathbf{x}_2^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_2^{T}\mathbf{x}_k & \cdots & \mathbf{x}_2^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \ddots & \vdots & \cdots & \vdots \\ c\mathbf{x}_k^{T}\mathbf{x}_1 & c\mathbf{x}_k^{T}\mathbf{x}_2 & \cdots & c^2\mathbf{x}_k^{T}\mathbf{x}_k & \cdots & c\mathbf{x}_k^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \vdots & \vdots & \cdots & \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{x}_1 & \mathbf{x}_{p+1}^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} & \cdots & \mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} \\ \end{bmatrix}$ \ cdots & \ mathbf {x} _ {p + 1} ^ {T} \ mathbf {x} _ {p + 1} \\ \ end {bmatrix} และ

{\tilde{X}}^{T} y = [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}]

$\tilde{\mathbf{X}}^{T}\mathbf{y} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix}$ ฉันจะไปจากที่นี่เพื่อแสดงการอ้างสิทธิ์ที่กล่าวถึงข้างต้นได้อย่างไร (นั่นคือ

{\hat{β}}_{\tilde{X}} = \frac{1}{c} {\hat{β}}_{X}

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \dfrac{1}{c}\hat{\boldsymbol\beta}_{\mathbf{X}}$ )? มันไม่ชัดเจนให้ฉันวิธีการคำนวณ

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$ 1}

least-squares linear-model

— clarinetist
แหล่งที่มา

ฉันคิดว่าไม่ถูกต้องมันขาดคูณในแถวทั้งหมด

{\tilde{X}}^{T} \tilde{X}

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}$

c

$c$

— Firebug

1

โปรดจำไว้ว่าการอ้างสิทธิ์คือไม่ใช่ทุกคน\

{\hat{β}}_{k, new} = \frac{1}{c} {\hat{β}}_{k, old}

$\hat{\beta}_{k, \text{new}}={1\over c}\hat{\beta}_{k, \text{old}}$

β

$\beta$

— Firebug

@ Firebug ใช่ฉันเพิ่งคิดออกว่า ฉันโพสต์คำตอบ

— คลาริเน็ต

2

คุณสามารถเปลี่ยนทุกพีชคณิตนี้โดยการวิเคราะห์หน่วยง่ายมากเพราะคูณโดยเพียงการเปลี่ยนแปลงหน่วยของการวัดและดังนั้นจึงมีการเปลี่ยนแปลงที่สอดคล้องกันในหน่วยงานที่เกี่ยวข้องกับค่าสัมประสิทธิ์คือการหารด้วยคไม่ได้พิสูจน์ว่าต้องถูกหารด้วยน่าเสียดาย อย่างไรก็ตามห่วงโซ่ความคิดนี้อาจเตือนเราว่าการถดถอยหลายครั้งสามารถดำเนินการได้โดยการสืบทอดการถดถอยหนึ่งครั้งต่อการถดถอยหนึ่งครั้งซึ่งเห็นได้ชัดว่าถูกหารด้วยและดังนั้นการพิสูจน์จึงสมบูรณ์

X_{j}

$X_j$

c

$c$

β_{j}

$\beta_j$

c

$c$

{\hat{β}}_{j}

$\hat \beta_j$

c

$c$

{\hat{β}}_{j}

$\hat\beta_j$

c

$c$

— whuber

@whuber ในขณะที่สัญชาตญาณของผลลัพธ์ชัดเจน แต่ดูเหมือนว่าจะต้องมีพีชคณิตนิดหน่อยในการพิสูจน์ หลังจากที่ทุกปัจจัยปรับจะต้องมีการคว่ำ

c

$c$

— user795305

11

เนื่องจากการยืนยันในใบเสนอราคาคือชุดของข้อความสั่งเกี่ยวกับการลดขนาดคอลัมน์ของคุณอาจพิสูจน์ได้ทั้งหมดในคราวเดียว อันที่จริงมันไม่ได้ใช้งานอีกต่อไปที่จะพิสูจน์ความเป็นมาตรฐานของการยืนยัน: $X$

เมื่อถูกขวาคูณโดย invertible เมทริกซ์แล้วประมาณการค่าสัมประสิทธิ์ใหม่เท่ากับเท้าซ้ายทางขวาคูณด้วย1} $X$ $A$ $\hat\beta_A$ $\hat \beta$ $A^{-1}$

ข้อเท็จจริงเกี่ยวกับพีชคณิตเพียงอย่างเดียวที่คุณต้องการคือ (พิสูจน์ได้ง่ายและเป็นที่รู้จักกันดี) ที่สำหรับเมทริกซ์ใด ๆและสำหรับการฝึกอบรม invertible และB(รุ่นที่ชัดเจนของหลังเป็นสิ่งจำเป็นเมื่อทำงานกับแปรผกผันกันทั่วไปสำหรับ invertible และและใด ๆ ,1} ) $(AB)^\prime=B^\prime A^\prime$ $AB$ $(AB)^{-1}=B^{-1}A^{-1}$ $A$ $B$ $A$ $B$ $X$ $(AXB)^{-} = B^{-1}X^{-}A^{-1}$

พิสูจน์โดยพีชคณิต :

{\hat{β}}_{A} = ((X A)^{'} ((X A))^{-} (X A)^{'} y = A^{- 1} (X^{'} X)^{-} (A^{'})^{- 1} A^{'} y = A^{- 1} \hat{β},

$\hat\beta_A = ((XA)^\prime ((XA))^{-}(XA)^\prime y = A^{-1}(X^\prime X)^{-} (A^\prime)^{-1}A^\prime y = A^{-1}\hat \beta,$

QED (เพื่อให้การพิสูจน์นี้เป็นแบบทั่วไปอย่างสมบูรณ์ตัวยกหมายถึงสิ่งที่ตรงกันข้ามทั่วไป) $^-$

พิสูจน์ด้วยเรขาคณิต :

ฐานที่กำหนดและของและตามลำดับหมายถึงการแปลงเชิงเส้นจากจะ n การคูณด้วยทางขวานั้นถือว่าเป็นการคงการเปลี่ยนแปลงนี้ไว้แต่การเปลี่ยนเป็น (นั่นคือเป็นคอลัมน์ของ ) ภายใต้การเปลี่ยนแปลงของพื้นฐานที่ว่าตัวแทนของใด ๆเวกเตอร์ต้องเปลี่ยนผ่านทางซ้ายคูณโดย , $E_p$ $E_n$ $\mathbb{R}^n$ $\mathbb{R}^p$ $X$ $\mathbb{R}^p$ $\mathbb{R}^n$ $X$ $A$ $E_p$ $AE_p$ $A$ $\hat\beta\in\mathbb{R}^p$ $A^{-1}$ QED

(หลักฐานนี้ใช้งานไม่ได้แก้ไขแม้เมื่อไม่สามารถย้อนกลับได้) $X^\prime X$

ใบเสนอราคาโดยเฉพาะหมายถึงกรณีของเมทริกซ์ทแยงมุมกับสำหรับและ c $A$ $A_{ii}=1$ $i\ne j$ $A_{jj}=c$

เชื่อมต่อกับกำลังสองน้อยที่สุด

วัตถุประสงค์นี่คือการใช้หลักการแรกเพื่อให้ได้ผลลัพธ์โดยมีหลักการที่ว่ากำลังสองน้อยที่สุด: การประมาณค่าสัมประสิทธิ์ที่ลดผลรวมของกำลังสองของการตกค้าง

อีกครั้งการพิสูจน์ความกว้าง (ใหญ่) พิสูจน์ไม่ยากและค่อนข้างเปิดเผย สมมติว่าคือแผนที่ใด ๆ (เชิงเส้นหรือไม่) ของเวกเตอร์พื้นที่จริงและคิดว่าใด ๆ ฟังก์ชั่นมูลค่าจริงใน n ปล่อยให้เป็นชุด (อาจว่างเปล่า) ของคะแนนซึ่งย่อเล็กสุด

ϕ : V^{p} \to W^{n}

$\phi:V^p\to W^n$

Q

$Q$

W^{n}

$W^n$

U \subset V^{p}

$U\subset V^p$

v

$v$

Q (ϕ (v))

$Q(\phi(v))$

ส่งผลให้เกิด: ซึ่งจะถูกกำหนด แต่เพียงผู้เดียวโดยและไม่ได้ขึ้นอยู่กับทางเลือกของพื้นฐานใด ๆใช้แทนเวกเตอร์ใน P $U$ $Q$ $\phi$ $E_p$ $V^p$

พิสูจน์: QED

ไม่มีอะไรจะพิสูจน์!

แอปพลิเคชันของผลลัพธ์:ให้เป็นรูปสมการกำลังสอง semidefinite เชิงบวกบน , ให้ , และสมมติว่าเป็นแผนที่เชิงเส้นที่แทนด้วยเมื่อฐานของและถูกเลือก กำหนดx) เลือกพื้นฐานของและสมมติว่าเป็นตัวแทนของบางอย่างในพื้นฐานนั้น นี่คือสองน้อยที่สุด :ลดระยะ Squaredx) เพราะ $F$ $\mathbb{R}^n$ $y\in\mathbb{R}^n$ $\phi$ $X$ $V^p=\mathbb{R}^p$ $W^n=\mathbb{R}^n$ $Q(x)=F(y,x)$ $\mathbb{R}^p$ $\hat\beta$ $v\in U$ $x=X\hat\beta$ $F(y,x)$ $X$ เป็นเส้นแผนที่การเปลี่ยนแปลงพื้นฐานของสอดคล้องกับขวาคูณโดยบางส่วนผกผันเมทริกซ์ ที่จะซ้ายคูณโดย , QED $\mathbb{R}^p$ $X$ $A$ $\hat\beta$ $A^{-1}$

— whuber
แหล่งที่มา

6

กำหนดตัวประมาณกำลังสองน้อยที่สุดที่เมทริกซ์การออกแบบมีระดับเต็ม สมมติว่าเมทริกซ์การปรับกลับด้านได้ $\hat\beta = \arg\min_{\beta\in\mathbb{R}^p} \|y - X \beta\|_2^2$ $X \in \mathbb{R}^{n \times p}$ $S \in \mathbb{R}^{p \times p}$

กำหนดใหม่นี้ปรับขนาดประมาณการ 2 ซึ่งหมายความว่าสำหรับทั้งหมด การนิยามเราสามารถเขียนความไม่เท่าเทียมกันที่แสดงด้านบนเป็นสำหรับทั้งหมด\ ดังนั้นและตามด้วยตัวประมาณกำลังสองน้อยที่สุด start เนื่องจากการกลับหัวของเมทริกซ์การปรับขนาด $\tilde\alpha = \arg\min_{\alpha\in\mathbb{R}^p} \|y - X S \alpha\|_2^2$

‖ y - X S \tilde{α} ‖_{2}^{2} < ‖ y - X S α ‖_{2}^{2}

$\|y - X S \tilde\alpha\|_2^2 < \|y - X S \alpha\|_2^2$

α \neq \tilde{α}

$\alpha\ne \tilde\alpha$

\tilde{β} = S \tilde{α}

$\tilde\beta = S \tilde\alpha$

‖ y - X \tilde{β} ‖_{2}^{2} < ‖ y - X β ‖_{2}^{2}

$\|y - X \tilde\beta \|_2^2 < \|y - X \beta \|_2^2$

β \neq \tilde{β}

$\beta \ne \tilde\beta$

\tilde{β} = \arg min_{β \in R^{p}} ‖ y - X β ‖_{2}^{2}

$\tilde\beta = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2$

\begin{aligned} \hat{β} = \tilde{β} = S \tilde{α} . \end{aligned}

$\begin{align*} \hat\beta = \tilde\beta = S \tilde\alpha. \end{align*}$

S

$S$ มันตามที่\ ในกรณีของเรานี้แตกต่างจากโดยรายการถูกปรับขนาดโดย{C}

\tilde{α} = S^{- 1} \hat{β}

$\tilde\alpha = S^{-1} \hat\beta$

\hat{β}

$\hat\beta$

k^{t h}

$k^\mathrm{th}$

\frac{1}{c}

$\frac{1}{c}$

— user795305
แหล่งที่มา

1

ฉันไม่คุ้นเคยกับการทำงานกับและฟังก์ชั่นที่คล้ายกันคุณช่วยอธิบายการเปลี่ยนจากสมการที่สองเป็นบรรทัดที่สามได้ไหม?

arg min

$\text{arg min}$

— Clarinetist

ฉันเขียนมันต่างออกไปเล็กน้อยซึ่งน่าจะทำให้ขั้นตอนชัดเจนขึ้น

— user795305

นี่ฉลาดจริงๆ (+1)

— คลาริเน็ต

4

ฉันคิดออกหลังจากโพสต์คำถาม อย่างไรก็ตามหากงานของฉันถูกต้องฉันก็ตีความการอ้างสิทธิ์ผิด ๆ ปรับเกิดขึ้นเฉพาะในองค์ประกอบหนึ่งของสอดคล้องกับคอลัมน์ของถูกคูณด้วยค $\dfrac{1}{c}$ $\boldsymbol\beta$ $\mathbf{X}$ $c$

ขอให้สังเกตว่าในสัญกรณ์ข้างต้นเป็นเส้นทแยงมุมสมมาตรเมทริกซ์และมีการผกผัน (เพราะมันเป็นแนวทแยงมุม) โปรดสังเกตว่าเป็นเมทริกซ์สมมติว่า $\mathbf{S}$ $(p+1) \times (p+1)$

S^{- 1} = [\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ \frac{1}{c} \\ 1 \\ ⋱ \\ 1 \end{matrix}] .

$\mathbf{S}^{-1} = \begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & \frac{1}{c}\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

(p + 1) \times (p + 1)

$(p+1)\times(p+1)$

(X^{T} X)^{- 1} = [\begin{matrix} z_{1} & z_{2} & \dots & z_{k} & \dots & z_{p + 1} \end{matrix}] .

$(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 & \cdots & \mathbf{z}_k & \cdots & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1} = [(X S)^{T} X S]^{- 1} = (S^{T} X^{T} X S)^{- 1} = (S X^{T} X S)^{- 1} = S^{- 1} (X^{T} X)^{- 1} S^{- 1} .

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1} = [(\mathbf{X}\mathbf{S})^{T}\mathbf{X}\mathbf{S}]^{-1} = (\mathbf{S}^{T}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1} = (\mathbf{S}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1}=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}\text{.}$ ดังนั้น และคูณด้วยมีผลคล้ายกับสิ่งที่คูณโดยได้ - มันยังคงเหมือนเดิมถูกคูณด้วย

S^{- 1} (X^{T} X)^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}]

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}$

S^{- 1}

$\mathbf{S}^{-1}$

X

$\mathbf{X}$

S

$\mathbf{S}$

\frac{1}{c} z_{k}

$\frac{1}{c}\mathbf{z}_k$

\frac{1}{c}

$\frac{1}{c}$ : ดังนั้น

S^{- 1} (X^{T} X)^{- 1} S^{- 1} = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] .

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

\begin{aligned} {\hat{β}}_{\tilde{X}} & = S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S)^{T} y \\ = [\begin{matrix} z_{1} \\ z_{2} \\ ⋱ \\ \frac{1}{c^{2}} z_{k} \\ ⋱ \\ z_{p + 1} \end{matrix}] [\begin{matrix} x_{1}^{T} y \\ x_{2}^{T} y \\ ⋮ \\ c x_{k}^{T} y \\ ⋮ \\ x_{p + 1}^{T} y \end{matrix}] \\ = [\begin{matrix} z_{1} x_{1}^{T} y \\ z_{2} x_{2}^{T} y \\ ⋮ \\ \frac{1}{c} z_{k} x_{k}^{T} y \\ ⋮ \\ z_{p + 1} x_{p + 1}^{T} y \end{matrix}] \end{aligned}

$\begin{align} \hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}}&=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}(\mathbf{X}\mathbf{S})^{T}\mathbf{y} \\ &= \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{z}_1\mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{z}_2\mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ \frac{1}{c}\mathbf{z}_k\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{z}_{p+1}\mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \end{align}$ ตามที่ต้องการ

— clarinetist
แหล่งที่มา

มีการพิมพ์ผิดใน{y} คุณจำเป็นต้อง transpose{S})

S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S) y

$\mathbf{S}^{-1}( \mathbf{X}^{T}\mathbf{X})^{-1} \mathbf{S}^{-1}(\mathbf{X} \mathbf{S}) \mathbf{y}$

(X S)

$(\mathbf{X}\mathbf{S})$

— JohnK

3

หลักฐานที่ไม่สำคัญที่สุดเท่าที่เคยมีมา

คุณเริ่มต้นด้วยสมการเชิงเส้นของคุณ: ตอนนี้คุณต้องการเปลี่ยนสเกลของ regressors ของคุณอาจแปลงจากระบบเมตริกเป็น Imperial คุณรู้กิโลกรัมเป็นปอนด์เมตรเป็นหลาเป็นต้นคุณก็จะเกิดขึ้น กับการแปลงเมทริกซ์ซึ่งแต่ละเป็นค่าสัมประสิทธิ์การแปลงสำหรับตัวแปร (คอลัมน์)ในการออกแบบเมทริกซ์X

Y = X β + ε

$Y=X\beta+\varepsilon$

S = d i a g (s_{1}, s_{1}, \dots, s_{n})

$S=diag(s_1,s_1,\dots,s_n)$

s_{i}

$s_i$

i

$i$

X

$X$

ลองเขียนสมการอีกครั้ง:

Y = (X S) (S^{- 1} β) + ε

$Y=(XS)(S^{-1}\beta)+\varepsilon$

ตอนนี้เห็นได้ชัดว่าการปรับขนาดเป็นสมบัติของความเป็นเชิงเส้นของสมการของคุณไม่ใช่วิธี OLS ของการประมาณค่าสัมประสิทธิ์ โดยไม่คำนึงถึงวิธีการประมาณค่าด้วยสมการเชิงเส้นคุณจะเห็นว่าเมื่อรีจีสเตอร์ถูกปรับขนาดเป็นค่าสัมประสิทธิ์ใหม่ของคุณควรถูกปรับสัดส่วนเป็น $XS$ $S^{-1}\beta$

พิสูจน์โดยพีชคณิตสำหรับ OLS เท่านั้น

มาตราส่วนคือ: ที่ปัจจัยระดับของแต่ละตัวแปร (คอลัมน์) และรุ่นปรับขนาดของXขอเรียกขนาดเส้นทแยงมุมเมทริกซ์s_n) ตัวประมาณ OLS ของคุณคือ ลองเสียบเมทริกซ์ที่มีขนาดแทนและใช้พีชคณิตเมทริกซ์ : ดังนั้นคุณจะเห็นว่าค่าสัมประสิทธิ์ใหม่เป็นเพียงค่าสัมประสิทธิ์เก่าที่ลดลงตามที่คาดไว้

Z = X * d i a g (s_{1}, s_{2}, . . ., s_{n})

$Z=X*diag(s_1,s_2,...,s_n)$

s_{i}

$s_i$

Z

$Z$

X

$X$

S \equiv d i a g (s_{1}, s_{2}, . . ., s_{n})

$S\equiv diag(s_1,s_2,...,s_n)$

\hat{β} = (X^{T} X)^{- 1} X^{T} Y

$\hat\beta=(X^TX)^{-1}X^TY$

Z

$Z$

X

$X$

(Z^{T} Z)^{- 1} Z^{T} Y = (S^{T} X^{T} X S)^{- 1} S^{T} X^{T} Y = S^{- 1} (X^{T} X)^{- 1} S^{- 1} S X^{T} Y = S^{- 1} (X^{T} X)^{- 1} X^{T} Y = S^{- 1} \hat{β}

$(Z^TZ)^{-1}Z^TY=(S^TX^TXS)^{-1}S^TX^TY=S^{-1}(X^TX)^{-1}S^{-1}SX^TY\\ =S^{-1}(X^TX)^{-1}X^TY=S^{-1}\hat\beta$

— Aksakal
แหล่งที่มา

2

ฉันชอบแนวทางของคุณ แต่ไม่มั่นใจใน "หลักฐานที่น่าจดจำที่สุด" คุณสันนิษฐานโดยปริยายและยังคงต้องแสดงว่าโมเดลที่เขียนใหม่จะต้องมีขนาดพอดีกับต้นฉบับหากต้องการดูอย่างเข้มงวดยิ่งขึ้น: หากเราดูขั้นตอนการปรับให้เหมาะสมเป็นฟังก์ชั่นโดยที่คือชุดของข้อมูลที่เป็นไปได้ทั้งหมด (ซึ่งเราสามารถเขียนเป็นคู่ที่ได้รับคำสั่ง ) และเป็นชุดของการประมาณค่าสัมประสิทธิ์ที่เป็นไปได้ทั้งหมดจากนั้นคุณต้องแสดงให้เห็นว่าสำหรับทุก invertibleทั้งหมดและทุกY(นี่ไม่จริงเสมอไป!)

δ : M \to R^{p}

$\delta:M\to\mathbb{R}^p$

M

$M$

(X, Y)

$(X,Y)$

R^{p}

$\mathbb{R}^p$

δ (X, Y) = S^{- 1} δ (X S, Y)

$\delta(X,Y)=S^{-1}\delta(XS,Y)$

S

$S$

X

$X$

Y

$Y$

— เสียงหวีด

@ โฮเบอร์จริงๆแล้วเป็นอีกวิธีหนึ่ง: ขั้นตอนการปรับที่เหมาะสมควรเป็นไปตามเงื่อนไขนี้มิฉะนั้นการเปลี่ยนแปลงหน่วยวัดอย่างง่ายจะทำให้การคาดการณ์ / การคาดการณ์แตกต่างกัน ฉันจะอัปเดตคำตอบของฉันจะลองคิดดูสักหน่อย

— Aksakal

ฉันเห็นด้วย - แต่ฉันสามารถจินตนาการได้ว่ามีข้อยกเว้นในกรณีที่ไม่ได้เป็นอันดับเต็ม นั่นคือสิ่งที่แนะนำให้ฉันรู้สถานการณ์ก็ไม่ได้สำคัญอะไรอย่างที่คิด

X

$X$

— whuber

3

คู่ครองของจักรพรรดิไม่ใช่พระราช ... : D (คำตอบที่ดี +1)

— usεr11852

@ usεr11852ฉันได้เรียนรู้บางสิ่งบางอย่างในวันนี้ :)

— Aksakal

2

วิธีง่ายๆในการรับผลลัพธ์นี้คือการจำไว้ว่าคือการฉายภาพของบนพื้นที่คอลัมน์ของเป็นเวกเตอร์ของสัมประสิทธิ์เมื่อแสดงเป็นเส้นตรง การรวมกันของคอลัมน์ของXถ้าคอลัมน์บางส่วนจะถูกปรับขนาดโดยปัจจัยก็เป็นที่ชัดเจนว่าค่าสัมประสิทธิ์ที่สอดคล้องกันในการรวมกันเชิงเส้นจะต้องมีการปรับขนาดโดย C $\hat{y}$ $y$ $X.$ $\hat{\beta}$ $\hat{y}$ $X$ $c$ $1/c$

ให้เป็นค่าของและเป็นค่าของโซลูชัน OLS เมื่อหนึ่งคอลัมน์ถูกปรับอัตราส่วนโดย $b_i$ $\hat{\beta}$ $a_i$ $c.$

b_{1} x_{1} + . . . + b_{i} x_{i} + . . . + b_{m} x_{m} = a_{1} x_{1} + . . . a_{i} (c x_{i}) + . . . + a_{n} x_{n}

$b_1x_1 + ... + b_ix_i + ...+ b_mx_m = a_1x_1 + ... a_i(cx_i) + ... +a_nx_n$

หมายความว่าโดยที่และสมมติว่าคอลัมน์ของมีความเป็นอิสระเชิงเส้น $b_j = a_j$ $j \neq i$ $b_i = a_ic$ $X$

— จอนนี่โลมอนด์
แหล่งที่มา

แสดงว่าตัวประมาณ OLS เป็นมาตราส่วนที่เท่ากันหรือไม่

เชื่อมต่อกับกำลังสองน้อยที่สุด

หลักฐานที่ไม่สำคัญที่สุดเท่าที่เคยมีมา

พิสูจน์โดยพีชคณิตสำหรับ OLS เท่านั้น