พิสูจน์ความสัมพันธ์ระหว่างระยะทาง Mahalanobis กับ Leverage ได้หรือไม่?

ฉันเคยเห็นสูตรในWikipedia ที่เกี่ยวข้องกับระยะทางและ Mahalanobis Leverage:

ระยะทาง Mahalanobis มีความสัมพันธ์อย่างใกล้ชิดกับสถิติการใช้ประโยชน์แต่มีระดับที่แตกต่าง: $h$
$D^{2} = (N - 1) (h - \frac{1}{N}) .$ $D^2 = (N - 1)(h - \tfrac{1}{N}).$

ในบทความที่มีการเชื่อมโยง Wikipedia อธิบายในเงื่อนไขเหล่านี้ $h$

ในโมเดลการถดถอยเชิงเส้นคะแนนความสามารถในการใช้ประโยชน์สำหรับหน่วยข้อมูลถูกกำหนดเป็น:องค์ประกอบส่วนของเมทริกซ์หมวกโดยที่หมายถึงเมทริกซ์ทรานสดิวเซอร์ $i^{th}$
$h_{i i} = (H)_{i i},$ $h_{ii}=(H)_{ii},$ $i^{th}$ $H=X(X^{\top}X)^{-1}X^{\top}$ $^{\top}$

ฉันไม่สามารถหาหลักฐานได้ทุกที่ ฉันพยายามเริ่มจากคำจำกัดความ แต่ฉันไม่สามารถก้าวหน้าได้ ทุกคนสามารถให้คำใบ้ได้บ้าง

— dave2d
แหล่งที่มา

คำอธิบายของระยะ Mahalanobis ของฉันที่ด้านล่างถึงด้านบนคำอธิบายของระยะ Mahalanobis? รวมผลลัพธ์ที่สำคัญสองรายการ:

ตามคำนิยามมันจะไม่เปลี่ยนแปลงเมื่อ regressors ถูกเปลี่ยนอย่างสม่ำเสมอ
ระยะทาง Mahalanobis กำลังสองระหว่างเวกเตอร์และได้รับจาก โดยที่คือความแปรปรวนร่วมของข้อมูล $x$ $y$
$D^{2} (x, y) = (x - y)^{'} Σ^{- 1} (x - y)$ $D^2(x,y) = (x-y)^\prime \Sigma^{-1}(x-y)$ $\Sigma$

(1) ช่วยให้เราสามารถสันนิษฐานว่า regressors นั้นเป็นศูนย์ทั้งหมด มันยังคงอยู่ในการคำนวณh_iอย่างไรก็ตามเพื่อให้การอ้างสิทธิ์เป็นจริงเราจำเป็นต้องเพิ่มข้อสมมติฐานอีกหนึ่งข้อ: $h_i$

โมเดลต้องมีการสกัดกั้น

เพื่อให้สามารถนี้ให้มี regressors และข้อมูลการเขียนค่าของ regressorสำหรับการสังเกตเป็น{IJ} ให้เวกเตอร์คอลัมน์เหล่านี้ค่า regressorเขียนและเวกเตอร์แถวของเหล่าค่าสำหรับการสังเกตจะเขียน\จากนั้นเมทริกซ์โมเดลคือ $k \ge 0$ $n$ $j$ $i$ $x_{ij}$ $n$ $j$ $\mathbf{x}_{,j}$ $k$ $i$ $\mathbf{x}_i$

X = (\begin{matrix} 1 & x_{11} & \dots & x_{1 k} \\ 1 & x_{21} & \dots & x_{2 k} \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 1 & x_{n 1} & \dots & x_{n k} \end{matrix})

$X = \pmatrix{ 1 &x_{11} &\cdots &x_{1k} \\ 1 &x_{21} &\cdots &x_{2k} \\ \vdots &\vdots &\vdots &\vdots \\ 1 &x_{n1} &\cdots &x_{nk}}$

และตามคำจำกัดความเมทริกซ์ของหมวกคือ

H = X (X^{'} X)^{- 1} X^{'},

$H = X(X^\prime X)^{-1} X^\prime,$

เข้ามาตามเส้นทแยงมุมที่ไหน $i$

\begin{matrix} (1) & h_{i} = h_{i i} = (1; x_{i}) (X^{'} X)^{- 1} (1; x_{i})^{'} . \end{matrix}

$h_i = h_{ii} = (1; \mathbf{x}_i) (X^\prime X)^{-1} (1; \mathbf{x}_i)^\prime.\tag{1}$

ไม่มีอะไรที่จะช่วยได้นอกจากการหาเมทริกซ์กลางผกผัน - แต่โดยอาศัยผลลัพธ์หลักแรกมันง่ายโดยเฉพาะอย่างยิ่งเมื่อเราเขียนมันในรูปแบบบล็อกเมทริกซ์:

X^{'} X = n (\begin{matrix} 1 & 0^{'} \\ 0 & C \end{matrix})

$X^\prime X = n\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C}$

โดยที่และ $\mathbf{0} = (0,0,\ldots,0)^\prime$

C_{j k} = \frac{1}{n} \sum_{i = 1}^{n} x_{i j} x_{i k} = \frac{n - 1}{n} Cov (x_{j}, x_{k}) = \frac{n - 1}{n} Σ_{j k} .

$C_{jk} = \frac{1}{n} \sum_{i=1}^n x_{ij} x_{ik} = \frac{n-1}{n}\operatorname{Cov}(\mathbf{x}_j, \mathbf{x}_k) = \frac{n-1}{n}\Sigma_{jk}.$

(ฉันได้เขียนสำหรับเมทริกซ์ความแปรปรวนร่วมตัวอย่างของ regressors) เนื่องจากนี่คือบล็อกแนวทแยงมุม, การผกผันของมันสามารถพบได้ง่ายๆโดยการสลับบล็อก: $\Sigma$

(X^{'} X)^{- 1} = \frac{1}{n} (\begin{matrix} 1 & 0^{'} \\ 0 & C^{- 1} \end{matrix}) = (\begin{matrix} \frac{1}{n} & 0^{'} \\ 0 & \frac{1}{n - 1} Σ^{- 1} \end{matrix}) .

$(X^\prime X)^{-1} = \frac{1}{n}\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C^{-1}} = \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}.$

จากคำจำกัดความเราได้รับ $(1)$

\begin{aligned} h_{i} & = (1; x_{i}) (\begin{matrix} \frac{1}{n} & 0^{'} \\ 0 & \frac{1}{n - 1} Σ^{- 1} \end{matrix}) (1; x_{i})^{'} \\ = \frac{1}{n} + \frac{1}{n - 1} x_{i} Σ^{- 1} x_{i}^{'} \\ = \frac{1}{n} + \frac{1}{n - 1} D^{2} (x_{i}, 0) . \end{aligned}

$\eqalign{ h_i &= (1; \mathbf{x}_i) \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}(1; \mathbf{x}_i)^\prime \\ &=\frac{1}{n} + \frac{1}{n-1}\mathbf{x}_i \Sigma^{-1}\mathbf{x}_i^\prime \\ &=\frac{1}{n} + \frac{1}{n-1} D^2(\mathbf{x}_i, \mathbf{0}). }$

แก้สำหรับยืดยาว Mahalanobisอัตราผลตอบแทน $D_i^2 = D^2(\mathbf{x}_i, \mathbf{0})$

D_{i}^{2} = (n - 1) (h_{i} - \frac{1}{n}),

$D_i^2 = (n-1)\left(h_i - \frac{1}{n}\right),$

QED

มองย้อนกลับไปเราอาจติดตามระยะสารเติมแต่งกับการปรากฏตัวของการสกัดกั้นที่นำคอลัมน์ของคนที่เข้ามาในรูปแบบเมทริกซ์Xคำพหุคูณปรากฏขึ้นหลังจากสมมติว่าระยะทาง Mahalanobis จะถูกคำนวณโดยใช้การประมาณความแปรปรวนร่วมตัวอย่าง (ซึ่งหารผลบวกของกำลังสองและผลิตภัณฑ์ด้วย ) แทนที่จะเป็นเมทริกซ์ความแปรปรวนร่วมของข้อมูล (ซึ่งหารผลรวมของกำลังสองและ ผลิตภัณฑ์โดย ) $1/n$ $X$ $n-1$ $n-1$ $n$

ค่านิยมหลักของการวิเคราะห์นี้คือการให้การตีความทางเรขาคณิตแก่เลเวอเรจซึ่งวัดการเปลี่ยนแปลงของการตอบสนองต่อการสังเกตที่จะเปลี่ยนค่าที่เหมาะสมในการสังเกตการณ์นั้น: การสำรวจด้วยเรเวอเรจสูงนั้น ของ regressors เหมือนกับคันโยกที่มีประสิทธิภาพเชิงกลไกทำงานในระยะทางไกลจากจุดศูนย์กลาง $i$

รหัส R เพื่อแสดงให้เห็นว่าความสัมพันธ์ถือ:

x <- mtcars

# Compute Mahalanobis distances
h <- hat(x, intercept = TRUE); names(h) <- rownames(mtcars)
M <- mahalanobis(x, colMeans(x), cov(x))

# Compute D^2 of the question
n <- nrow(x); D2 <- (n-1)*(h - 1/n)

# Compare.
all.equal(M, D2)               # TRUE
print(signif(cbind(M, D2), 3))

— whuber
แหล่งที่มา

คำตอบที่ยอดเยี่ยมกลมกลืนเป็นอย่างดีกับความแม่นยำและสัญชาตญาณ ไชโย!

— cgrudz

ขอบคุณสำหรับการโพสต์ @whuber! สำหรับการตรวจสอบสตินี่คือรหัส R ที่แสดงว่ามีความสัมพันธ์ที่แน่นอน: x <- mtcars rownames (x) <- ชื่อเล่น NULL (x) <- NULL n <- nrow (x) h <- หมวก (x, T) mahalanobis (x, colMeans (x), cov (x)) (n-1) * (h - 1 / n) all.equal (mahalanobis (x, colMeans (x), cov (x)), (n-1 ) * (h - 1 / n))

— Tal Galili

@Tal ฉันไม่คิดว่าฉันต้องการตรวจสุขภาพ - แต่ขอบคุณสำหรับรหัส :-) ฉันได้ทำการปรับเปลี่ยนเพื่อชี้แจงและให้ผลลัพธ์เล็กน้อย

— whuber

@ โฮเบอร์ฉันต้องการตัวอย่างที่แสดงให้เห็นว่าจะทำให้ความเท่าเทียมทำงานได้อย่างไร ฉันได้ขยายรายการ Wiki ที่เกี่ยวข้องด้วย: en.wikipedia.org/wiki/… (รู้สึกอิสระที่จะใช้มันที่นั่นตามที่เห็นสมควร :))

— Tal Galili