มาตรการที่เหมาะสมในการค้นหาเมทริกซ์ความแปรปรวนร่วมที่เล็กที่สุด

ในหนังสือเรียนฉันกำลังอ่านว่าพวกเขาใช้ความแน่นอนเชิงบวก (กึ่งบวกแน่นอน) เพื่อเปรียบเทียบเมทริกซ์ความแปรปรวนร่วมสองตัว ความคิดที่ว่าถ้าเป็น PD แล้วมีขนาดเล็กกว่า แต่ฉันพยายามดิ้นรนเพื่อให้ได้สัญชาติญาณของความสัมพันธ์นี้? $A-B$ $B$ $A$

มีเธรดที่คล้ายกันที่นี่:

/math/239166/what-is-the-intuition-for-using-definiteness-to-compare-matrices

สัญชาตญาณในการใช้ความแตกต่างเพื่อเปรียบเทียบเมทริกซ์คืออะไร

แม้ว่าคำตอบจะดี แต่พวกเขาไม่ได้พูดปรีชา

นี่คือตัวอย่างที่ฉันรู้สึกสับสน:

[\begin{matrix} 16 & 12 \\ 12 & 9 \end{matrix}] - [\begin{matrix} 1 & 2 \\ 2 & 4 \end{matrix}]

$\begin{equation} \begin{bmatrix} 16 & 12 \\ 12 & 9 \end{bmatrix} - \begin{bmatrix} 1 & 2 \\ 2 & 4 \end{bmatrix} \end{equation}$

ตอนนี้ที่นี่ดีเทอร์มีแนนต์ของความแตกต่างคือ -25 ดังนั้นความสัมพันธ์ไม่ได้เป็น pd หรือแม้กระทั่ง psd และเมทริกซ์แรกไม่มากกว่าครั้งแรก?

ฉันแค่ต้องการเปรียบเทียบเมทริกซ์ความแปรปรวนร่วม 3 * 3 สองอันเพื่อดูว่าอันไหนเล็กที่สุด? ดูเหมือนว่าฉันจะใช้สัญชาตญาณแบบยูคลิดเพื่อเปรียบเทียบได้ง่ายกว่านี้ไหม? อย่างไรก็ตามนี่อาจหมายความว่าเมทริกซ์แรกด้านบนมากกว่าเมทริกซ์ที่สอง ยิ่งกว่านั้นฉันเห็นเพียงแค่ pd / psd criterion ที่ใช้ในการเปรียบเทียบเมทริกซ์ความแปรปรวนร่วม

บางคนสามารถอธิบายได้ว่าทำไม pd / psd ดีกว่าการใช้การวัดอื่นเช่นค่ายูคลิด?

ฉันได้โพสต์คำถามนี้ไว้ในฟอรัมคณิตศาสตร์ (ไม่แน่ใจว่าอะไรดีที่สุด) หวังว่านี่จะไม่ขัดกับกฎใด ๆ

/math/628135/comparing-two-covariance-matrices

— Baz
แหล่งที่มา

คุณอาจต้องการอ่านสิ่งนี้โดยคำนึงถึงสัญชาตญาณหลังความชัดเจนเชิงบวก (กึ่ง) เมื่อคุณเปรียบเทียบ 2 แปรปรวนaและbถ้าa-bเป็นบวกแล้วเราจะบอกว่าเมื่อการลบความแปรปรวนbจากaยังคงมีบางส่วน "ของจริง" aที่เหลืออยู่ในความแปรปรวน ในทำนองเดียวกันเป็นกรณีที่ความแปรปรวนหลายตัวแปร (= แปรปรวนเมทริกซ์) และA Bถ้าA-Bเป็นบวกแน่นอนนั่นหมายความว่าA-Bองค์ประกอบของเวกเตอร์คือ "ของจริง" ในปริภูมิแบบยุคลิด: กล่าวอีกนัยหนึ่งเมื่อถอดออกBจากAนั้นก็ยังคงเป็นความแปรปรวนได้

— ttnphns

อะไรคือสิ่งที่คุณหมายถึงโดย "เล็กที่สุด" ของทั้งสองเมทริกซ์ความแปรปรวน?

— whuber

สวัสดี, การแปรปรวนร่วมเกี่ยวข้องกับตัวประมาณค่าฉันต้องการเลือกตัวประมาณที่มีความแปรปรวนน้อยที่สุด (สิ่งนี้ชัดเจนหรือไม่)

— Baz

Baz: แล้วทำไมไม่เปรียบเทียบผลต่างของตัวประมาณโดยตรงล่ะ?

— Glen_b -Reinstate Monica

สวัสดีมีวิธีการตั้งค่าการแสดงออกสำหรับสิ่งที่พวกเขาเรียกความแปรปรวน (ซึ่งรวมถึง covariances) จะได้รับ อย่างไรก็ตามแม้ว่าฉันจะเปรียบเทียบความแปรปรวนเพียงอย่างเดียว แต่สิ่งนี้จะยังคงเกี่ยวข้องกับการเปรียบเทียบค่าเวกเตอร์ซึ่งจะมีปัญหาที่คล้ายกันกับการเปรียบเทียบค่าเมทริกซ์

— Baz

คำตอบ:

การเรียงลำดับของเมทริกซ์ที่คุณอ้างถึงนั้นเรียกว่าคำสั่ง Loewnerและเป็นคำสั่งบางส่วนที่ใช้ในการศึกษาเมทริกซ์เชิงบวกที่แน่นอน การรักษาหนังสือความยาวของรูปทรงเรขาคณิตในท่อร่วมไอดีของบวกที่ชัดเจน (posdef) ที่เมทริกซ์เป็นที่นี่

ครั้งแรกที่ผมจะพยายามที่จะตอบคำถามของคุณเกี่ยวกับสัญชาติญาณ A (สมมาตร) เมทริกซ์เป็น posdef ถ้าสำหรับทุก nถ้าเป็นตัวแปรสุ่ม (RV) ที่มีความแปรปรวนเมทริกซ์แล้วคือ (ตามสัดส่วน) ประมาณการในบางส่วนสเปซหนึ่งสลัวและคใช้สิ่งนี้กับ $A$ $c^T A c\ge 0$ $c \in \mathbb{R}^n$ $X$ $A$ $c^T X$ $\mathbb{Var}(c^T X) = c^T A c$ $A-B$ ในของคุณ Q แรก: มันเป็นเมทริกซ์ความแปรปรวนสอง: ตัวแปรสุ่มที่มี covar เมทริกซ์ $B$ โครงการในทุกทิศทางที่มีความแปรปรวนมีขนาดเล็กกว่า RV กับความแปรปรวนเมทริกซ์ สิ่งนี้ทำให้ชัดเจนชัดเจนว่าคำสั่งนี้สามารถเป็นบางส่วนเท่านั้นมี rv จำนวนมากที่จะฉายในทิศทางที่แตกต่างกันด้วยความแปรปรวนที่แตกต่างกัน ข้อเสนอของคุณเกี่ยวกับกฎเกณฑ์ยูคลิดบางอย่างไม่มีการตีความทางสถิติตามธรรมชาติ $A$

"ตัวอย่างที่ทำให้เกิดความสับสน" ของคุณกำลังสับสนเพราะเมทริกซ์ทั้งสองมีปัจจัยกำหนด ดังนั้นสำหรับแต่ละคนมีทิศทางเดียว (วิคเตอร์ที่มีค่าเฉพาะศูนย์) ที่พวกเขาเสมอโครงการให้เป็นศูนย์ แต่ทิศทางนี้แตกต่างกันสำหรับเมทริกซ์สองตัวดังนั้นจึงไม่สามารถเปรียบเทียบกันได้

คำสั่งของ Loewner นั้นถูกกำหนดว่า $A \preceq B$ , $B$ นั้นจะเป็นบวกแน่นอนกว่า $A$ ถ้า $B-A$ เป็น posdef นี่เป็นคำสั่งบางส่วนสำหรับเมทริกซ์ posdef บางตัวไม่ว่า $B-A$ หรือ $A-B$ เป็น posdef ตัวอย่างคือ:

A = (\begin{matrix} 1 & 0.5 \\ 0.5 & 1 \end{matrix}), B = (\begin{matrix} 0.5 & 0 \\ 0 & 1.5 \end{matrix})

$A=\begin{pmatrix} 1 & 0.5 \\ 0.5 & 1 \end{pmatrix}, \quad B= \begin{pmatrix} 0.5 & 0\\ 0 & 1.5 \end{pmatrix}$ วิธีหนึ่งในการแสดงภาพกราฟิกนี้คือการวาดพล็อตที่มีรูปไข่สองจุด แต่อยู่กึ่งกลางที่จุดกำเนิดที่เกี่ยวข้องในแบบมาตรฐานกับเมทริกซ์ (จากนั้นระยะรัศมีในแต่ละทิศทางจะแปรผันตามความแปรปรวนของ ฉายในทิศทางนั้น):

ในกรณีนี้วงรีทั้งสองจะสอดคล้องกัน แต่หมุนไปต่างกัน (อันที่จริงแล้วมุมคือ 45 องศา) สิ่งนี้สอดคล้องกับความจริงที่ว่าเมทริกซ์ $A$ และ $B$ มีค่าลักษณะเฉพาะเหมือนกัน แต่ eigenvector ถูกหมุน

เนื่องจากคำตอบนี้ขึ้นอยู่กับคุณสมบัติของจุดไข่ปลาดังต่อไปนี้สัญชาตญาณเบื้องหลังการแจกแจงแบบเกาส์แบบมีเงื่อนไขคืออะไร การอธิบายจุดไข่ปลาทางเรขาคณิตอาจมีประโยชน์

ตอนนี้ฉันจะอธิบายวิธีการกำหนดวงรีที่เกี่ยวข้องกับเมทริกซ์ posdef เมทริกซ์กำหนดรูปแบบสมการกำลังสองคนี้สามารถพล็อตเป็นฟังก์ชั่นกราฟจะเป็นกำลังสอง หากกราฟของจะอยู่เหนือกราฟของเสมอ หากเราตัดกราฟด้วยระนาบแนวนอนที่ความสูง 1 การตัดนั้นจะอธิบายถึงจุดไข่ปลา (ซึ่งจริงๆแล้วเป็นวิธีการกำหนดจุดไข่ปลา) จุดไข่ปลาที่ตัดนี้ได้มาจากสมการ $A$ $Q_A(c) = c^T A c$ $A \preceq B$ $Q_B$ $Q_A$

Q_{A} (c) = 1, Q_{B} (c) = 1

$Q_A(c)=1, \quad Q_B(c)=1$ และเราเห็นว่า

A ⪯ B

$A \preceq B$ สอดคล้องกับวงรีของ B (ขณะนี้มีการตกแต่งภายใน) อยู่ภายในวงรีของ A หากไม่มีคำสั่งจะไม่มีการกักกัน เราสังเกตว่าคำสั่งรวมนั้นอยู่ตรงข้ามกับคำสั่งบางส่วนของ Loewner หากเราไม่ชอบว่าเราสามารถวาดรูปไข่ของผู้รุกรานได้ นี้เพราะ

เทียบเท่ากับ

แต่ฉันจะอยู่กับวงรีตามที่นิยามไว้ที่นี่

A ⪯ B

$A \preceq B$

B^{- 1} ⪯ A^{- 1}

$B^{-1} \preceq A^{-1}$

วงรีสามารถอธิบายได้ด้วยครึ่งวงกลมและความยาว เราจะหารือเกี่ยวกับ $2\times 2$ -matrices ที่นี่ที่พวกเขาเป็นคนที่เราสามารถวาด ... ดังนั้นเราต้องสองแกนหลักและยาวของพวกเขา สามารถพบได้ตามที่อธิบายไว้ที่นี่พร้อมด้วย eigendecomposition ของ posdef matrix จากนั้นแกนหลักจะได้รับจาก eigenvector และความยาวของพวกเขา $a,b$ สามารถคำนวณได้จากค่าลักษณะเฉพาะ $\lambda_1, \lambda_2$ โดย

a = \sqrt{1 / λ_{1}}, b = \sqrt{1 / λ_{2}} .

$a = \sqrt{1/\lambda_1}, \quad b=\sqrt{1/\lambda_2}.$ นอกจากนี้เรายังจะเห็นว่าพื้นที่ของวงรีแทนเป็น

A

$A$

π a b = π \sqrt{1 / λ_{1}} \sqrt{1 / λ_{2}} = \frac{π}{\sqrt{det A}}

$\pi a b= \pi \sqrt{1/\lambda_1}\sqrt{1/\lambda_2} = \frac{\pi}{\sqrt{\det A}}$

ฉันจะให้หนึ่งตัวอย่างสุดท้ายที่เมทริกซ์สามารถสั่งซื้อได้:

สองการฝึกอบรมในกรณีนี้:

A = (\begin{matrix} 2 / 3 & 1 / 5 \\ 1 / 5 & 3 / 4 \end{matrix}), B = (\begin{matrix} 1 & 1 / 7 \\ 1 / 7 & 1 \end{matrix})

$A =\begin{pmatrix}2/3 & 1/5 \\ 1/5 & 3/4\end{pmatrix}, \quad B=\begin{pmatrix} 1& 1/7 \\ 1/7& 1 \end{pmatrix}$

— kjetil b halvorsen
แหล่งที่มา

@kjetil b halvorsen ให้การสนทนาที่ดีเกี่ยวกับสัญชาตญาณทางเรขาคณิตที่อยู่เบื้องหลังความแน่นอนกึ่งบวกในเชิงบวกเป็นการสั่งซื้อบางส่วน ฉันจะให้เวลากับคนที่สกปรกมากขึ้นในสัญชาตญาณเดียวกัน สิ่งหนึ่งที่ได้จากการคำนวณประเภทใดที่คุณอาจต้องการทำกับเมทริกซ์ความแปรปรวนของคุณ

$x$ $y$ $V(x)$ $V(y)$ $V(x)=5$ $V(y)=15$ $x$ $y$

$x$ $y$

\begin{aligned} V (x) = [\begin{array}{cc} 1 & 0.5 \\ 0.5 & 1 \end{array}] V (y) = [\begin{array}{cc} 8 & 3 \\ 3 & 6 \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.5 \\ 0.5 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 8 & 3 \\ 3 & 6 \end{array} \right] \end{align}$

x_{1}

$x_1$

y_{1}

$y_1$

V (x_{1}) = 1 < 8 = V (y_{1})

$V(x_1)=1<8=V(y_1)$

V (x_{2}) = 1 < 6 = V (y_{2})

$V(x_2)=1<6=V(y_2)$

x

$x$

\leq

$\le$

y

$y$

x

$x$

\leq

$\le$

y

$y$

V (x) \leq V (y)

$V(x) \le V(y)$

V (x)

$V(x)$

\leq

$\le$

V (y)

$V(y)$

\begin{aligned} V (x) = [\begin{array}{cc} V (x_{1}) & 0 \\ 0 & V (x_{2}) \end{array}] V (y) = [\begin{array}{cc} V (y_{1}) & 0 \\ 0 & V (y_{2}) \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} V(x_1) & 0 \\ 0 & V(x_2) \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} V(y_1) & 0 \\ 0 & V(y_2) \end{array} \right] \end{align}$

V (y) - V (x)

$V(y)-V(x)$

V (x) \leq V (y)

$V(x) \le V(y)$

V (x_{1}) \leq V (y_{1})

$V(x_1) \le V(y_1)$

V (x_{2}) \leq V (y_{2})

$V(x_2) \le V(y_2)$

\begin{aligned} V (x) = [\begin{array}{cc} 1 & 0.1 \\ 0.1 & 1 \end{array}] V (y) = [\begin{array}{cc} 1 & 0 \\ 0 & 1 \end{array}] \end{aligned}

$\begin{align} V(x) = \left[ \begin{array}{c c} 1 & 0.1 \\ 0.1 & 1 \end{array} \right] \qquad V(y) = \left[ \begin{array}{c c} 1 & 0 \\ 0 & 1 \end{array} \right] \end{align}$

V (x) \leq V (y)

$V(x) \le V(y)$

V (x_{k}) \leq V (y_{k})

$V(x_k) \le V(y_k)$

3 x_{1} + 2 x_{2}

$3x_1 + 2x_2$

3 y_{1} + 2 y_{2}

$3y_1 + 2y_2$

V (3 x_{1} + 2 x_{2}) > V (3 y_{1} + 2 y_{2})

$V(3x_1 + 2x_2) \gt V(3y_1 + 2y_2)$

V (x) \leq V (y)

$V(x) \le V(y)$

$x$ $y$ $V(x) \le V(y)$ $a$ $V(ax) \le V(ay)$

$\le$ $V(x) \le V(y)$ $V(a_1x_1 + a_2x_2) \le V(a_1y_1 + a_2y_2)$ $a_1$ $a_2$ $a_1=1,a_2=0$ $V(x_1) \le V(y_1)$ $a_1=0,a_2=1$ $V(x_2) \le V(y_2)$

$V(x) \le V(y)$ $V(a'x) \le V(a'y)$ $a$

\begin{aligned} V (a^{'} y) - V (a^{'} x) = a^{'} V (x) a - a^{'} V (y) a = a^{'} (V (x) - V (y)) a \end{aligned}

$\begin{align} V(a'y) - V(a'x) = a'V(x)a - a'V(y)a = a'\left(V(x) - V(y) \right)a \end{align}$

\leq

$\le$

V (x) \leq V (y)

$V(x) \le V(y)$

V (a^{'} x) \leq V (a^{'} y)

$V(a'x) \le V(a'y)$

a

$a$

(V (y) - V (x))

$\left( V(y)-V(x) \right)$

$V$ $W$ $W-V$

— บิล
แหล่งที่มา