การทำเมทริกซ์สหสัมพันธ์ 3x3 ให้สัมประสิทธิ์สองตัวของสามตัว


20

ฉันถูกถามคำถามนี้ในการสัมภาษณ์

ให้บอกว่าเรามีเมทริกซ์สหสัมพันธ์ของรูปแบบ

[10.60.80.61γ0.8γ1]

ฉันถูกขอให้ค้นหาค่าของแกมม่าเนื่องจากเมทริกซ์สหสัมพันธ์นี้
ฉันคิดว่าฉันสามารถทำบางสิ่งกับค่าลักษณะเฉพาะได้เนื่องจากพวกเขาควรจะมากกว่าหรือเท่ากับ 0 (เมทริกซ์ควรเป็น semidefinite บวก) - แต่ฉันไม่คิดว่าวิธีการนี้จะให้คำตอบ ฉันไม่มีเคล็ดลับ

คุณกรุณาให้คำแนะนำเพื่อแก้ปัญหาเดียวกันได้หรือไม่?


ความคิดเห็นไม่ได้มีไว้สำหรับการอภิปรายเพิ่มเติม การสนทนานี้ได้รับการย้ายไปแชท
whuber

1
ค้นหาไซต์นี้นำโดยตรงไปยังหนึ่ง (หลาย) หัวข้อที่มีสูตรที่เกี่ยวข้อง: stats.stackexchange.com/questions/5747 นอกจากนี้ยังมีประโยชน์ในการแปลงคำตอบโดยเฟลิกซ์ s
whuber

คำตอบ:


21

เรารู้อยู่แล้วมีขอบเขตระหว่าง[ - 1 , 1 ] เมทริกซ์ความสัมพันธ์ควรจะบวก semidefinite และด้วยเหตุนี้ผู้เยาว์หลักที่ควรจะไม่ติดลบγ[1,1]

ดังนั้น

1(1γ2)0.6(0.60.8γ)+0.8(0.6γ0.8)0γ2+0.96γ0γ(γ0.96)0 and 1γ10γ0.96

4
@novice คุณอาจต้องการอ่านเกี่ยวกับเกณฑ์ของ Sylvester
rightskewed

คำตอบที่ดี ฉันจะเพิ่มสิ่งต่อไปนี้: วิธีที่ได้รับความนิยมในการได้รับแกมม่าคือพยายามค้นหาแกมม่าที่จะนำไปสู่เมทริกซ์สหสัมพันธ์ของบรรทัดฐานนิวเคลียร์ที่เล็กที่สุด (aka ky-fan norm) ที่เป็นไปได้ในขณะที่แก้สมการข้างต้น สำหรับข้อมูลเพิ่มเติมดูขึ้น "เสร็จสิ้นเมทริกซ์", "การตรวจจับอัด" หรือตรวจสอบรายงานนี้ในหัวข้อbit.ly/2iwY1nW
Mustafa S Eisa

1
ในการพิสูจน์สิ่งนี้คุณต้องได้ผลลัพธ์ในทิศทางอื่น: ถ้าผู้เยาว์ที่ไม่เป็นผู้นำทั้งหมดและเมทริกซ์มีดีเทนต์0เมทริกซ์นั้นจะเป็นค่าบวกเชิงบวก >00
Federico Poloni

10

นี่เป็นวิธีที่ง่ายกว่า (และอาจจะเป็นวิธีที่ง่ายกว่า):

คิดแปรปรวนเป็นผลิตภัณฑ์ภายในมากกว่าพื้นที่เวกเตอร์นามธรรม จากนั้นรายการในสัมพันธ์เมทริกซ์ที่มีสำหรับเวกเตอร์v 1 , V 2 , วี 3ที่วงเล็บมุมวีผม , วีเจหมายถึงมุมระหว่างวีฉันและวีเจcosโวลต์ผม,โวลต์Jโวลต์1โวลต์2โวลต์3โวลต์ผม,โวลต์Jโวลต์ผมโวลต์J

ไม่ยากที่จะจินตนาการว่าถูกล้อมรอบด้วย| v 1 , v 2± v 1 , v 3| . ผูกพันในโคไซน์มัน ( γ ) จึงcos [วี 1 , V 2± วี 1 , V 3 ] ตรีโกณมิติพื้นฐานจากนั้นให้แกมมา[ 0.6 ×โวลต์2,โวลต์3|โวลต์1,โวลต์2±โวลต์1,โวลต์3|γcos[โวลต์1,โวลต์2±โวลต์1,โวลต์3] ]γ[0.6×0.8-0.6×0.8,0.6×0.8+0.6×0.8]=[0,0.96]

แก้ไข:หมายเหตุว่าในบรรทัดสุดท้ายมันcos วี 1 , V 2cos วี 1 , V 3บาปวี 1 , V 3บาปวี 1 , โวลต์ 2 - การปรากฏตัวครั้งที่สองของ 0.6 และ 0.8 เกิดขึ้นโดยบังเอิญขอบคุณ0.6 2 + 0.8 2 = 10.6×0.80.6×0.8cosโวลต์1,โวลต์2cosโวลต์1,โวลต์3บาปโวลต์1,โวลต์3บาปโวลต์1,โวลต์20.62+0.82=1.


1
+1, การให้เหตุผลเชิงเรขาคณิตที่ถูกต้อง (โดยกล่าวว่าฉันไม่ได้ตรวจสอบการคำนวณของคุณ) นี่คือสิ่งที่ฉันเสนอในความคิดเห็นต่อคำถาม (น่าเสียดายที่ความคิดเห็นทั้งหมดถูกย้ายโดยผู้ดำเนินรายการเพื่อแชทดูลิงก์ด้านบน)
ttnphns

มันดูเหมือนว่าฉันคุณได้ "การพิสูจน์" ว่าความสัมพันธ์ทั้งหมดจะต้องไม่เป็นลบเพราะมันปรากฏคำนวณของคุณจะเสมอให้เป็นศูนย์สำหรับวงเงินที่ต่ำกว่า หากไม่เป็นเช่นนั้นคุณสามารถอธิบายรายละเอียดเกี่ยวกับวิธีการคำนวณโดยทั่วไปได้หรือไม่ ฉันไม่เชื่อจริง ๆ - หรืออาจจะไม่เข้าใจ - ขอบเขตของคุณเพราะในสามมิติหรือมากกว่านั้นคุณสามารถหาซึ่งทั้งv 1v 2 = v 1v 3 = 0แล้ว ขอบเขตของคุณหมายถึงv 2v 3เป็นศูนย์เสมอ! (cc @ttnphns)v1v1v2=v1v3=0v2v3
เสียงหวือ

@whuber: Sorry about the confusion. The calculation does not always give zero for the lower limit. I've amended my answer.
yangle

How do you respond to my last concern? It seems to indicate your bounds are incorrect.
whuber

@whuber: In your case, ⟨v1,v2⟩=⟨v1,v3⟩=π/2, hence the bound |⟨v1,v2⟩±⟨v1,v3⟩| is [0, π] as expected. The bound cos⟨v1,v2⟩cos⟨v1,v3⟩∓sin⟨v1,v3⟩sin⟨v1,v2⟩ on γ also works out to be [-1, 1].
yangle

4

Here is what I meant in my initial comment to the answer and what I perceive @yangle may be speaking about (although I didn't follow/check their computation).

"Matrix should be positive semidefinite" implies the variable vectors are a bunch in Euclidean space. The case of correlation matrix is easier than covariance matrix because the three vector lengths are fixed to be 1. Imagine 3 unit vectors X Y Z and remember that r is the cosine of the angle. So, cosα=rxy=0.6, and cosβ=ryz=0.8. What might be the boundaries for cosγ=rxz? That correlation can take on any value defined by Z circumscribing about Y (keeping angle ryz=0.8 with it):

enter image description here

As it spins, two positions are remarkable as ultimate wrt X, both are when Z falls into the plane XY. One is between X and Y, and the other is on the opposite side of Y. These are shown by blue and red vectors. At both these positions exactly the configuration XYZ (correlation matrix) is singular. And these are the minimal and maximal angle (hence correlation) Z can attain wrt X.

Picking the trigonometric formula to compute sum or difference of angles on a plane, we have:

cosγ=rxyryz(1rxy2)(1ryz2)=[0,0.96] as the bounds.

This geometric view is just another (and a specific and simpler in 3D case) look on what @rightskewed expressed in algebraic terms (minors etc.).


If X,Y,Z are random variables, how do you map them to vectors in 3d space (They can only be vectors in 1d space). Also if the RV's are Nx1, then they will be vectors in N dimensional space?
novice

@novice Yes, they are initially 3 vectors in Nd space, but only 3 dimensions are nonredundant. Please follow the 2nd link in the answer and read further reference there to subject space where it is explained.
ttnphns

4

Playing around with principal minors may be fine on 3 by 3 or maybe 4 by 4 problems, but runs out of gas and numerical stability in higher dimensions.

For a single "free" parameter problem such as this, it's easy to see that that the set of all values making the matrix psd will be a single interval. Therefore, it is sufficient to find the minimum and maximum such values. This can easily be accomplished by numerically solving a pair of linear SemiDefinite Programming (SDP) problems:

  1. minimize γ subject to matrix is psd.
  2. maximize γ subject to matrix is psd.

For example, these problems can be formulated and numerically solved using YALMIP under MATLAB.

  1. gamma = sdpvar; A = [1 .6 .8;.6 1 gamma;.8 gamma 1]; optimize(A >= 0, gamma)
  2. optimize(A >= 0,-gamma)

Fast, easy, and reliable.

BTW, if the smarty pants interviewer asking the question doesn't know that SemiDefinite Programming, which is well-developed and has sophisticated and easy to use numerical optimizers for reliably solving practical problems, can be used to solve this problem, and many much more difficult variants, tell him/her that this is no longer 1870, and it's time to take advantage of modern computational developments.


4

Let us consider the following convex set

{(x,y,z)R3:[1xyx1zyz1]O3}

which is a spectrahedron named 3-dimensional elliptope. Here's a depiction of this elliptope

enter image description here

Intersecting this elliptope with the planes defined by x=0.6 and by y=0.8, we obtain a line segment whose endpoints are colored in yellow

enter image description here

The boundary of the elliptope is a cubic surface defined by

det[1xyx1zyz1]=1+2xyzx2y2z2=0

If x=0.6 and y=0.8, then the cubic equation above boils down to the quadratic equation

0.96zz2=z(0.96z)=0

Thus, the intersection of the elliptope with the two planes is the line segment parametrized by

{(0.6,0.8,t)0t0.96}

1

Every positive semi-definite matrix is a correlation/covariance matrix (and vice versa).

To see this, start with a positive semi-definite matrix A and take its eigen-decomposition (which exists by the spectral theorm, since A is symmetric) A=UDUT where U is a matrix of orthonormal eigenvectors and D is a diagonal matrix with eigen values on the diagonal. Then, let B=UD1/2UT where D1/2 is a diagonal matrix with the square root of eignevalues on the diagonal.

Then, take a vector with i.i.d. mean zero and variance 1 entries, x and note that Bx also has mean zero, and covariance (and correlation) matrix A.

Now, to see every correlation/covariance matrix is positive semi-definite is simple: Let R=E[xxT] be a correlation matrix. Then, R=RT is easy to see, and aTRa=E[(aTx)2]0 so the Rayleigh quotient is non-negative for any non-zero a so R is positive semi-definite.

Now, noting that a symmetric matrix is positive semi-definite if and only if its eigenvalues are non-negative, we see that your original approach would work: calculate the characteristic polynomial, look at its roots to see if they are non-negative. Note that testing for positive definiteness is easy with Sylvester's Criterion (as mentioned in another answer's comment; a matrix is positive definite if and only if the principal minors all have positive determinant); there are extensions for semidefinite (all minors have non-negative determinant), but you have to check 2n minors in this case, versus just n for positive definite.

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.