ทำไมเมทริกซ์สหสัมพันธ์จึงต้องมีค่ากึ่งบวกแน่นอนและมันหมายความว่าอะไรเป็นค่ากึ่งบวกแน่นอน?

ฉันได้ค้นคว้าความหมายของคุณสมบัติกึ่งบวกแน่นอนของสหสัมพันธ์หรือเมทริกซ์ความแปรปรวนร่วม

ฉันกำลังมองหาข้อมูลใด ๆ

นิยามของความแน่นอนกึ่งบวก
คุณสมบัติที่สำคัญของมันผลกระทบในทางปฏิบัติ;
ผลที่ตามมาของการมีปัจจัยลบผลกระทบต่อการวิเคราะห์หลายตัวแปรหรือผลการจำลอง ฯลฯ

คุณต้องการที่จะเข้าใจว่ากึ่งเด็ดขาดคืออะไรหรือคุณต้องการที่จะรู้ว่าทำไมเมทริกซ์สหสัมพันธ์จึงต้องมีกึ่งแน่นอนหรือคุณต้องการที่จะรู้ว่าผลลัพธ์นี้มีนัยสำคัญโดยนัยของคุณสมบัตินี้หรือไม่?

— whuber

หากเมทริกซ์สหสัมพันธ์ที่ไม่แน่นอนกึ่งบวกคุณก็จะได้ความแปรปรวนที่เป็นลบ

ฉันแก้ไขคำถามของคุณเล็กน้อยโปรดตรวจสอบ นอกจากนี้โปรดทราบว่าเมทริกซ์ที่มีค่าลักษณะเชิงลบเป็นจำนวนคู่จะยังคงมีปัจจัยบวก

— ttnphns

เมทริกซ์ความแปรปรวนร่วมนั้นไม่เท่ากับเมทริกซ์สหสัมพันธ์เสมอไป! ความแปรปรวนร่วมพิจารณาตัวแปรปกติในขณะที่เมทริกซ์สหสัมพันธ์นั้นไม่

— Manoj Kumar

คำถามที่เกี่ยวข้อง: เมทริกซ์ความแปรปรวนร่วมเป็นบวกแน่นอนหรือไม่ พิจารณากรณีที่กว้างขึ้นของเมทริกซ์ความแปรปรวนร่วมซึ่งเมทริกซ์สหสัมพันธ์เป็นกรณีพิเศษ ยังคือทุกความสัมพันธ์ในเชิงบวกเมทริกซ์กึ่งแน่นอน? และเมทริกซ์สหสัมพันธ์ทุกตัวเป็นค่าบวกแน่นอนหรือไม่

— Silverfish

คำตอบ:

ความแปรปรวนของน้ำหนักรวมของตัวแปรสุ่มต้องไม่เป็นค่าลบสำหรับตัวเลือกทั้งหมดของจำนวนจริงฉันเนื่องจากความแปรปรวนสามารถแสดงเป็น $\sum_i a_i X_i$ $a_i$

var (\underset{ผม}{Σ} a_{ผม} X_{ผม}) = \underset{ผม}{Σ} \underset{J}{Σ} a_{ผม} a_{J} COV (X_{ผม}, X_{J}) = \underset{ผม}{Σ} \underset{J}{Σ} a_{ผม} a_{J} Σ_{ผม, J},

$\operatorname{var}\left(\sum_i a_i X_i\right) = \sum_i \sum_j a_ia_j \operatorname{cov}(X_i,X_j) = \sum_i \sum_j a_ia_j \Sigma_{i,j},$ เรามีเมทริกซ์ความแปรปรวนร่วม

ต้องเป็น semidefinite บวก (ซึ่งบางครั้งเรียกว่า nonnegative definite) จำได้ว่าเมทริกซ์

เรียกว่า semidefinite ที่เป็นบวกถ้าหาก

Σ = [Σ_{i, j}]

$\Sigma = [\Sigma_{i,j}]$

C

$C$

\underset{ผม}{Σ} \underset{J}{Σ} a_{ผม} a_{J} C_{ผม, J} \geq 0 \forall a_{ผม}, a_{J} \in R .

$\sum_i \sum_j a_ia_j C_{i,j} \geq 0 \;\; \forall a_i, a_j \in \mathbb R.$

— Dilip Sarwate
แหล่งที่มา

ขอบคุณฉันลบ downvote ของฉัน แต่ฉันไม่ได้ upvote เพราะไม่ได้ตอบเกี่ยวกับการใช้งานจริง บอกว่าฉันมีเมทริกซ์ที่ไม่แน่นอนบวก (เนื่องจากตัวอย่างการปรับเปลี่ยนโดย 'ผู้เชี่ยวชาญ') จะเกิดอะไรขึ้นหากฉันใช้เพื่อปรับเทียบและ / หรือจำลองข้อมูล โดยเฉพาะนี่เป็นปัญหาที่แท้จริงเมื่อพยายามศึกษาผลรวมจำนวนมากและมีค่าไอเก็นเชิงลบเพียงไม่กี่ตัวหรือไม่? อะไรจะเป็นอัลกอริธึมที่มีประสิทธิภาพในการแปลงเมทริกซ์สหสัมพันธ์แบบกึ่งบวกแน่นอนที่ไม่ใช่บวกให้เป็นบวกกึ่งบวกแน่นอน? สิ่งที่จะเป็นผลกระทบของอัลกอริทึมนี้?

— lcrmorin

@Were_cat ขอบคุณสำหรับการกลับลงมาของโหวต

— Dilip Sarwate

คุณช่วยอธิบายความเสมอภาคแรกในสมการแรกได้ไหม

— Vivek Subramanian

@VivekSubramanian Variance เป็นกรณีพิเศษของฟังก์ชันความแปรปรวนร่วม:

และฟังก์ชันความแปรปรวนร่วมเป็นbilinear (หมายถึงมันเป็นฟังก์ชันเชิงเส้นตรงกับแต่ละอาร์กิวเมนต์:

var (X) = cov (X, X)

$\operatorname{var}(X)=\operatorname{cov}(X,X)$

\begin{aligned} COV (\underset{ผม}{Σ} a_{ผม} X_{ผม}, Y) & = \underset{ผม}{Σ} a_{ผม} COV (X_{ผม}, Y) \\ COV (X, \underset{ผม}{Σ} ข_{J} Y_{J},) & = \underset{J}{Σ} ข_{J} COV (X, Y_{J}) \end{aligned}

$\begin{align}\operatorname{cov}\left(\sum_i a_iX_i,Y\right)&=\sum_i a_i\operatorname{cov}(X_i,Y)\\ \operatorname{cov}\left(X, \sum_i b_jY_j,\right) &=\sum_j b_j \operatorname{cov}(X,Y_j)\end{align}$

— Dilip Sarwate

คำตอบนั้นง่ายมาก

เมทริกซ์ความสัมพันธ์ถูกกำหนดดังนี้:

ให้ $X = [x_1, x_2, ..., x_n]$ $m\times n$ $m$ $n$

$X_b= [\frac{(x_1-\mu_1 e)}{s_1}, \frac{(x_2-\mu_2 e)}{s_2}, \frac{(x_3-\mu_3 e)}{s_3}, ...]$ $\mu_1$ $\mu_2$ $s_1$ $e$

เมทริกซ์สหสัมพันธ์นั้น

C = X_{ข}^{'} X_{ข}

$C=X_b' X_b$

$A$ $z$ $z' A z <0$

$C$ $w' C w<0$ 0

$(w' C w)=(w' X_b' X_b w)=(X_b w)'(X_b w) = {z_1^2+z_2^2...}$ $z=X_b w$ $w' C w$

$U$ $V' V$

— เกรเกอร์
แหล่งที่มา

นี่คือคำตอบที่ชัดเจนและมีประโยชน์ที่สุด ขอบคุณมาก!

— Yohan Obadia

(ความเป็นไปได้ที่หลวมในการให้เหตุผลจะเป็นของฉันฉันไม่ใช่นักคณิตศาสตร์: นี่เป็นการพรรณนาไม่ใช่การพิสูจน์และมาจากการทดลองเชิงตัวเลขของฉันไม่ใช่จากหนังสือ)

semidefinite บวก (PSD) เมทริกซ์ที่เรียกว่าเมทริกซ์ Gramian เป็นเมทริกซ์ที่ไม่มีค่าลักษณะเฉพาะเชิงลบ เมทริกซ์ที่มีค่าลักษณะเฉพาะเชิงลบนั้นไม่ใช่ semidefinite เชิงบวกหรือไม่ใช่แกรมเมีย ทั้งสองอย่างนี้สามารถกำหนดได้อย่างชัดเจน (ไม่มีค่า eigenvalues) หรือเอกพจน์ (อย่างน้อยหนึ่งค่า eigenvalue) [คำว่า "Gramian" ถูกนำมาใช้ในความหมายที่แตกต่างกันในทางคณิตศาสตร์ดังนั้นควรหลีกเลี่ยงบางที]
ในสถิติเรามักจะใช้คำเหล่านี้กับเมทริกซ์ประเภท SSCP หรือที่เรียกว่าเมทริกซ์ผลิตภัณฑ์สเกลาร์ ความสัมพันธ์หรือความแปรปรวนร่วมการฝึกอบรมเป็นกรณีเฉพาะของเมทริกซ์ดังกล่าว
$n$ $p$ $p$ $p$ $n$ $n$ เมทริกซ์ความแปรปรวนร่วมระหว่างเคส เมื่อคุณคำนวณจากข้อมูลจริงเมทริกซ์จะเป็น Gramian เสมอ คุณอาจได้รับเมทริกซ์ที่ไม่ใช่แกรมเมีย (ไม่ใช่ psd) ถ้า (1) มันเป็นเมทริกซ์ความคล้ายคลึงกันที่วัดโดยตรง (เช่นไม่ได้คำนวณจากข้อมูล) หรือการวัดความคล้ายคลึงกันไม่ใช่ประเภท SSCP; (2) ค่าเมทริกซ์ถูกป้อนอย่างไม่ถูกต้อง (3) เมทริกซ์เป็นจริงใน Gramian แต่เป็น (หรือใกล้เคียงกับ) เอกพจน์ที่บางครั้งวิธีสเปกตรัมของการคำนวณค่าลักษณะเฉพาะทำให้เกิดค่าลบเล็ก ๆ แทนค่าจริงหรือบวกเล็กน้อย
$d_{12}^2 = h_1^2+h_2^2-2s_{12}$ $s$ $h$ $X$ $Y$ $d_{xy}^2 = \sigma_x^2+\sigma_y^2-2cov_{xy}$
$m$ $m$
$m$ $m$ $m$
สาเหตุที่เป็นไปได้หรือรุ่นของการกำหนดค่าที่ไม่ใช่แกรมเมีย (ไม่ใช่ยูคลิด) คืออะไร คำตอบจะตามมาด้วยการไตร่ตรอง [จุดที่ 4]
- $m$ $m$ $d$
- $h$ $d$ $d$ $h$ $h$
- $d$ $h$ $h_1+h_2 \ge d_{12} \ge |h_1-h_2|$
$|cov_{ij}| \gt \sigma_i \sigma_j$

Fig1

Fig1

รูปที่ 2

รูปที่ 2

Fig3

Fig3

— ttnphns
แหล่งที่มา

จุดที่ 6 ต้องการการสาธิต: คุณแสดงให้เห็นว่าเมทริกซ์ของระยะทางแบบยุคลิดแบบสแควร์คือ pd แต่คุณยืนยันโดยไม่มีข้อพิสูจน์ว่าแต่ละเมทริกซ์ pd นั้นสอดคล้องกับการกำหนดค่าแบบยุคลิดของจุด นอกจากนี้คุณยังไม่ได้เชื่อมโยงคำจำกัดความของ pd ("ไม่มีค่าลักษณะเชิงลบ") กับการกำหนดลักษณะที่ตามมาของคุณ แนวคิดหลักมาถึงจุดสิ้นสุด (จุดที่ 8): เมทริกซ์ pd สามารถใช้เพื่อกำหนดระยะทาง เหตุผลนี่คือที่ที่คุณควรเริ่มการวิเคราะห์

— whuber

@whuber: ขอบคุณสำหรับการประเมินที่สำคัญ ฉันกลัวเมื่อมันพิสูจน์ให้เห็นถึงบางสิ่งบางอย่างทางคณิตศาสตร์ฉันจม ฉันได้รายงานส่วนหนึ่งของประสบการณ์ภาคปฏิบัติ (ฉันพูดแบบนั้น); คำตอบไม่ได้เป็นลำดับการวิเคราะห์ คุณไม่ต้องการเพิ่มคำตอบของคุณเองที่สามารถแก้ไข / ปรับปรุงของฉันได้หรือไม่? มันอาจกลายเป็นความช่วยเหลือที่มีค่า หรือคุณมีอิสระในการทำงานกับข้อความของฉันเพื่อปรับปรุงหากคุณพบว่ามันไม่ได้ไร้ประโยชน์อย่างจริงจัง

— ttnphns

ป.ล. จุดที่ 8 ของฉันบอกเป็นนัยว่าตั้งแต่จุดศูนย์กลางจุดยึดสองจุดเป็นการกำหนดค่าจุดไปยังเซนทรอยด์ของมันการดำเนินการนี้ไม่ได้เป็นการแนะนำที่ไม่เกี่ยวกับปริภูมิ (มันก่อให้เกิดภาวะเอกฐานเฉพาะ จากนั้นเราสามารถตรวจสอบว่าการกำหนดค่าเริ่มต้นคือยูคลิด มันไม่ถูกต้องเหรอ?

— ttnphns