จะทำอย่างไรเมื่อเมทริกซ์ความแปรปรวนร่วมตัวอย่างไม่สามารถกลับด้านได้

ฉันกำลังทำงานกับเทคนิคการจัดกลุ่มบางอย่างซึ่งสำหรับกลุ่ม d- มิติเวกเตอร์ที่กำหนดฉันถือว่าการแจกแจงปกติหลายตัวแปรและคำนวณตัวอย่างเวกเตอร์เฉลี่ยมิติสามมิติและเมทริกซ์ความแปรปรวนร่วมตัวอย่าง

จากนั้นเมื่อพยายามที่จะตัดสินใจว่าเวกเตอร์ d-มิติใหม่ที่ยังไม่ถูกมองเป็นของกลุ่มนี้ฉันกำลังตรวจสอบระยะทางผ่านทางวัดนี้:

{(X_{i} - {\hat{μ}}_{X})}^{'} {\hat{σ}}_{X}^{- 1} (X_{i} - {\hat{μ}}_{X}) > B_{0.95} (\frac{p}{2}, \frac{- p}{2})

$\left(X_i-\hat{\mu}_X\right)'\hat{\sigma}_X^{-1}\left(X_i-\hat{\mu}_X\right)>B_{0.95}\left(\frac{p}{2},\frac{-p}{2}\right)$

ซึ่งจะต้องมีฉันในการคำนวณค่าผกผันของการแปรปรวนเมทริกซ์\แต่จากตัวอย่างบางอย่างที่ฉันไม่สามารถรับประกันได้ว่าเมทริกซ์ความแปรปรวนร่วมจะกลับกันได้ฉันควรทำอย่างไรในกรณีที่ไม่เป็นเช่นนั้น $\hat{\sigma}_X$

ขอบคุณ

— อาลี
แหล่งที่มา

มันขึ้นอยู่กับสิ่งที่ทำให้เมทริกซ์ไม่สามารถย้อนกลับได้ สาเหตุที่เป็นไปได้คือ (a) ตัวอย่างที่คุณใช้ในการคำนวณเมทริกซ์ความแปรปรวนร่วมมีขนาดเล็กเกินไป (b) ตัวอย่างของคุณมีขนาดเพียงพอ แต่สมาชิกไม่ได้ถูกดึงมาจากการกระจายอย่างต่อเนื่องเพื่อให้คอลัมน์ / แถวของตัวอย่างของคุณซ้ำ .

— user603

ฉันคิดว่าขนาดตัวอย่างจะเล็ก

— Aly

@ Anony-Mousse ฉันทำให้แน่ใจว่าตอนนี้ฉันกำลังใช้ตัวอย่างอย่างน้อยหลายมิติเป็นอย่างอื่นมิฉะนั้นเมทริกซ์จะขาดอันดับ จนถึงตอนนี้ไม่มีปัญหา แต่ฉันคิดว่าด้วยความแปรปรวนร่วมตัวอย่างมันไม่สามารถย้อนกลับได้?

— Aly

ทำไมต้องกลับด้านเสมอ? ด้วยการสังเกตเพียงครั้งเดียวค่าเฉลี่ยเท่ากับการสังเกตนั้นดังนั้นความแปรปรวนร่วมตัวอย่างคือเมทริกซ์ศูนย์ซึ่งจะไม่กลับด้าน ฉันคิดว่าเมทริกซ์จะต้องมีการจัดอันดับเต็มเพื่อคว่ำและมันจะเป็นของอันดับเต็มถ้าจำนวนตัวอย่าง> = มิติ

M M^{T}

$MM^T$

— Korone

@corone ทำให้เข้มงวด>

— user603

หากขนาดตัวอย่างของคุณน้อยกว่ามิติพื้นที่ของเวกเตอร์เมทริกซ์เอกพจน์อาจเกิดขึ้น หากคุณมีตัวอย่างน้อยกว่า (เมื่อคือมิติของคุณ) สถานการณ์นี้แม้จำเป็นต้องที่จะเกิดขึ้น:ตัวอย่างช่วงที่มากที่สุดไฮเปอร์เพลมิติ จากตัวอย่างเล็ก ๆ นี้คุณไม่สามารถคำนวณความแปรปรวนในพื้นที่มุมฉากได้ $d+1$ $d$ $k+1$ $d$

นี่คือสาเหตุที่เป็นเรื่องธรรมดาที่จะไม่ใช้ PCA ตามตัวอักษร แต่แทนที่จะทำการสลายค่าเอกพจน์ซึ่งสามารถใช้ในการคำนวณpseudoinverseของเมทริกซ์ ถ้าเมทริกซ์กลับด้านได้ pseudoinverse จะเป็นอินเวอร์ส

อย่างไรก็ตามถ้าคุณเห็นเมทริกซ์ที่ไม่สามารถย้อนกลับได้โอกาสที่ระยะทางของคุณจากคลัสเตอร์จะไม่มีความหมายหากเวกเตอร์อยู่นอกไฮเปอร์เพลนของการแสดงคลัสเตอร์เนื่องจากคุณไม่ทราบความแปรปรวนในพื้นที่มุมฉาก (คุณสามารถคิดถึง ความแปรปรวนนี้เป็น 0!) SVD สามารถคำนวณ pseudoinverse แต่ "ความแปรปรวน" จะยังไม่ถูกกำหนดโดยข้อมูลของคุณ

ในกรณีนี้คุณน่าจะทำการลดขนาดทั่วโลกเสียก่อน การเพิ่มขนาดตัวอย่างจะช่วยได้ก็ต่อเมื่อคุณมีมิติที่ไม่ซ้ำซ้อน: ไม่ว่าคุณจะสุ่มตัวอย่างจากการแจกแจงด้วยมากแค่ไหนเมทริกซ์จะไม่สามารถย้อนกลับได้เสมอและคุณจะไม่สามารถตัดสินการเบี่ยงเบนได้เกี่ยวกับค่าเบี่ยงเบนมาตรฐาน (ซึ่งคือ 0) $y=x$ $x-y$

นอกจากนี้ขึ้นอยู่กับวิธีที่คุณคำนวณเมทริกซ์ความแปรปรวนร่วมคุณอาจพบปัญหาเชิงตัวเลขเนื่องจากการยกเลิกหายนะ วิธีแก้ปัญหาที่ง่ายที่สุดคือการจัดศูนย์ข้อมูลให้อยู่กึ่งกลางเสมอเพื่อให้ได้ค่าเฉลี่ยเป็นศูนย์

— มี QUIT - Anony-Mousse
แหล่งที่มา

ขออภัยที่ตอบกลับที่นี่ แต่ฉันกำลังทำงานกับปัญหาเดียวกัน ฉันกำลังเปรียบเทียบระยะการจัดกลุ่มผ่านระยะทาง Mahalanobis ซึ่งต้องใช้เมทริกซ์ความแปรปรวนร่วมผกผัน อย่างไรก็ตามในกรณีของฉันฉันได้รับข้อผิดพลาดเดียวกัน ดังนั้นฉันจึงลอง SingularValueDecomposition แต่คราวนี้ระยะทางทั้งหมดเท่ากัน 1.4: D ฉันไม่สามารถหาได้

— MonsterMMORPG