ระยะทาง Mahalanobis ผ่าน PCA เมื่อ

ฉันมีเมทริกซ์โดยที่คือจำนวนยีนและคือจำนวนผู้ป่วย ทุกคนที่ทำงานกับข้อมูลดังกล่าวรู้ว่านั้นใหญ่กว่าเสมอ โดยใช้การเลือกคุณลักษณะฉันมีอากาศลงไปจำนวนที่เหมาะสมมากขึ้น แต่ยังคงสูงกว่าn$n\times p$$p$$n$$p$$n$$p$$p$$n$

ฉันต้องการคำนวณความคล้ายคลึงกันของผู้ป่วยตามโปรไฟล์ทางพันธุกรรมของพวกเขา ฉันสามารถใช้ระยะทางแบบยุคลิดได้ แต่มาฮาโลโนบิสดูเหมือนจะเหมาะสมกว่าเพราะมันเกี่ยวข้องกับความสัมพันธ์ระหว่างตัวแปร ปัญหาที่เกิดขึ้น (ตามที่ระบุไว้ในนี้โพสต์ ) เป็นว่าระยะทาง Mahalanobis เฉพาะเมทริกซ์ความแปรปรวนร่วมไม่ทำงานเมื่อ<p เมื่อฉันเรียกใช้ระยะทาง Mahalanobis ใน R ข้อผิดพลาดที่ฉันได้รับคือ:$n < p$

 Error in solve.default(cov, ...) :    system is computationally
 singular: reciprocal condition number = 2.81408e-21

จนถึงตอนนี้ที่จะลองแก้ปัญหานี้ฉันใช้ PCA และแทนที่จะใช้ยีนฉันใช้ส่วนประกอบและดูเหมือนว่าจะทำให้ฉันคำนวณระยะทาง Mahalanobis ได้ 5 ส่วนประกอบแทนประมาณ 80% ของความแปรปรวนดังนั้นตอนนี้P$n > p$

คำถามของฉันคือ:ฉันสามารถใช้ PCA เพื่อให้ได้ระยะทาง Mahalanobis ที่มีความหมายระหว่างผู้ป่วยหรือไม่เหมาะสมหรือไม่? มีการวัดระยะทางอื่นที่ทำงานเมื่อและมีความสัมพันธ์กันมากในหมู่ตัวแปรหรือไม่?$n < p$$n$

หากคุณป้องกันส่วนประกอบทั้งหมดจาก PCA - ระยะทางแบบยุคลิดระหว่างผู้ป่วยในพื้นที่ PCA ใหม่จะเท่ากับระยะทาง Mahalanobis ในพื้นที่ตัวแปรที่สังเกตได้ ถ้าคุณจะข้ามส่วนประกอบบางอย่างมันจะเปลี่ยนไปเล็กน้อย ที่นี่ฉันหมายถึงส่วนประกอบหน่วยแปรปรวน PCA ไม่ใช่ชนิดที่มีความแปรปรวนเท่ากับค่าลักษณะเฉพาะ (ฉันไม่แน่ใจเกี่ยวกับการใช้ PCA ของคุณ)

ฉันแค่หมายความว่าถ้าคุณต้องการประเมินระยะทาง Mahalanobis ระหว่างผู้ป่วยคุณสามารถใช้ PCA และประเมินระยะทางแบบยุคลิด การประเมินระยะทาง Mahalanobis หลังจากใช้ PCA นั้นเป็นสิ่งที่ไม่มีความหมายสำหรับฉัน

ดูที่กระดาษต่อไปนี้:

Zuber, V. , Silva, APD, & Strimmer, K. (2012) อัลกอริทึมใหม่สำหรับการเลือก SNP พร้อมกันในมิติสูงการศึกษาสมาคมจีโนมทั้ง ชีวสารสนเทศศาสตร์ BMC , 13 (1), 284

มันเกี่ยวข้องกับปัญหาของคุณ ผู้เขียนคิดว่าการใช้การวัดความสำคัญของตัวแปรใหม่นอกเหนือจากที่พวกเขาแนะนำวิธีการประมาณค่าที่ถูกลงโทษสำหรับเมทริกซ์สหสัมพันธ์ของตัวแปรอธิบายซึ่งเหมาะกับปัญหาของคุณ พวกเขายังใช้ระยะทาง Mahalanobis สำหรับการตกแต่ง!

วิธีการรวมอยู่ใน R-package 'การดูแล' ที่มีอยู่ใน CRAN

คะแนน PCA (หรือผลลัพธ์ PCA) ถูกนำมาใช้ในวรรณคดีเพื่อคำนวณระยะทาง Mahalanobis ระหว่างตัวอย่างและการกระจายตัวอย่าง ยกตัวอย่างให้ดูบทความนี้ ภายใต้ส่วน "วิธีการวิเคราะห์" รัฐผู้เขียน:

ชุดข้อมูลของสเปกตรัมฟลูออเรสเซนต์ (681) จะถูกลดขนาดลง (11) โดยการประเมินส่วนประกอบหลัก (พีซี) ของเมทริกซ์สหสัมพันธ์ (681 × 681) คะแนน PC นั้นประมาณจากการฉายข้อมูลต้นฉบับตามพีซี การจำแนกระหว่างชุดข้อมูลได้ทำโดยใช้แบบจำลองระยะทาง Mahalanobis โดยคำนวณระยะทาง Mahalanobis สำหรับคะแนน PC

ฉันได้เห็นตัวอย่างอื่น ๆ ของการวิเคราะห์จำแนกตาม PCA / Mahalanobis ทางไกลในวรรณคดีและในเมนูช่วยเหลือของซอฟต์แวร์เคมีเภสัชศาสตร์ GRAMS IQ ชุดค่าผสมนี้เหมาะสมเนื่องจากระยะทาง Mahalanobis ทำงานได้ไม่ดีเมื่อจำนวนตัวแปรมากกว่าจำนวนตัวอย่างที่มีอยู่และ PCA จะลดจำนวนตัวแปร

อัลกอริทึมการเรียนรู้เครื่องจำแนกระดับหนึ่ง (เช่น Isolation Forest, One-ClassSVM และอื่น ๆ ) เป็นทางเลือกที่เป็นไปได้สำหรับการวิเคราะห์จำแนกตามระยะทาง PCA / Mahalanobis ในห้องปฏิบัติการของเรา Isolation Forest รวมกับการประมวลผลข้อมูลล่วงหน้าได้ผลลัพธ์ที่ดีในการจำแนกสเปกตรัมอินฟราเรดใกล้

ในที่เกี่ยวข้องกันเล็กน้อยทราบค่าผิดปกติหรือความแปลกใหม่การตรวจสอบที่มีระยะทาง PCA / Mahalanobis สำหรับข้อมูลมิติสูงมักจะต้องใช้การคำนวณระยะทาง Mahalanobis ตัด นี้บทความแสดงให้เห็นว่าการตัดสามารถคำนวณเป็นรากที่สองของค่าวิกฤตการแจกแจงไคสแควร์ของสมมติว่าข้อมูลจะถูกกระจายตามปกติ ค่าวิกฤตนี้ต้องการจำนวนองศาความเป็นอิสระและค่าความน่าจะเป็นที่เชื่อมโยงกับข้อมูล บทความปรากฏขึ้นเพื่อชี้ให้เห็นว่าจำนวนองค์ประกอบหลักที่เก็บรักษาไว้เท่ากับจำนวนองศาความเป็นอิสระที่จำเป็นในการคำนวณค่าวิกฤตเพราะผู้เขียนใช้จำนวนของคุณสมบัติในชุดข้อมูลสำหรับการคำนวณของพวกเขา