ฉันมีชุดข้อมูลขนาดใหญ่ที่มีตัวแปร 2500 ตัวและชอบการสังเกต 142 ครั้ง

ฉันต้องการเรียกใช้ความสัมพันธ์ระหว่าง Variable X และส่วนที่เหลือของตัวแปร แต่สำหรับคอลัมน์จำนวนมากมีรายการขาดหายไป

ฉันพยายามทำสิ่งนี้ใน R โดยใช้อาร์กิวเมนต์ "pairwise-complete" ( use=pairwise.complete.obs) และมันแสดงความสัมพันธ์จำนวนมาก แต่บางคนใน StackOverflow โพสต์ลิงก์ไปยังบทความนี้http://bwlewis.github.io/covar/missing.htmlและทำให้วิธีการ "จับคู่แบบเต็ม" ใน R ดูใช้ไม่ได้

คำถามของฉัน: ฉันจะรู้ได้อย่างไรว่าเมื่อใดที่เหมาะสมที่จะใช้ตัวเลือก "pairwise-complete"

ฉันuse = complete.obsกลับมาno complete element pairsแล้วดังนั้นถ้าคุณสามารถอธิบายสิ่งที่มีความหมายเช่นนั้นก็จะดี

ปัญหาที่มีความสัมพันธ์กับการสังเกตที่สมบูรณ์แบบคู่

ในกรณีที่คุณอธิบายปัญหาหลักคือการตีความ เนื่องจากคุณใช้การสังเกตที่สมบูรณ์แบบคู่คุณกำลังวิเคราะห์ชุดข้อมูลที่แตกต่างกันเล็กน้อยสำหรับแต่ละสหสัมพันธ์ขึ้นอยู่กับว่าการสังเกตใดหายไป

ลองพิจารณาตัวอย่างต่อไปนี้:

a <- c(NA,NA,NA, 5, 6, 3, 7, 8, 3)
b <- c(2, 8, 3, NA,NA,NA, 6, 9, 5)
c <- c(2, 9, 6, 3, 2, 3, NA,NA,NA) 

สามตัวแปรในชุดข้อมูลที่a, bและcแต่ละคนมีค่าที่ขาดหายไปบางส่วน หากคุณคำนวณความสัมพันธ์กับคู่ของตัวแปรที่นี่คุณจะสามารถใช้กรณีที่ไม่มีค่าที่หายไปสำหรับตัวแปรทั้งสองในคำถาม ในกรณีนี้หมายความว่าคุณจะวิเคราะห์เพียงแค่ช่วง 3 กรณีความสัมพันธ์ระหว่างaและbเพียงแค่สามกรณีเป็นครั้งแรกสำหรับความสัมพันธ์ระหว่างbและcฯลฯ

ความจริงที่ว่าคุณกำลังวิเคราะห์กรณีที่แตกต่างอย่างสิ้นเชิงเมื่อคุณคำนวณแต่ละสหสัมพันธ์หมายความว่ารูปแบบผลลัพธ์ของความสัมพันธ์สามารถดูไร้สาระได้ ดู:

> cor(a,b, use = "pairwise.complete.obs")
[1] 0.8170572
> cor(b,c, use = "pairwise.complete.obs")
[1] 0.9005714
> cor(a,c, use = "pairwise.complete.obs")
[1] -0.7559289

สิ่งนี้ดูเหมือนความขัดแย้งเชิงตรรกะ --- aและbมีความสัมพันธ์เชิงบวกอย่างมากและbและcยังมีความสัมพันธ์เชิงบวกอย่างมากดังนั้นคุณคาดหวังaและcมีความสัมพันธ์เชิงบวกเช่นกัน แต่จริงๆแล้วมีความสัมพันธ์ที่แข็งแกร่งในทิศทางตรงกันข้าม คุณสามารถเห็นได้ว่าทำไมนักวิเคราะห์จำนวนมากถึงไม่ชอบ

แก้ไขเพื่อรวมคำอธิบายที่เป็นประโยชน์จาก whuber:

โปรดสังเกตว่าส่วนหนึ่งของการโต้แย้งนั้นขึ้นอยู่กับความสัมพันธ์ที่ "แข็งแกร่ง" อาจหมายถึง มันค่อนข้างเป็นไปได้สำหรับaและbเช่นเดียวกับbและcเป็น "มีความสัมพันธ์เชิงบวกอย่างมาก" ในขณะที่มี "ความสัมพันธ์ที่แข็งแกร่งในทิศทางตรงกันข้าม" ระหว่างaและcมี แต่ไม่มากเท่าในตัวอย่างนี้ ประเด็นสำคัญของเรื่องนี้คือเมทริกซ์สหสัมพันธ์ที่ประมาณไว้ (หรือความแปรปรวนร่วม) อาจไม่เป็นบวกแน่นอน: นั่นเป็นวิธีที่เราควรหาปริมาณ "แข็งแกร่ง"

ปัญหากับประเภทของการหายไป

คุณอาจจะคิดกับตัวเองว่า "ก็ไม่เป็นไรใช่ไหมที่จะคิดว่าเซตย่อยของคดีที่ฉันมีให้สำหรับแต่ละสหสัมพันธ์นั้นมีรูปแบบเดียวกันมากขึ้นหรือน้อยลงถ้าฉันมีข้อมูลที่สมบูรณ์" และใช่มันเป็นความจริง --- ไม่มีอะไรผิดปกติกับการคำนวณสหสัมพันธ์บนชุดย่อยของข้อมูลของคุณ (แม้ว่าคุณจะสูญเสียความแม่นยำและพลังแน่นอนเพราะขนาดตัวอย่างที่เล็กลง) ตราบใดที่ข้อมูลที่มีอยู่เป็นแบบสุ่ม ตัวอย่างของข้อมูลทั้งหมดที่จะอยู่ที่นั่นถ้าคุณไม่มีความหายไป

เมื่อการหายตัวไปของการสุ่มล้วนเรียกว่า MCAR (สุ่มโดยสมบูรณ์) ในกรณีดังกล่าวการวิเคราะห์ชุดย่อยของข้อมูลที่ไม่มีความหายไปจะไม่ทำให้เกิดผลลัพธ์ของคุณอย่างเป็นระบบและมันก็ไม่น่าเป็นไปได้ (แต่ไม่ใช่เป็นไปไม่ได้) ที่จะได้รูปแบบสหสัมพันธ์ที่ฉันแสดงในตัวอย่างด้านบน

เมื่อการหายตัวไปของคุณเป็นระบบในทางใดทางหนึ่ง (มักย่อ MAR หรือ NI, การจำแนกการหายไปของระบบที่แตกต่างกันสองประเภท) จากนั้นคุณมีปัญหาที่ร้ายแรงมากขึ้นทั้งในแง่ของการแนะนำอคติในการคำนวณของคุณ ผลลัพธ์ต่อประชากรที่สนใจ (เพราะตัวอย่างที่คุณกำลังวิเคราะห์ไม่ใช่ตัวอย่างแบบสุ่มจากประชากรแม้ว่าชุดข้อมูลทั้งหมดของคุณจะเป็นเช่นนั้น)

มีจำนวนมากของแหล่งข้อมูลที่ดีพร้อมที่จะเรียนรู้เกี่ยวกับข้อมูลที่หายไปและวิธีการที่จะจัดการกับมันมี แต่คำแนะนำของฉันคือ Rubin: คลาสสิก , และบทความล่าสุดเพิ่มเติม

ความกังวลอย่างมากคือข้อมูลหายไปอย่างเป็นระบบหรือไม่ซึ่งจะทำให้การวิเคราะห์ของคุณเสียหาย ข้อมูลของคุณอาจหายไปโดยไม่สุ่ม

นี่เป็นคำตอบก่อนหน้านี้ แต่ฉันคิดว่าฉันมีส่วนร่วมเป็นตัวอย่าง

ตัวอย่างทางการเงิน: ผลตอบแทนที่หายไปอาจเป็นผลตอบแทนที่ไม่ดี

• ซึ่งแตกต่างจากกองทุนรวมกองทุนส่วนบุคคล (และกองทุนส่วนบุคคลอื่น ๆ ) ไม่ได้ถูกกำหนดโดยกฎหมายในการรายงานผลตอบแทนของพวกเขาไปยังฐานข้อมูลกลางบางแห่ง
• ดังนั้นข้อกังวลที่สำคัญคือการรายงานนั้นมีความเฉพาะเจาะจงมากขึ้นโดยเฉพาะว่าบาง บริษัท จะไม่รายงานผลตอบแทนที่ไม่ดี
• หากเป็นเช่นนั้นค่าเฉลี่ยของกองทุนที่รายงานของคุณจะส่งคืนจะประเมินค่าเฉลี่ยที่สูงเกินไปเพราะค่าต่ำมักจะหายไปR$\frac{1}{n} \sum_i R_i$$R_i$

ทั้งหมดไม่จำเป็นต้องสูญหายในสถานการณ์เหล่านี้ (มีหลายสิ่งที่คุณสามารถทำได้) แต่การเรียกใช้การถดถอย (หรือการคำนวณความสัมพันธ์) อย่างไร้เดียงสากับข้อมูลที่ไม่สูญหายอาจนำไปสู่การประมาณค่าพารามิเตอร์ที่แท้จริงในประชากรอย่างไม่ลำเอียง

ความสัมพันธ์แบบคู่มีความเหมาะสมหากข้อมูลที่ขาดหายไปของคุณขาดหายไปโดยสมบูรณ์ (MCAR) หนังสือMissing Dataของ Paul Allison เป็นจุดเริ่มต้นที่ดีสำหรับเหตุผล

คุณสามารถทดสอบสิ่งนี้ได้โดยใช้การทดสอบ MCAR ของ Little (1988) ซึ่งอยู่ในBaylorEdPsychแพ็คเกจ