วิธีการทางสถิติเพื่อตรวจสอบว่าข้อมูลหายไปโดยการสุ่ม

ฉันมีชุดคุณสมบัติเวกเตอร์ขนาดใหญ่ซึ่งฉันจะใช้เพื่อโจมตีปัญหาการจำแนกเลขฐานสอง (โดยใช้ scikit learn ใน Python) ก่อนที่ฉันจะเริ่มคิดเกี่ยวกับการใส่ร้ายฉันมีความสนใจในการพยายามตรวจสอบจากส่วนที่เหลือของข้อมูลว่าข้อมูลที่ขาดหายไปคือ 'ขาดโดยสุ่ม' หรือขาดหายไปโดยไม่สุ่ม

อะไรคือวิธีที่สมเหตุสมผลในการเข้าถึงคำถามนี้

กลายเป็นคำถามที่ดีกว่าคือการถามว่าข้อมูล 'สุ่มโดยสมบูรณ์' หายไปหรือไม่ วิธีที่เหมาะสมที่จะทำคืออะไร?

ฉันพบข้อมูลที่ฉันพูดถึงในความคิดเห็นของฉัน

จากหนังสือ Van Buurensหน้า 31 เขาเขียน

"มีการเสนอการทดสอบหลายรายการเพื่อทดสอบ MCAR เมื่อเทียบกับ MAR การทดสอบเหล่านี้ไม่ได้ใช้กันอย่างแพร่หลายและคุณค่าในทางปฏิบัติของพวกเขายังไม่ชัดเจนดูEnders (2010, pp. 17–21) สำหรับการประเมินผลของสองขั้นตอน MAR เทียบกับ MNAR เนื่องจากข้อมูลที่จำเป็นสำหรับการทดสอบดังกล่าวขาดหายไป "

สิ่งนี้เป็นไปไม่ได้นอกจากว่าคุณจะดึงข้อมูลที่หายไป คุณไม่สามารถระบุได้จากข้อมูลที่ตรวจพบว่าข้อมูลที่หายไปนั้นขาดหายไปโดยการสุ่ม (MAR) หรือไม่เป็นการสุ่ม (MNAR) คุณสามารถบอกได้ว่าข้อมูลไม่ชัดเจนโดยสมบูรณ์แบบสุ่ม (MCAR) นอกเหนือจากนั้นเพียงดึงดูดความน่าเชื่อถือของ MCAR หรือ MAR เมื่อเทียบกับ MNAR โดยยึดตามสิ่งที่คุณรู้ หรือคุณอาจโต้แย้งได้ว่ามันไม่สำคัญมากนักเนื่องจากสัดส่วนของข้อมูลที่หายไปนั้นมีขนาดเล็กและภายใต้สถานการณ์จำลองที่รุนแรงของ MNAR จะต้องเกิดขึ้นเพื่อให้ผลลัพธ์ของคุณพลิกคว่ำ (ดู "การวิเคราะห์จุดเปลี่ยน")

ฟังดูค่อนข้างเป็นไปได้จากมุมมองการจำแนกประเภท

คุณต้องการจำแนกข้อมูลที่ขาดหายไปและข้อมูลที่ไม่หายไปโดยใช้คุณสมบัติอื่นทั้งหมด หากคุณได้รับดีกว่าผลการสุ่มอย่างมีนัยสำคัญข้อมูลของคุณจะไม่หายไปโดยการสุ่ม

คุณต้องการที่จะรู้ว่ามีความสัมพันธ์บางอย่างของค่าที่พลาดในคุณสมบัติและค่าของคุณสมบัติอื่น ๆ

สำหรับแต่ละฟีเจอร์ให้สร้างฟีเจอร์ใหม่ที่ระบุว่าค่านั้นหายไปหรือไม่ (ลองเรียกพวกมันว่า "is_missing" ฟีเจอร์) คำนวณค่าสหสัมพันธ์ที่คุณชื่นชอบ (ฉันขอแนะนำให้ใช้ข้อมูลร่วมกันที่นี่) ของคุณสมบัติ is_missing และคุณสมบัติที่เหลือ

โปรดสังเกตว่าหากคุณไม่พบความสัมพันธ์ใด ๆ ระหว่างสองคุณลักษณะคุณยังสามารถมีความสัมพันธ์กันได้เนื่องจากกลุ่มของคุณลักษณะ (ค่าขาดหายไปเนื่องจากฟังก์ชั่นของ XOR ของคุณสมบัติอื่นสิบ)

คุณมีฟีเจอร์ชุดใหญ่และค่าจำนวนมากคุณจะได้รับความสัมพันธ์ที่ผิดเนื่องจากการสุ่ม นอกเหนือจากวิธีการเผชิญปัญหาปกติด้วย (ชุดการตรวจสอบเกณฑ์ที่สูงพอ) คุณสามารถตรวจสอบว่าสหสัมพันธ์นั้นมีความสมมาตรและสกรรมกริยาหรือไม่ หากพวกเขาเป็นไปได้ว่าพวกเขาเป็นจริงและคุณควรตรวจสอบพวกเขาต่อไป

วิธีที่ฉันใช้คือเงาเมทริกซ์ซึ่งชุดข้อมูลประกอบด้วยตัวแปรตัวบ่งชี้ที่ 1 จะได้รับถ้ามีค่าอยู่และ 0 ถ้ามันไม่ได้ การเชื่อมโยงสิ่งเหล่านี้เข้าด้วยกันและข้อมูลดั้งเดิมสามารถช่วยตัดสินว่าตัวแปรมีแนวโน้มที่จะหายไปด้วยกัน (MAR) หรือไม่ (MCAR) ใช้Rเป็นตัวอย่าง (ยืมมาจากหนังสือ "R in action" โดย Robert Kabacoff):

#Load dataset
data(sleep, package = "VIM")

x <- as.data.frame(abs(is.na(sleep)))

#Elements of x are 1 if a value in the sleep data is missing and 0 if non-missing.
head(sleep)
head(x)

#Extracting variables that have some missing values.
y <- x[which(sapply(x, sd) > 0)]
cor(y)

#We see that variables Dream and NonD tend to be missing together. To a lesser extent, this is also true with Sleep and NonD, as well as Sleep and Dream.

#Now, looking at the relationship between the presence of missing values in each variable and the observed values in other variables:
cor(sleep, y, use="pairwise.complete.obs")

#NonD is more likely to be missing as Exp, BodyWgt, and Gest increases, suggesting that the missingness for NonD is likely MAR rather than MCAR.