ความแตกต่างระหว่างข้อมูลที่หายไปและข้อมูลกระจัดกระจายในอัลกอริทึมการเรียนรู้ของเครื่อง

อะไรคือความแตกต่างที่สำคัญระหว่างข้อมูลที่กระจัดกระจายและข้อมูลที่ขาดหายไป? และมันมีอิทธิพลต่อการเรียนรู้ของเครื่องอย่างไร โดยเฉพาะอย่างยิ่งสิ่งที่ทำให้ข้อมูลกระจัดกระจายและข้อมูลที่ขาดหายไปนั้นมีต่ออัลกอริธึมการจำแนกและประเภทการถดถอย ฉันกำลังพูดถึงสถานการณ์ที่เปอร์เซ็นต์ของข้อมูลที่ขาดหายไปมีความสำคัญและเราไม่สามารถวางแถวที่มีข้อมูลที่ขาดหายไปได้

เพื่อความสะดวกในการทำความเข้าใจฉันจะอธิบายเรื่องนี้โดยใช้ตัวอย่าง สมมติว่าคุณกำลังรวบรวมข้อมูลจากอุปกรณ์ที่มีเซ็นเซอร์ 12 ตัว และคุณได้รวบรวมข้อมูลเป็นเวลา 10 วัน

ข้อมูลที่คุณรวบรวมมีดังนี้:

สิ่งนี้เรียกว่าข้อมูลกระจัดกระจายเพราะส่วนใหญ่ของผลลัพธ์ของเซ็นเซอร์เป็นศูนย์ ซึ่งหมายความว่าเซ็นเซอร์เหล่านั้นทำงานได้อย่างถูกต้อง แต่การอ่านค่าจริงนั้นเป็นศูนย์ แม้ว่าเมทริกซ์นี้จะมีข้อมูลมิติสูง (12 แกน) แต่ก็สามารถกล่าวได้ว่ามันมีข้อมูลน้อยกว่า

สมมติว่าเซ็นเซอร์ 2 ตัวในอุปกรณ์ของคุณทำงานผิดปกติ
จากนั้นข้อมูลของคุณจะเป็นดังนี้:

ในกรณีนี้คุณจะเห็นว่าคุณไม่สามารถใช้ข้อมูลจาก Sensor1 และ Sensor6 ไม่ว่าคุณจะต้องกรอกข้อมูลด้วยตนเองโดยไม่ส่งผลต่อผลลัพธ์หรือคุณต้องทำการทดสอบซ้ำ