คุณคำนวณความแม่นยำและเรียกคืนการจำแนกประเภทหลายคลาสโดยใช้เมตริกซ์ความสับสนได้อย่างไร

ฉันสงสัยว่าจะคำนวณความแม่นยำและเรียกคืนได้อย่างไรโดยใช้เมตริกซ์ความสับสนสำหรับปัญหาการจำแนกประเภทหลายชั้น โดยเฉพาะการสังเกตสามารถกำหนดให้กับคลาส / ฉลากที่เป็นไปได้มากที่สุดเท่านั้น ฉันต้องการคำนวณ:

• ความแม่นยำ = TP / (TP + FP)
• เรียกคืน = TP / (TP + FN)

สำหรับแต่ละชั้นเรียนจากนั้นคำนวณค่า F-micro เฉลี่ย

ในกรณีที่มี 2 สมมติฐานคือเมทริกซ์ความสับสนมักจะ:

       | Declare H1  |  Declare H0 |
|Is H1 |    TP       |   FN        |
|Is H0 |    FP       |   TN        |

ที่ฉันใช้บางสิ่งบางอย่างที่คล้ายกับสัญลักษณ์ของคุณ:

• TP = จริงบวก (ประกาศ H1 เมื่อในความจริง H1)
• FN = false negative (ประกาศ H0 เมื่อ, ในความจริง, H1)
• FP = บวกที่เป็นเท็จ
• TN = ค่าลบจริง

จากข้อมูลดิบค่าในตารางโดยทั่วไปจะเป็นจำนวนสำหรับแต่ละครั้งที่เกิดขึ้นกับข้อมูลการทดสอบ จากนี้คุณควรจะสามารถคำนวณปริมาณที่คุณต้องการ

แก้ไข

ข้อสรุปทั่วไปของปัญหาหลายชั้นคือการหาผลรวมของแถว / คอลัมน์ของเมทริกซ์ความสับสน เมื่อพิจารณาว่าเมทริกซ์นั้นมีความสำคัญดังกล่าวข้างต้นนั่นคือแถวของเมทริกซ์ที่สอดคล้องกับค่าเฉพาะสำหรับ "ความจริง" เรามี:

$\text{Precision}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ji}}$

$\text{Recall}_{~i} = \cfrac{M_{ii}}{\sum_j M_{ij}}$

นั่นคือความแม่นยำเป็นส่วนหนึ่งของเหตุการณ์ที่เกิดขึ้นที่เราได้อย่างถูกต้องประกาศ ออกจากทุกกรณีที่อัลกอริทึมประกาศฉันตรงกันข้ามการเรียกคืนเป็นส่วนหนึ่งของเหตุการณ์ที่เกิดขึ้นอย่างถูกต้องที่เราประกาศออกจากทุกกรณีที่แท้จริงของรัฐของโลกคือฉัน$i$$i$$i$$i$

กระดาษสรุปที่ดีโดยดูที่ตัวชี้วัดเหล่านี้สำหรับปัญหาหลายชั้น:

• Sokolova, M. , & Lapalme, G. (2009) การวิเคราะห์ระบบการวัดประสิทธิภาพสำหรับงานการจำแนกประเภท การประมวลผลและการจัดการข้อมูล, 45 , p. 427-437 ( pdf )

นามธรรมอ่าน:

บทความนี้นำเสนอการวิเคราะห์อย่างเป็นระบบเกี่ยวกับการวัดประสิทธิภาพยี่สิบสี่อย่างที่ใช้ในงานการจัดหมวดหมู่การเรียนรู้ของเครื่องการเรียนรู้ที่สมบูรณ์เช่นไบนารี่คลาสหลายคลาสมัลติเลเบลและลำดับชั้น สำหรับงานการจำแนกแต่ละประเภทการศึกษาจะเกี่ยวข้องกับชุดของการเปลี่ยนแปลงในเมทริกซ์ความสับสนกับคุณลักษณะเฉพาะของข้อมูล จากนั้นการวิเคราะห์จะมุ่งเน้นไปที่ประเภทของการเปลี่ยนแปลงในเมทริกซ์ความสับสนที่ไม่เปลี่ยนการวัดดังนั้นรักษาการประเมินของลักษณนาม ผลที่ได้คืออนุกรมวิธานการวัดค่าคงที่ที่เกี่ยวข้องกับการเปลี่ยนแปลงการแจกแจงฉลากที่เกี่ยวข้องทั้งหมดในปัญหาการจำแนกประเภท การวิเคราะห์อย่างเป็นทางการนี้ได้รับการสนับสนุนโดยตัวอย่างของแอปพลิเคชั่นที่คุณสมบัติค่าคงที่ของการวัดนำไปสู่การประเมินความน่าเชื่อถือของตัวแยกประเภท

ใช้ sklearn และ numpy:

from sklearn.metrics import confusion_matrix
import numpy as np

labels = ...
predictions = ...

cm = confusion_matrix(labels, predictions)
recall = np.diag(cm) / np.sum(cm, axis = 1)
precision = np.diag(cm) / np.sum(cm, axis = 0)

หากต้องการรับมาตรการโดยรวมของความแม่นยำและการเรียกคืนให้ใช้จากนั้น

np.mean(recall)
np.mean(precision)