ฉันจะตีความเมทริกซ์ความสับสนของ Sklearn ได้อย่างไร

ฉันใช้เมทริกซ์ความสับสนเพื่อตรวจสอบประสิทธิภาพของตัวจําแนกของฉัน

ฉันกำลังใช้ Scikit-Learn ฉันสับสนเล็กน้อย ฉันจะตีความผลลัพธ์ได้อย่างไร

from sklearn.metrics import confusion_matrix
>>> y_true = [2, 0, 2, 2, 0, 1]
>>> y_pred = [0, 0, 2, 2, 0, 2]
>>> confusion_matrix(y_true, y_pred)
array([[2, 0, 0],
       [0, 0, 1],
       [1, 0, 2]])

ฉันจะตัดสินใจได้อย่างไรว่าค่าที่คาดการณ์นี้ดีหรือไม่

เมทริกซ์ความสับสนเป็นวิธีการจัดตารางจำนวนการแบ่งประเภทเช่นจำนวนคลาสที่คาดการณ์ซึ่งสิ้นสุดลงในถังจัดประเภทที่ไม่ถูกต้องตามคลาสที่แท้จริง

ในขณะที่ sklearn.metrics.confusion_matrix ให้เมทริกซ์ที่เป็นตัวเลขฉันพบว่ามีประโยชน์มากกว่าในการสร้าง 'รายงาน' โดยใช้สิ่งต่อไปนี้

import pandas as pd
y_true = pd.Series([2, 0, 2, 2, 0, 1, 1, 2, 2, 0, 1, 2])
y_pred = pd.Series([0, 0, 2, 1, 0, 2, 1, 0, 2, 0, 2, 2])

pd.crosstab(y_true, y_pred, rownames=['True'], colnames=['Predicted'], margins=True)

ซึ่งผลลัพธ์ใน:

Predicted  0  1  2  All
True                   
0          3  0  0    3
1          0  1  2    3
2          2  1  3    6
All        5  2  5   12

สิ่งนี้ทำให้เราเห็นว่า:

1. องค์ประกอบเส้นทแยงมุมแสดงจำนวนการจำแนกประเภทที่ถูกต้องสำหรับแต่ละคลาส: 3, 1 และ 3 สำหรับคลาส 0, 1 และ 2
2. องค์ประกอบนอกแนวทแยงให้การจำแนกประเภทผิดพลาด: ตัวอย่าง 2 จากคลาส 2 ถูกจำแนกเป็น 0 ไม่มีคลาส 0 ใด ๆ ถูกจำแนกเป็น 2 และอื่น ๆ
3. จำนวนการจำแนกประเภททั้งหมดสำหรับแต่ละคลาสในทั้งสองy_trueและy_predจากผลรวมย่อย "All"

วิธีนี้ใช้ได้กับป้ายข้อความด้วยและสามารถขยายตัวอย่างจำนวนมากในชุดข้อมูลเพื่อจัดทำรายงานเปอร์เซ็นต์

import numpy as np
import pandas as pd

# create some data
lookup = {0: 'biscuit', 1:'candy', 2:'chocolate', 3:'praline', 4:'cake', 5:'shortbread'}
y_true = pd.Series([lookup[_] for _ in np.random.random_integers(0, 5, size=100)])
y_pred = pd.Series([lookup[_] for _ in np.random.random_integers(0, 5, size=100)])

pd.crosstab(y_true, y_pred, rownames=['True'], colnames=['Predicted']).apply(lambda r: 100.0 * r/r.sum())

ผลลัพธ์ก็คือ:

Predicted     biscuit  cake      candy  chocolate    praline  shortbread
True                                                                    
biscuit     23.529412    10  23.076923  13.333333  15.384615    9.090909
cake        17.647059    20   0.000000  26.666667  15.384615   18.181818
candy       11.764706    20  23.076923  13.333333  23.076923   31.818182
chocolate   11.764706     5  15.384615   6.666667  15.384615   13.636364
praline     17.647059    10  30.769231  20.000000   0.000000   13.636364
shortbread  17.647059    35   7.692308  20.000000  30.769231   13.636364

โดยที่ตัวเลขแสดงถึงเปอร์เซ็นต์ (แทนที่จะเป็นจำนวนผู้ป่วย) ของผลลัพธ์ที่ถูกจัดประเภท

แม้ว่าจะสังเกตว่าsklearn.metrics.confusion_matrixผลลัพธ์ที่สามารถมองเห็นได้โดยตรงโดยใช้:

import matplotlib.pyplot as plt
conf = sklearn.metrics.confusion_matrix(y_true, y_pred)
plt.imshow(conf, cmap='binary', interpolation='None')
plt.show()

ในเมทริกซ์ความสับสนแกน y มีค่าจริงและบนแกน x ค่าที่กำหนดโดยตัวทำนาย ดังนั้นการนับในแนวทแยงจึงมีจำนวนการทำนายที่ถูกต้อง และองค์ประกอบของเส้นทแยงมุมเป็นการทำนายที่ไม่ถูกต้อง

ในกรณีของคุณ:

>>> confusion_matrix(y_true, y_pred)
    array([[2, 0, 0],  # two zeros were predicted as zeros
           [0, 0, 1],  # one 1 was predicted as 2
           [1, 0, 2]]) # two 2s were predicted as 2, and one 2 was 0

ฉันต้องการระบุแบบกราฟิกที่จำเป็นต้องเข้าใจสิ่งนี้ มันเป็นเมทริกซ์ธรรมดาที่ต้องเข้าใจให้ดีก่อนถึงข้อสรุป ดังนั้นนี่คือคำตอบข้างต้นที่อธิบายได้ง่ายกว่า

        0  1  2   <- Predicted
     0 [2, 0, 0]  
TRUE 1 [0, 0, 1]  
     2 [1, 0, 2] 

# At 0,0: True value was 0, Predicted value was 0, - 2 times predicted
# At 1,1: True value was 1, Predicted value was 1, - 0 times predicted
# At 2,2: True value was 2, Predicted value was 2, - 2 times predicted
# At 1,2: True value was 1, Predicted value was 2, - 1 time predicted
# At 2,0: True value was 2, Predicted value was 0, - 1 time predicted...
...Like that