ImageNet: อัตราข้อผิดพลาด top-1 และ top-5 คืออะไร?

ในเอกสารการจัดประเภท ImageNet อัตราความผิดพลาดอันดับ 1 และ top-5 เป็นหน่วยที่สำคัญสำหรับการวัดความสำเร็จของการแก้ปัญหาบางอย่าง แต่อัตราข้อผิดพลาดเหล่านั้นคืออะไร

ในการจัดประเภท ImageNet ด้วย Deep Convolutional Networks โดย Krizhevsky et al. ทุกโซลูชันที่ใช้ CNN เดียว (หน้า 7) ไม่มีอัตราข้อผิดพลาด 5 อันดับแรกในขณะที่โซลูชันที่มี 5 และ 7 CNN มี (และอัตราข้อผิดพลาดสำหรับ 7 CNN นั้นดีกว่า 5 CNNs)

นี่หมายความว่าอัตราความผิดพลาดอันดับ 1 เป็นอัตราข้อผิดพลาดเดียวที่ดีที่สุดสำหรับ CNN เดียวหรือไม่

อัตราข้อผิดพลาด 5 อันดับแรกเป็นเพียงอัตราความผิดพลาดสะสมของ CNN ห้าแห่งหรือไม่

[... ] โดยที่อัตราความผิดพลาดสูงสุด 5 อันดับแรกคือเศษส่วนของภาพทดสอบที่ฉลากที่ถูกต้องไม่ใช่หนึ่งในห้าฉลากที่น่าจะเป็นไปได้มากที่สุดในโหมด

ขั้นแรกให้คุณทำการทำนายโดยใช้ CNN และรับการแจกแจงแบบหลายส่วนของคลาสที่ทำนายไว้ ( )$\sum p_{class} = 1$

ตอนนี้ในกรณีของคะแนนสูงสุด1คุณตรวจสอบว่าชั้นบนสุด (ที่มีความน่าจะเป็นสูงที่สุด) จะเหมือนกันกับป้ายกำกับเป้าหมาย

ในกรณีที่มีคะแนนสูงสุด5อันดับแรกคุณจะตรวจสอบว่าป้ายกำกับเป้าหมายเป็นหนึ่งในการทำนาย 5 อันดับแรกของคุณหรือไม่ (5 รายการที่มีความน่าจะเป็นสูงสุด)

ในทั้งสองกรณีคะแนนสูงสุดจะถูกคำนวณตามเวลาที่ป้ายกำกับที่คาดการณ์ตรงกับป้ายเป้าหมายหารด้วยจำนวนคะแนนข้อมูลที่ประเมิน

สุดท้ายเมื่อใช้ 5-CNNs คุณจะต้องทำการคาดคะเนและทำตามขั้นตอนเดียวกันในการคำนวณคะแนนสูงสุด 1 และ 5 อันดับแรก

ลักษณนามของคุณให้ความน่าจะเป็นสำหรับแต่ละชั้นเรียน ให้บอกว่าเรามีแค่ "cat", "dog", "house", "mouse" เป็นคลาส (ตามลำดับนี้) จากนั้นตัวจําแนกให้สิ่งที่ชอบ

0.1; 0.2; 0.0; 0.7

ผลที่ตามมา. คลาสบนสุดคือ "เมาส์" คลาสบนสุดคือ {mouse, dog} ถ้าคลาสที่ถูกต้องคือ "สุนัข" มันจะถูกนับเป็น "ถูกต้อง" สำหรับความถูกต้องอันดับ 2 แต่ผิดสำหรับความแม่นยำระดับท็อป 1

$k$$k$