สัญกรณ์ mAP @ [. 5: .95] หมายถึงอะไร?

17

สำหรับการตรวจจับวิธีทั่วไปในการพิจารณาว่าข้อเสนอวัตถุหนึ่งถูกต้องหรือไม่คือIntersection over Union (IoU, IU) สิ่งนี้ใช้ชุดของออบเจกต์พิกเซลที่เสนอและชุดของออบเจ็กต์พิกเซลจริงและคำนวณ: $A$ $B$

ผม โอ ยู (A, B) = \frac{A \cap B}{A \cup B}

$IoU(A, B) = \frac{A \cap B}{A \cup B}$

โดยทั่วไป IoU> 0.5 หมายความว่ามันเป็นที่นิยมมิฉะนั้นจะเกิดความล้มเหลว สำหรับแต่ละชั้นเรียนหนึ่งสามารถคำนวณ

True Positive ( ): ข้อเสนอถูกสร้างขึ้นสำหรับคลาสและจริง ๆ แล้วเป็นวัตถุของคลาส $TP(c)$ $c$ $c$
False Positive ( ): มีการทำข้อเสนอสำหรับคลาสแต่ไม่มีวัตถุของคลาส $FP(c)$ $c$ $c$
ความแม่นยำเฉลี่ยสำหรับคลาส : $c$ $\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

mAP (หมายถึงความแม่นยำโดยเฉลี่ย) = $\frac{1}{|classes|}\sum_{c \in classes} \frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

หากต้องการข้อเสนอที่ดีกว่าเราจะเพิ่ม IoU จาก 0.5 เป็นค่าที่สูงขึ้น (สูงถึง 1.0 ซึ่งจะสมบูรณ์แบบ) หนึ่งสามารถแสดงถึงสิ่งนี้ด้วย mAP @ p โดยที่คือ IoU $p \in (0, 1)$

แต่สิ่งที่mAP@[.5:.95](ตามที่พบในเอกสารนี้ ) หมายถึงอะไร

computer-vision

— มาร์ตินโทมา
แหล่งที่มา

ฉันสงสัยว่า[.5:.95]ส่วนนั้นอ้างถึงช่วงของค่า IoU แต่วิธีการประเมินช่วงนั้นเป็น mAP เดียวที่ฉันไม่รู้

— Neil Slater

@NeilSlater แต่ทำไมคุณถึงต้องการขอบเขตบน IoU ที่สูงขึ้นนั้นดีกว่าเสมอหรือไม่

— Martin Thoma

การบรรลุการจับคู่ที่มี IoU ที่สูงกว่านั้นดีกว่า แต่น่าจะเป็นค่า mAP ที่ลดลงหากเราวัดว่าโมเดลนั้นอธิบายการจับคู่ที่สมบูรณ์แบบได้ดีแค่ไหน (สำหรับโมเดลใด ๆ ) และไม่ถือว่าเป็นมาตรการที่มีประโยชน์ ทำไมมันไม่รวมอยู่ในช่วงที่ฉันไม่รู้ แต่ก็ไม่รู้ว่าจะคำนวณ mAP ในกรณีนี้ได้อย่างไร - อาจเป็นค่าเฉลี่ยอย่างง่ายตามตัวอย่าง

— Neil Slater

1

มีพื้นที่เก็บข้อมูล GitHub นี้มีคำอธิบายที่ดีในIOU , แม่นยำ , จำ , เฉลี่ยแม่นยำและแผนที่ นอกจากนี้ยังมีรหัสที่ประเมินการตรวจจับวัตถุใด ๆ แน่นอนมันจะช่วยพวกคุณได้ที่ : https://github.com/rafaelpadilla/Object-Detection-Metrics

— Rafael Padilla

10

mAP@[.5:.95](บางคนแทนmAP@[.5,.95]) หมายถึงค่าเฉลี่ย mAP มากกว่าเกณฑ์ IoU ที่แตกต่างกันตั้งแต่ 0.5 ถึง 0.95 ขั้นตอนที่ 0.05 (0.5, 0.55, 0.6, 0.65, 0.7, 0.75, 0.8, 0.85, 0.9, 0.95)

มีความท้าทาย MS COCO ที่เชื่อมโยงกับตัวชี้วัดการประเมินใหม่ที่ค่าเฉลี่ย mAP ผ่านเกณฑ์ IoU ที่แตกต่างกันจาก 0.5 ถึง 0.95 (เขียนเป็น "0.5: 0.95") [ อ้างอิง ]

เราประเมินค่า mAP โดยเฉลี่ยสำหรับ IoU ∈ [0.5: 0.05: 0.95] (ตัวชี้วัดมาตรฐานของ COCO เพียงแสดงเป็น mAP @ [. 5, .95]) และ mAP@0.5 (ตัวชี้วัดของ PASCAL VOC) [ อ้างอิง ]

ในการประเมินการตรวจจับขั้นสุดท้ายของเราเราใช้ COCO API อย่างเป็นทางการ [20] ซึ่งวัดค่า mAP โดยเฉลี่ยเกินเกณฑ์ของ IOU ใน [0.5: 0.05: 0.95] ท่ามกลางตัวชี้วัดอื่น ๆ [ อ้างอิง ]

BTW ซอร์สโค้ดของcocoแสดงสิ่งที่mAP@[.5:.95]กำลังทำ:

self.iouThrs = np.linspace(.5, 0.95, np.round((0.95 - .5) / .05) + 1, endpoint=True)

อ้างอิง

https://github.com/pdollar/coco

http://mscoco.org/

https://www.cs.cornell.edu/~sbell/pdf/cvpr2016-ion-bell.pdf

https://arxiv.org/pdf/1506.01497.pdf

https://arxiv.org/pdf/1611.10012.pdf

— Icyblade
แหล่งที่มา

คุณสนใจคำถามหรือไม่ ถ้าเช่นเรามี 3 อินสแตนซ์ของคลาสที่แน่นอนในชุดข้อมูลและโมเดลส่งคืน iou ของ 0.1, 0.6 และ 0.9 สำหรับพวกมันหมายความว่าเราละทิ้งผลลัพธ์ 0.1 และค่าเฉลี่ย iou เท่ากับ 0.75 และ mAP ที่สอดคล้องกันหรือไม่

— อเล็กซ์

5

$\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

— anhvh
แหล่งที่มา

สำหรับผู้ที่มองผ่านการอ้างอิงความหมายของค่าเฉลี่ยความแม่นยำ (AP) อยู่ในหน้า 11

— Waylon Flinn

3

AP มีค่าเฉลี่ยในทุกหมวดหมู่ ตามเนื้อผ้าเรียกว่า "ค่าเฉลี่ยความแม่นยำเฉลี่ย" (mAP) เราไม่แยกความแตกต่างระหว่าง AP และ mAP (และเช่นเดียวกันกับ AR และ mAR) และถือว่าความแตกต่างนั้นชัดเจนจากบริบท

http://cocodataset.org/#detections-eval

— มาร์คยาง
แหล่งที่มา

ฉันคิดว่า mAP เป็นค่าเฉลี่ยของ AP ในหลายคลาส ฉันชอบที่จะรู้คำนิยามของผู้เขียน / กระดาษของคุณของหมวดหมู่

— Cloud Cho