ค่าเฉลี่ยความแม่นยำและการเรียกคืนเมื่อใช้การตรวจสอบความถูกต้องข้าม

ฉันทำการจำแนกประเภทโดยใช้ตัวแยกประเภทหลายตัวสำหรับข้อมูลที่มีป้ายกำกับ 2 ชั้นและฉันใช้การตรวจสอบความถูกต้องไขว้ 5 เท่า สำหรับแต่ละเท่าฉันคำนวณ tp, tn, fp และ fn จากนั้นฉันคำนวณความแม่นยำความแม่นยำการเรียกคืนและคะแนน F สำหรับการทดสอบแต่ละครั้ง คำถามของฉันคือเมื่อฉันต้องการผลลัพธ์โดยเฉลี่ยฉันใช้ค่าความถูกต้องโดยเฉลี่ย แต่ฉันสามารถหาค่าเฉลี่ยความแม่นยำการเรียกคืนและคะแนน F ได้หรือไม่ หรือนี่จะผิดทางคณิตศาสตร์หรือไม่? PS ชุดข้อมูลที่ใช้ในแต่ละครั้งนั้นมีความสมดุลในแง่ของจำนวนอินสแตนซ์ต่อคลาส

ขอบคุณ

คะแนนสมมติว่าคุณใช้คำจำกัดความปกติแล้วเป็นการผสมผสานระหว่างความแม่นยำและความจำ โดยเฉพาะมันเป็นค่าเฉลี่ยฮาร์โมนิกของพวกเขา กล่าวอีกนัยหนึ่งมันหมายถึงการจับ 'ประสิทธิผล' ของระบบที่ ผู้ใช้วางน้ำหนักที่เท่ากันกับความแม่นยำและการเรียกคืน มีส่วนขยายที่เรียกว่าคะแนนซึ่งให้น้ำหนักมากขึ้นในการเรียกคืนกว่าความแม่นยำ ใน ถ้าคุณถามว่าคุณสามารถเฉลี่ย 5$F$

$$F_1 = 2\cdot\frac{\textrm{precision} \cdot \textrm{recall}}{\textrm{precision} + \textrm{recall}}$$ $F_\beta$$\beta$ $$F_\beta = (1+\beta^2) \frac{\textrm{precision} \cdot \textrm{recall}}{(\beta^2 \cdot\textrm{precision}) + \textrm{recall}}$$ $F$คะแนน (หนึ่งจากแต่ละเท่า) จากนั้นคำตอบคือใช่ ในความเป็นจริงนั้นเป็นวิธีทั่วไปในการรายงานประสิทธิภาพของระบบ!

เพิ่งทราบว่ามีปัญหาบางอย่างเกี่ยวกับการใช้ค่าเหล่านี้เพื่อทำการอนุมานเกี่ยวกับข้อผิดพลาดทั่วไปของตัวแยกประเภท ตัวอย่างเช่น -test ระหว่างคะแนนสำหรับตัวแยกประเภทหนึ่งและคะแนนสำหรับตัวแยกประเภทอื่นจะมองในแง่ดีเกินไป$t$$F$$F$