เนื่องจากฉันมีชุดข้อมูลที่ไม่สมดุลมาก (ผลบวก 9%) ฉันจึงตัดสินใจว่ากราฟความแม่นยำในการเรียกคืนมีความเหมาะสมมากกว่าเส้นโค้ง ROC ฉันได้รับมาตรวัดสรุปพื้นที่แบบอะนาล็อกภายใต้เส้นโค้ง PR (.49 ถ้าคุณสนใจ) แต่ไม่แน่ใจว่าจะตีความมันอย่างไร ฉันได้ยินมาว่า. 8 หรือสูงกว่านั้นเป็น AUC ที่ดีสำหรับ ROC แต่การตัดทั่วไปจะเหมือนกันสำหรับ AUC สำหรับเส้นโค้งการเรียกคืนที่แม่นยำหรือไม่
คำตอบ:
นอกจากนี้ยังไม่มีการตัดมายากลทั้ง AUC-ROC หรือ AUC ประชาสัมพันธ์ สูงกว่าชัดกว่า แต่ขึ้นอยู่กับแอปพลิเคชันทั้งหมด
ตัวอย่างเช่นหากคุณสามารถระบุการลงทุนที่ทำกำไรได้สำเร็จด้วยค่า AUC ที่ 0.8 หรือสำหรับสิ่งใดก็ตามที่แตกต่างจากโอกาสฉันจะต้องประทับใจมากและคุณจะรวยมาก ในทางกลับกันการจำแนกตัวเลขที่เขียนด้วยลายมือด้วย AUC เท่ากับ 0.95 ยังคงต่ำกว่าสถานะปัจจุบันของศิลปะอย่างมาก
ยิ่งไปกว่านั้นในขณะที่ AUC-ROC ที่ดีที่สุดที่รับประกันได้คือ [0,1] นี่ไม่เป็นความจริงสำหรับกราฟความแม่นยำในการเรียกคืนเนื่องจากสามารถมีพื้นที่ "ไม่สามารถเข้าถึงได้" ของพื้นที่ PR ขึ้นอยู่กับว่าการแจกแจงแบบเบ้ (ดูเอกสารนี้โดยBoyd et al (2012)สำหรับรายละเอียด)
.49 นั้นไม่ดีนัก แต่การตีความนั้นต่างจาก ROC AUC สำหรับ ROC AUC หากคุณได้รับ. 49 โดยใช้แบบจำลองการถดถอยโลจิสติกฉันจะบอกว่าคุณกำลังทำอะไรได้ดีกว่าการสุ่ม สำหรับ. 49 PR AUC อย่างไรก็ตามมันอาจไม่เลวร้ายขนาดนั้น ฉันจะพิจารณาดูความแม่นยำและการเรียกคืนของแต่ละบุคคลบางทีอย่างใดอย่างหนึ่งคือสิ่งที่ผลักดัน PR PR ของคุณ การเรียกคืนจะบอกคุณว่าระดับบวกในชั้นเรียน 9% นั้นเท่าไหร่ที่คุณเดาถูกต้อง ความแม่นยำจะบอกคุณว่าคุณเดาในแง่บวกที่ไม่ได้ (ผลบวกเท็จ) การเรียกคืน 50% นั้นไม่ดีหมายความว่าคุณไม่ได้คาดเดาคลาสที่ไม่สมดุล แต่ความแม่นยำ 50% อาจไม่เลว ขึ้นอยู่กับสถานการณ์ของคุณ
ตัวประมาณแบบสุ่มจะมี PR-AUC 0.09 ในกรณีของคุณ (ผลบวก 9%) ดังนั้น 0.49 ของคุณจะเพิ่มขึ้นอย่างแน่นอน
หากนี่เป็นผลลัพธ์ที่ดีสามารถประเมินได้เฉพาะเมื่อเปรียบเทียบกับอัลกอริธึมอื่น ๆ แต่คุณไม่ได้ให้รายละเอียดเกี่ยวกับวิธี / ข้อมูลที่คุณใช้
นอกจากนี้คุณอาจต้องการประเมินรูปร่างของเส้นโค้ง PR ของคุณ เส้นโค้ง PR ที่เหมาะเริ่มต้นจากมุมบนทางแนวนอนไปยังมุมมองด้านบนและตรงไปที่มุมล่างขวาส่งผลให้ PR-AUC เท่ากับ 1 ในบางแอปพลิเคชันเส้นโค้ง PR แสดงแทนเข็มแข็งที่จุดเริ่มต้นอย่างรวดเร็ว วางอีกครั้งใกล้กับ "เส้นประมาณแบบสุ่ม" (เส้นแนวนอนที่ความแม่นยำ 0.09 ในกรณีของคุณ) สิ่งนี้จะบ่งบอกถึงการตรวจจับที่ดีของผลลัพธ์ที่เป็นบวก "แข็งแรง" แต่ประสิทธิภาพที่ไม่ดีของผู้สมัครที่ชัดเจนน้อยกว่า
หากคุณต้องการหาเกณฑ์ที่ดีสำหรับพารามิเตอร์ cutoff ของอัลกอริทึมของคุณคุณอาจพิจารณาจุดบนเส้นโค้ง PR ที่ใกล้กับมุม topright มากที่สุด หรือดียิ่งกว่านั้นลองพิจารณาการตรวจสอบข้ามหากเป็นไปได้ คุณอาจบรรลุค่าความแม่นยำและการเรียกคืนสำหรับพารามิเตอร์ cutoff เฉพาะที่น่าสนใจสำหรับแอปพลิเคชันของคุณมากกว่าค่าของ PR-AUC AUCs น่าสนใจที่สุดเมื่อเปรียบเทียบอัลกอริทึมที่แตกต่างกัน