มาตรการทั่วไปหนึ่งที่ใช้ในการเปรียบเทียบแบบจำลองการจำแนกสองแบบขึ้นไปคือการใช้พื้นที่ใต้กราฟ ROC (AUC) เป็นวิธีการประเมินประสิทธิภาพทางอ้อม ในกรณีนี้โมเดลที่มี AUC ขนาดใหญ่มักตีความว่าทำงานได้ดีกว่าโมเดลที่มี AUC ขนาดเล็กกว่า แต่ตาม Vihinen, 2012 ( https://www.ncbi.nlm.nih.gov/pmc/articles/PMC3303716/ ) เมื่อเส้นโค้งทั้งคู่ข้ามกันการเปรียบเทียบดังกล่าวไม่สามารถใช้งานได้อีกต่อไป ทำไมถึงเป็นเช่นนั้น?
ตัวอย่างเช่นมีสิ่งใดที่สามารถตรวจสอบเกี่ยวกับแบบจำลอง A, B และ C ตาม ROC curves และ AUCs bellow?
คำตอบ:
ROCโค้ง visualizes TPRและFPRสำหรับเป็นไปได้ทั้งหมดเกณฑ์
หากคุณพล็อต ROC สองเส้นโค้ง'A'และ'B'และพวกมันไม่ข้ามซึ่งกันและกันตัวแยกประเภทหนึ่งของคุณจะทำงานได้ดีขึ้นอย่างชัดเจนเพราะสำหรับค่า FPR ที่เป็นไปได้ทั้งหมดคุณจะได้ TPR ที่สูงขึ้น เห็นได้ชัดว่าพื้นที่ภายใต้ ROC จะยิ่งใหญ่ขึ้น
ตอนนี้ถ้าพวกเขาทำข้ามแต่ละอื่น ๆ แล้วมีจุดที่ FPR และ TPR จะเหมือนกันสำหรับทั้งเส้นโค้ง'A'และ'B' คุณไม่สามารถบอกได้ว่าเส้นโค้ง ROC เส้นใดเส้นหนึ่งจะทำงานได้ดีขึ้นเพราะตอนนี้มันขึ้นอยู่กับการแลกเปลี่ยนที่คุณต้องการ คุณต้องการความแม่นยำสูง / การเรียกคืนต่ำหรือความแม่นยำต่ำ / การเรียกคืนสูงหรือไม่
ตัวอย่าง: หากตัวแยกประเภทหนึ่งทำงานได้ดีขึ้นมากใน FPR ที่ 0.2 แต่สิ่งสำคัญคือการเรียกใช้การเรียกคืนสูงก็จะทำได้ดีในเกณฑ์ที่คุณไม่สนใจ
เกี่ยวกับเส้นโค้ง ROC ในกราฟของคุณ: คุณสามารถบอกได้อย่างง่ายดายว่า'A'ทำงานได้ดีขึ้นมากโดยไม่ต้องรู้ว่าคุณต้องการบรรลุอะไร ทันทีที่เส้นโค้งสีม่วงตัดผ่านส่วนอื่นก็จะข้ามอีกครั้ง คุณกำลังส่วนใหญ่อาจจะไม่ได้สนใจในการที่ส่วนเล็ก ๆที่'B'และ'C'ดำเนินการเล็กน้อยดีกว่า
ในกราฟต่อไปนี้คุณเห็นเส้นโค้ง ROC สองเส้นที่ข้ามกัน ที่นี่คุณไม่สามารถบอกเป็นที่หนึ่งที่ดีกว่าที่พวกเขาชนิดของการเติมเต็มซึ่งกันและกัน
โปรดสังเกตว่าในตอนท้ายของวันคุณมีความสนใจในการเลือกเกณฑ์หนึ่งสำหรับการจัดประเภทของคุณและAUCจะให้การประมาณว่าแบบจำลองนั้นมีประสิทธิภาพโดยทั่วไปดีเพียงใด