การประเมินตัวแยกประเภท: เส้นโค้งการเรียนรู้กับเส้นโค้ง ROC

ฉันต้องการเปรียบเทียบตัวแยกประเภทที่แตกต่างกัน 2 ตัวสำหรับปัญหาการจำแนกข้อความแบบหลายคลาสที่ใช้ชุดข้อมูลการฝึกอบรมขนาดใหญ่ ฉันสงสัยว่าฉันควรใช้ ROC curves หรือ learning curves เพื่อเปรียบเทียบ 2 ตัวแยกประเภท

ในอีกด้านหนึ่งเส้นโค้งการเรียนรู้มีประโยชน์สำหรับการตัดสินใจขนาดของชุดข้อมูลการฝึกอบรมเนื่องจากคุณสามารถหาขนาดของชุดข้อมูลที่ตัวแยกประเภทหยุดการเรียนรู้ (และอาจลดระดับ) ดังนั้นตัวจําแนกที่ดีที่สุดในกรณีนี้อาจเป็นตัวจําแนกที่มีความแม่นยำสูงสุดด้วยขนาดชุดข้อมูลที่เล็กที่สุด

ในทางกลับกัน ROC curves ช่วยให้คุณค้นหาจุดที่มีการแลกเปลี่ยนที่เหมาะสมระหว่างความไว / ความจำเพาะ ลักษณนามที่ดีที่สุดในกรณีนี้คือตัวที่ใกล้กับส่วนบนซ้ายมากที่สุดโดยมี TPR สูงสุดสำหรับ FPR ใด ๆ

ฉันควรใช้วิธีการประเมินทั้งสองหรือไม่ เป็นไปได้หรือไม่ที่วิธีที่มีช่วงการเรียนรู้ที่ดีกว่ามีเส้นโค้ง ROC ที่แย่ลงและในทางกลับกัน

โค้งการเรียนรู้เป็นเพียงเครื่องมือในการวินิจฉัยบอกให้คุณรู้ว่าแบบจำลองของคุณเรียนรู้ได้เร็วแค่ไหนและการวิเคราะห์ทั้งหมดของคุณไม่ได้ติดอยู่ในพื้นที่ที่แปลกประหลาดซึ่งมีชุดเล็กเกินไป / ชุดเล็กเกินไป (ถ้ามี) ส่วนเดียวของพล็อตนี้ที่น่าสนใจสำหรับการประเมินแบบจำลองคือจุดสิ้นสุดของมันคือประสิทธิภาพสุดท้าย - แต่ไม่จำเป็นต้องรายงานพล็อต
การเลือกแบบจำลองตามเส้นโค้งการเรียนรู้ตามที่คุณร่างในคำถามของคุณนั้นเป็นความคิดที่ไม่ดีนักเนื่องจากคุณมีแนวโน้มที่จะเลือกแบบจำลองที่ดีที่สุดในการ overfitting ในชุดตัวอย่างขนาดเล็กเกินไป

เกี่ยวกับ ROC เส้นโค้ง ROC เป็นวิธีการประเมินแบบจำลองไบนารีที่ให้คะแนนความมั่นใจว่าวัตถุนั้นเป็นของชั้นหนึ่ง อาจเป็นไปได้ที่จะพบพวกเขาเกณฑ์ที่ดีที่สุดในการแปลงพวกเขาเป็นตัวแยกประเภทที่แท้จริง
สิ่งที่คุณอธิบายเป็นแนวคิดที่จะวางแผนผลการทำงานของตัวแยกประเภทของคุณเป็นแบบกระจายของ TPR / FPR ในพื้นที่ ROC และใช้เกณฑ์ที่ใกล้ชิดที่สุดจากบนซ้ายเพื่อเลือกสิ่งนี้ซึ่งมีความสมดุลที่ดีที่สุดระหว่างการสร้างสัญญาณเตือนผิดพลาด - เป้าหมายพิเศษนี้สามารถทำได้อย่างงดงามยิ่งขึ้นเพียงเลือกรุ่นที่มีคะแนน F ที่ดีที่สุด(ค่าเฉลี่ยฮาร์มอนิกของความแม่นยำและการเรียกคืน)