กล่าวอีกนัยหนึ่งแทนที่จะมีปัญหาสองชั้นฉันจัดการกับ 4 คลาสและยังต้องการประเมินประสิทธิภาพโดยใช้ AUC
คำตอบ:
ดูเหมือนว่าคุณกำลังมองหาการวิเคราะห์ ROC หลายระดับซึ่งเป็นวิธีการเพิ่มประสิทธิภาพหลายวัตถุประสงค์ที่ครอบคลุมในบทช่วยสอนที่ ICML'04 ในหลายปัญหาหลายชั้นความคิดโดยทั่วไปจะทำการเปรียบเทียบแบบคู่ (หนึ่งคลาสเทียบกับคลาสอื่น ๆ ทั้งหมดคลาสหนึ่งเทียบกับคลาสอื่นดู (1) หรือองค์ประกอบของการเรียนรู้ทางสถิติ ) และมีล่าสุด กระดาษโดย Landgrebe และ Duin ในหัวข้อนั้นประมาณ ROC หลายระดับโดยการวิเคราะห์แบบคู่ , จดหมายรู้จำรูปแบบ 2007 28: 1747-1758 ตอนนี้เพื่อจุดประสงค์ในการสร้างภาพที่ผมเคยเห็นเอกสารบางเวลาที่ผ่านมาพวกเขาส่วนใหญ่หันปริมาณภายใต้พื้นผิว ROC (VUS) หรือแผนภาพใยแมงมุม
อย่างไรก็ตามฉันไม่ทราบว่าหากมีการใช้งาน R ของวิธีการเหล่านี้ถึงแม้ว่าฉันคิดว่าstars()อาจใช้ฟังก์ชั่นสำหรับแผนใยแมงมุม ฉันเพียงแค่วิ่งข้ามกล่องเครื่องมือ Matlab ที่ดูเหมือนว่าจะมีหลายระดับวิเคราะห์ร็อคPRSD สตูดิโอ
เอกสารอื่น ๆ ที่อาจเป็นประโยชน์ในการเริ่มต้นเป็นครั้งแรกสำหรับการสร้างภาพ / การคำนวณ:
ข้อมูลอ้างอิง:
1. Allwein, EL, Schapire, RE และนักร้อง, Y. (2000) การลดมัลติคลาสเป็นไบนารี: วิธีการรวมสำหรับตัวแยกประเภทมาร์จิ้น วารสารการวิจัยการเรียนรู้ของเครื่อง , 1 : 113–141
ฉันเพิ่งพบนี้proc แพคเกจใน R ซึ่งแผนการmulticlass ร็อคโดยใช้เทคนิคที่ระบุโดยมือและจนถึง (2001) คุณสามารถใช้ฟังก์ชัน multiclass.roc
คำตอบที่นี่ค่อนข้างสมบูรณ์ แต่ฉันยังต้องการเพิ่ม 5 เซนต์ของฉัน ในคำถามนี้คุณสามารถค้นหาตัวอย่างของรหัส R สำหรับการผลิต ROC Curves โดยใช้ One-Vs-All Approach และROCR R library
นี่คือพล็อตจากคำตอบนั้น:
ในขณะที่คณิตศาสตร์อยู่นอกเหนือฉันบทความทบทวนทั่วไปนี้มีการอ้างอิงบางอย่างที่คุณอาจจะสนใจและมีคำอธิบายสั้น ๆ ของกราฟ ROC หลายชั้น
คำแนะนำเกี่ยวกับการวิเคราะห์ ROC โดย Tom Fawcett Pattern Recognition Letters Volume 27, Issue 8, June 2006, หน้า 861-874
ลิงก์ไปยังpdfตามที่จัดทำโดย gd047- ขอบคุณ