บริเวณใต้กราฟของ ROC กับความแม่นยำโดยรวม

ฉันสับสนเล็กน้อยเกี่ยวกับ Area Under Curve (AUC) ของ ROC และความแม่นยำโดยรวม

1. AUC จะเป็นสัดส่วนกับความแม่นยำโดยรวมหรือไม่ กล่าวอีกนัยหนึ่งเมื่อเรามีความแม่นยำโดยรวมที่มากขึ้นเราจะได้รับ AUC ที่มากขึ้นอย่างแน่นอนหรือไม่ หรือพวกเขาโดยนิยามมีความสัมพันธ์เชิงบวก?

2. หากพวกเขามีความสัมพันธ์เชิงบวกทำไมเราถึงต้องรายงานทั้งสองอย่างในสิ่งพิมพ์บางเล่ม?

3. ในกรณีจริงฉันดำเนินการจัดหมวดหมู่และได้ผลลัพธ์ดังนี้ลักษณนาม A มีความแม่นยำ 85% และ AUC 0.98 และลักษณนาม B มีความแม่นยำ 93% และ AUC 0.92 คำถามคือลักษณนามอะไรดีกว่ากัน? หรือเป็นไปได้ที่จะได้รับผลลัพธ์ที่คล้ายกันเช่นนี้ (ฉันหมายถึงอาจมีข้อผิดพลาดในการใช้งานของฉัน)?

AUC (ขึ้นอยู่กับ ROC) และความแม่นยำโดยรวมดูเหมือนจะไม่ใช่แนวคิดเดียวกัน

ความแม่นยำโดยรวมขึ้นอยู่กับจุดตัดเฉพาะจุดหนึ่งในขณะที่ ROC พยายามจุดตัดทั้งหมดและวางแผนความไวและความเฉพาะเจาะจง ดังนั้นเมื่อเราเปรียบเทียบความแม่นยำโดยรวมเรากำลังเปรียบเทียบความถูกต้องตามจุดตัดบางอย่าง ความแม่นยำโดยรวมนั้นแตกต่างจากจุดตัดที่แตกต่างกัน

ในขณะที่การวัดสถิติทั้งสองมีแนวโน้มที่จะมีความสัมพันธ์กัน แต่พวกเขาวัดคุณภาพที่แตกต่างของตัวจําแนก

AUROC

พื้นที่ใต้เส้นโค้ง (AUC) เท่ากับความน่าจะเป็นที่ตัวจําแนกจะจัดอันดับอินสแตนซ์บวกที่เลือกแบบสุ่มที่สูงกว่าตัวอย่างเชิงลบที่เลือกแบบสุ่ม มันวัดทักษะตัวจําแนกในการจัดอันดับชุดรูปแบบตามระดับที่พวกเขาอยู่ในระดับบวก แต่ไม่ได้กำหนดรูปแบบให้กับชั้นเรียนจริง

ความแม่นยำโดยรวมยังขึ้นอยู่กับความสามารถของลักษณนามในการจัดอันดับรูปแบบ แต่ยังขึ้นอยู่กับความสามารถในการเลือกขีด จำกัด ในการจัดอันดับที่ใช้กำหนดรูปแบบให้กับคลาสบวกหากสูงกว่าขีด จำกัด และระดับลบหากต่ำกว่า

ดังนั้นตัวจําแนกที่มีสถิติ AUROC ที่สูงกว่า (ทุกสิ่งเท่ากัน) น่าจะมีความแม่นยำโดยรวมที่สูงขึ้นเมื่อการจัดอันดับของรูปแบบ (ซึ่งมาตรการ AUROC) เป็นประโยชน์ต่อทั้ง AUROC และความแม่นยำโดยรวม อย่างไรก็ตามหากตัวจําแนกหนึ่งจัดอันดับรูปแบบดี แต่เลือกเกณฑ์ไม่ดีก็สามารถมี AUROC สูง แต่ความถูกต้องโดยรวมไม่ดี

การใช้งานจริง

ในทางปฏิบัติฉันชอบที่จะรวบรวมความแม่นยำโดยรวม AUROC และหากตัวจําแนกประเมินความน่าจะเป็นของการเป็นสมาชิกในชั้นเรียนข้อมูลข้ามเอนโทรปีหรือข้อมูลทำนายผล จากนั้นฉันก็มีการวัดที่วัดความสามารถในการดิบของมันเพื่อทำการจำแนกอย่างหนัก (สมมติว่าค่าการผิดประเภทการบวกและเชิงลบเท็จมีค่าเท่ากันและความถี่ของคลาสในกลุ่มตัวอย่างนั้นเหมือนกับการใช้ในการดำเนินงาน ตัวชี้วัดที่วัดความสามารถในการจัดอันดับรูปแบบและตัวชี้วัดที่วัดว่าการจัดอันดับถูกปรับเทียบเป็นความน่าจะเป็นได้ดีเพียงใด

สำหรับงานหลายอย่างค่าใช้จ่ายในการจำแนกประเภทการดำเนินงานไม่เป็นที่รู้จักหรือเปลี่ยนแปลงหรือความถี่ในการปฏิบัติงานแตกต่างจากในตัวอย่างการฝึกอบรมหรือเป็นตัวแปร ในกรณีดังกล่าวความแม่นยำโดยรวมมักไม่มีความหมายพอสมควรและ AUROC เป็นตัวบ่งชี้ประสิทธิภาพที่ดีกว่าและเราต้องการตัวแยกประเภทที่ให้ผลลัพธ์ที่มีความน่าจะเป็นที่สอบเทียบได้ดีเพื่อให้เราสามารถชดเชยปัญหาเหล่านี้ในการใช้งาน โดยพื้นฐานแล้วตัวชี้วัดตัวใดที่มีความสำคัญขึ้นอยู่กับปัญหาที่เราพยายามแก้ไข

AUC เป็นเมตริกที่มีประโยชน์มากจริง ๆ หรือไม่

ฉันจะบอกว่าค่าใช้จ่ายที่คาดหวังเป็นตัวชี้วัดที่เหมาะสมกว่า

จากนั้นคุณจะมีค่าใช้จ่าย A สำหรับผลบวกเท็จทั้งหมดและค่า B สำหรับค่าลบที่เป็นเท็จทั้งหมด อาจเป็นได้ว่าคลาสอื่นนั้นมีราคาค่อนข้างแพงกว่าชั้นอื่น ๆ แน่นอนถ้าคุณมีค่าใช้จ่ายสำหรับการจัดหมวดหมู่ที่ผิดพลาดในกลุ่มย่อยที่แตกต่างกันก็จะเป็นตัวชี้วัดที่มีประสิทธิภาพยิ่งขึ้น

ด้วยการพล็อตการตัดในแกน x และค่าใช้จ่ายที่คาดหวังในแกน y แล้วคุณจะเห็นว่าจุดตัดค่าใช้จ่ายใดลดลง

อย่างเป็นทางการคุณมีการสูญเสียฟังก์ชั่นการสูญเสีย (ตัด | ข้อมูลค่าใช้จ่าย) ซึ่งคุณพยายามที่จะลด

เช่นเดียวกับคำตอบทั้งหมดที่โพสต์: ROCและaccuracyเป็นแนวคิดพื้นฐานที่แตกต่างกันสองประการ

โดยทั่วไปแล้วให้ROCอธิบายถึงอำนาจการจำแนกของลักษณนามที่เป็นอิสระจากการกระจายคลาสและค่าใช้จ่ายการคาดการณ์ข้อผิดพลาดที่ไม่เท่ากัน

เมทริกไลค์accuracyนั้นคำนวณจากการกระจายคลาสtest datasetหรือcross-validationแต่อัตราส่วนนี้อาจเปลี่ยนแปลงเมื่อคุณใช้ตัวจําแนกกับข้อมูลในชีวิตจริงเนื่องจากการกระจายคลาสที่พื้นฐานมีการเปลี่ยนแปลงหรือไม่ทราบ ในทางกลับกันTP rateและFP rateสิ่งที่ใช้ในการสร้างAUCจะไม่ได้รับผลกระทบจากการเลื่อนระดับการแจกจ่าย