คุณจะสร้าง ROC curves สำหรับการตรวจสอบความถูกต้องแบบ cross-one-out ได้อย่างไร

เมื่อทำการตรวจสอบความถูกต้องไขว้ 5 เท่า (เช่น) เป็นเรื่องปกติที่จะคำนวณเส้นโค้ง ROC ที่แยกต่างหากสำหรับแต่ละ 5 เท่าและบ่อยครั้งที่เส้นโค้ง ROC เฉลี่ยกับ std dev แสดงเป็นความหนาของเส้นโค้ง

อย่างไรก็ตามสำหรับการข้ามการตรวจสอบความถูกต้องของ LOO ที่มีการทดสอบดาต้าพอยน์เพียงครั้งเดียวในแต่ละครั้งดูเหมือนจะไม่น่าสนใจที่จะคำนวณ ROC "โค้ง" สำหรับดาต้าพอยน์นี้

ฉันได้รับคะแนนข้อมูลการทดสอบทั้งหมดของฉัน (พร้อมกับค่า p ที่คำนวณแยกต่างหาก) และรวมพวกมันไว้ในชุดใหญ่ชุดหนึ่งเพื่อคำนวณเส้นโค้ง ROC เดียว แต่นี่เป็นสิ่งที่ควรทำเพื่อสถิติเชิงสถิติหรือไม่

วิธีที่ถูกต้องในการใช้การวิเคราะห์ ROC คือเมื่อจำนวนจุดข้อมูลในแต่ละเท่าเป็นหนึ่ง (เช่นในกรณีของการตรวจสอบข้าม LOO)

ถ้าลักษณนามเอาท์พุทน่าจะเป็นแล้วรวมเอาจุดทดสอบทั้งหมดสำหรับโค้ง ROC เดียวที่เหมาะสม ถ้าไม่ให้ปรับขนาดเอาต์พุตของลักษณนามในลักษณะที่จะทำให้มันเปรียบโดยตรงข้ามลักษณนาม ตัวอย่างเช่นสมมติว่าคุณกำลังใช้การวิเคราะห์จำแนกเชิงเส้น ฝึกอบรมลักษณนามแล้วใส่ข้อมูลการฝึกอบรมผ่านลักษณนาม เรียนรู้สองน้ำหนัก: พารามิเตอร์ขนาด$\sigma$ (ค่าเบี่ยงเบนมาตรฐานของเอาต์พุตลักษณนามหลังจากลบค่าเฉลี่ยของคลาส) และพารามิเตอร์ shift $\mu$(ค่าเฉลี่ยของชั้นหนึ่ง) ใช้พารามิเตอร์เหล่านี้เพื่อทำให้วัตถุดิบเป็นปกติ$r$ เอาต์พุตของตัวแยกประเภท LDA แต่ละรายการผ่าน $n = (r-\mu)/\sigma$และจากนั้นคุณสามารถสร้างเส้นโค้ง ROC จากชุดเอาต์พุตปกติ นี่เป็นข้อแม้ที่คุณประมาณค่าพารามิเตอร์มากขึ้นดังนั้นผลลัพธ์อาจเบี่ยงเบนไปเล็กน้อยกว่าถ้าคุณสร้างเส้นโค้ง ROC โดยใช้ชุดทดสอบแยกต่างหาก

ถ้ามันเป็นไปไม่ได้ที่จะทำให้ปกติลักษณนามเอาท์พุทหรือแปลงเป็นความน่าจะเป็นแล้วการวิเคราะห์ ROC จาก LOO-CV นั้นไม่เหมาะสม