เมทริกซ์ความสับสนรายงานจากการตรวจสอบข้าม K-fold อย่างไร


18

สมมติว่าฉันใช้การตรวจสอบความถูกต้องข้ามแบบ K-fold ด้วย K = 10 เท่า จะมีเมทริกซ์ความสับสนหนึ่งครั้งสำหรับแต่ละครั้ง เมื่อรายงานผลลัพธ์ฉันควรคำนวณเมทริกซ์ความสับสนเฉลี่ยหรือเพียงแค่รวมเมทริกซ์ความสับสน

คำตอบ:


11

หากคุณกำลังทดสอบประสิทธิภาพของแบบจำลอง (เช่นไม่ปรับพารามิเตอร์) โดยทั่วไปคุณจะรวมเมทริกซ์ความสับสน ลองคิดแบบนี้คุณแบ่งข้อมูลของคุณออกเป็น 10 เท่าหรือตั้งค่า 'การทดสอบ' คุณฝึกฝนโมเดลของคุณใน 9/10 ของรอยพับและทดสอบรอยพับแรกและรับเมทริกซ์ที่สับสน เมทริกซ์ความสับสนนี้แสดงการจำแนก 1/10 ของข้อมูล คุณทำการวิเคราะห์ซ้ำอีกครั้งด้วยการตั้งค่า 'ทดสอบ' ชุดถัดไปและรับเมทริกซ์ความสับสนอีกอันที่แสดงข้อมูลอีก 1/10 การเพิ่มเมทริกซ์ความสับสนใหม่นี้ลงในครั้งแรกจะแสดงถึง 20% ของข้อมูลของคุณ คุณดำเนินการต่อไปจนกว่าคุณจะดำเนินการทั้งหมดของคุณรวมเมทริกซ์ความสับสนทั้งหมดของคุณและเมทริกซ์ความสับสนสุดท้ายแสดงให้เห็นถึงประสิทธิภาพของโมเดลนั้นสำหรับข้อมูลทั้งหมด. คุณสามารถเฉลี่ยเมทริกซ์ความสับสน แต่นั่นไม่ได้ให้ข้อมูลเพิ่มเติมใด ๆ จากเมทริกซ์สะสมและอาจจะลำเอียงถ้าเท่าของคุณไม่เท่ากัน

หมายเหตุ - นี่เป็นการสุ่มตัวอย่างข้อมูลของคุณซ้ำ ฉันไม่แน่ใจถ้ามันจะแตกต่างกันสำหรับการสุ่มตัวอย่างซ้ำ ๆ จะอัปเดตถ้าฉันเรียนรู้บางสิ่งหรือบางคนแนะนำวิธีการ


ขอบคุณ cdeterman สิ่งที่เกี่ยวกับการเลือกรูปแบบ (ieoptimizing ปรับพารามิเตอร์)?
John M

@JohnM จากนั้นคุณกำลังดูแต่ละพับอย่างอิสระเพื่อรับการบ่งชี้ว่าพารามิเตอร์ที่ดีที่สุดสำหรับรุ่นเต็ม คุณอาจต้องการดูCV ที่ซ้อนกันถ้าคุณต้องการรวมทั้งสองอย่างเข้าด้วยกัน
cdeterman
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.