สมมติว่าฉันใช้การตรวจสอบความถูกต้องข้ามแบบ K-fold ด้วย K = 10 เท่า จะมีเมทริกซ์ความสับสนหนึ่งครั้งสำหรับแต่ละครั้ง เมื่อรายงานผลลัพธ์ฉันควรคำนวณเมทริกซ์ความสับสนเฉลี่ยหรือเพียงแค่รวมเมทริกซ์ความสับสน
สมมติว่าฉันใช้การตรวจสอบความถูกต้องข้ามแบบ K-fold ด้วย K = 10 เท่า จะมีเมทริกซ์ความสับสนหนึ่งครั้งสำหรับแต่ละครั้ง เมื่อรายงานผลลัพธ์ฉันควรคำนวณเมทริกซ์ความสับสนเฉลี่ยหรือเพียงแค่รวมเมทริกซ์ความสับสน
คำตอบ:
หากคุณกำลังทดสอบประสิทธิภาพของแบบจำลอง (เช่นไม่ปรับพารามิเตอร์) โดยทั่วไปคุณจะรวมเมทริกซ์ความสับสน ลองคิดแบบนี้คุณแบ่งข้อมูลของคุณออกเป็น 10 เท่าหรือตั้งค่า 'การทดสอบ' คุณฝึกฝนโมเดลของคุณใน 9/10 ของรอยพับและทดสอบรอยพับแรกและรับเมทริกซ์ที่สับสน เมทริกซ์ความสับสนนี้แสดงการจำแนก 1/10 ของข้อมูล คุณทำการวิเคราะห์ซ้ำอีกครั้งด้วยการตั้งค่า 'ทดสอบ' ชุดถัดไปและรับเมทริกซ์ความสับสนอีกอันที่แสดงข้อมูลอีก 1/10 การเพิ่มเมทริกซ์ความสับสนใหม่นี้ลงในครั้งแรกจะแสดงถึง 20% ของข้อมูลของคุณ คุณดำเนินการต่อไปจนกว่าคุณจะดำเนินการทั้งหมดของคุณรวมเมทริกซ์ความสับสนทั้งหมดของคุณและเมทริกซ์ความสับสนสุดท้ายแสดงให้เห็นถึงประสิทธิภาพของโมเดลนั้นสำหรับข้อมูลทั้งหมด. คุณสามารถเฉลี่ยเมทริกซ์ความสับสน แต่นั่นไม่ได้ให้ข้อมูลเพิ่มเติมใด ๆ จากเมทริกซ์สะสมและอาจจะลำเอียงถ้าเท่าของคุณไม่เท่ากัน
หมายเหตุ - นี่เป็นการสุ่มตัวอย่างข้อมูลของคุณซ้ำ ฉันไม่แน่ใจถ้ามันจะแตกต่างกันสำหรับการสุ่มตัวอย่างซ้ำ ๆ จะอัปเดตถ้าฉันเรียนรู้บางสิ่งหรือบางคนแนะนำวิธีการ