ความถูกต้องของแบบจำลอง 100% สำหรับข้อมูลเกินตัวอย่างหรือไม่?

ฉันเพิ่งเสร็จสิ้นการเรียนรู้ของเครื่องสำหรับหลักสูตร R ใน cognitiveclass.ai และได้เริ่มทำการทดลองด้วยการสุ่ม

ฉันสร้างแบบจำลองโดยใช้ไลบรารี่ "randomForest" ในอาร์โมเดลแบ่งเป็นสองคลาสคือดีและไม่ดี

ฉันรู้ว่าเมื่อแบบจำลองมีความเหมาะสมมากเกินไปมันทำงานได้ดีกับข้อมูลจากชุดฝึกอบรมของตัวเอง แต่มีข้อมูลที่ไม่อยู่ในเกณฑ์ตัวอย่าง

ในการฝึกอบรมและทดสอบแบบจำลองของฉันฉันได้สับและแยกชุดข้อมูลที่สมบูรณ์เป็น 70% สำหรับการฝึกอบรมและ 30% สำหรับการทดสอบ

คำถามของฉัน: ฉันได้รับความแม่นยำ 100% จากการทำนายที่ทำไว้ในชุดการทดสอบ มันแย่ใช่ไหม? ดูเหมือนดีเกินกว่าที่จะเป็นจริง

วัตถุประสงค์คือการจดจำรูปแบบของคลื่นในสี่ซึ่งกันและกันขึ้นอยู่กับรูปคลื่น คุณสมบัติของชุดข้อมูลนั้นเป็นผลจากต้นทุนของการวิเคราะห์สัญญาณเวลาแบบไดนามิกของรูปคลื่นด้วยรูปคลื่นเป้าหมาย

คะแนนการตรวจสอบความถูกต้องสูงเช่นความถูกต้องโดยทั่วไปหมายถึงว่าคุณไม่ได้ฟิตมากเกินไปอย่างไรก็ตามควรนำไปสู่ความระมัดระวังและอาจบ่งบอกถึงสิ่งที่ผิดพลาด อาจหมายความว่าปัญหาไม่ยากเกินไปและโมเดลของคุณทำงานได้ดีอย่างแท้จริง สองสิ่งที่อาจผิดพลาด:

• คุณไม่ได้แยกข้อมูลอย่างถูกต้องและข้อมูลการตรวจสอบเกิดขึ้นในข้อมูลการฝึกอบรมของคุณซึ่งหมายความว่ามันบ่งบอกถึงการมีน้ำหนักเกินเพราะคุณไม่ได้ทำการวัดลักษณะทั่วไปอีกต่อไป
• คุณใช้วิศวกรรมฟีเจอร์เพื่อสร้างฟีเจอร์เพิ่มเติมและคุณอาจแนะนำการรั่วไหลของเป้าหมายซึ่งแถวของคุณกำลังใช้ข้อมูลจากเป้าหมายปัจจุบันไม่ใช่แค่จากที่อื่น ๆ ในชุดฝึกอบรมของคุณ

ตรวจสอบเพื่อดูว่าคุณลักษณะการคาดเดามากที่สุดของคุณคืออะไร บางครั้งคุณรวมเป้าหมายของคุณ (หรือสิ่งที่เทียบเท่ากับเป้าหมายของคุณ) โดยไม่ได้ตั้งใจในคุณสมบัติของคุณ