วิธีที่ถูกต้องในการทดสอบความสำคัญของผลลัพธ์การจำแนกประเภทคืออะไร

มีหลายสถานการณ์ที่คุณสามารถฝึกตัวแยกประเภทที่แตกต่างกันหลายตัวหรือใช้วิธีการดึงคุณสมบัติที่แตกต่างกันหลายวิธี ในวรรณกรรมผู้เขียนมักจะให้ข้อผิดพลาดการจัดหมวดหมู่ค่าเฉลี่ยในชุดของการแยกแบบสุ่มของข้อมูล (เช่นหลังจากการตรวจสอบข้ามซ้อนสองเท่า) และบางครั้งก็ให้ความแตกต่างกับข้อผิดพลาดในการแยกเช่นกัน อย่างไรก็ตามสิ่งนี้ด้วยตัวมันเองไม่เพียงพอที่จะบอกได้ว่าตัวจําแนกประเภทหนึ่งดีกว่าตัวจําแนกอื่นอย่างมาก ฉันได้เห็นวิธีการที่แตกต่างมากมายในเรื่องนี้ - การใช้การทดสอบ Chi-squared, t-test, ANOVA พร้อมการทดสอบหลังเลิกเรียน ฯลฯ

ควรใช้วิธีการใดเพื่อกำหนดนัยสำคัญทางสถิติ ภายใต้คำถามนั้นคือ: เราควรตั้งสมมติฐานอะไรเกี่ยวกับการแจกแจงคะแนนการจำแนกประเภท?

นอกจากคำตอบที่ยอดเยี่ยมของ @ jb. ขอให้ฉันเพิ่มว่าคุณสามารถใช้การทดสอบของ McNemarในชุดทดสอบเดียวกันเพื่อพิจารณาว่าตัวแยกประเภทหนึ่งดีกว่าอีกชุดหนึ่งหรือไม่ สิ่งนี้จะใช้ได้กับปัญหาการจัดหมวดหมู่เท่านั้น (งานดั้งเดิมของ McNemar เรียกว่า "ลักษณะ dichotomous") ซึ่งหมายความว่าตัวแยกประเภทจะทำให้มันถูกหรือผิดไม่มีที่ว่างตรงกลาง

เนื่องจากการกระจายตัวของข้อผิดพลาดการจำแนกเป็นการกระจายแบบไบนารี่

นอกจากนี้การเปรียบเทียบประสิทธิภาพของตัวแยกประเภทที่ทำงานบนชุดข้อมูลเดียวกันนั้นสมเหตุสมผล - 'ไม่มีทฤษฎีบทอาหารกลางวันฟรี' ระบุว่าทุกรุ่นมีประสิทธิภาพโดยเฉลี่ยเท่ากันกับชุดข้อมูลทั้งหมด เลือกได้ในการฝึกอบรมพวกเขาhttp://en.wikipedia.org/wiki/No_free_lunch_in_search_and_optimization

หากคุณกำลังเปรียบเทียบประสิทธิภาพของรุ่น A และ B กับชุดข้อมูล D ฉันคิดว่าประสิทธิภาพเฉลี่ย + ค่าเฉลี่ยนั้นเพียงพอที่จะทำการเลือก

ยิ่งกว่านั้นหากมีหลายรุ่นที่มีประสิทธิภาพเป็นกันเอง (และเป็นแบบเส้นตรงเป็นอิสระจากกัน) ฉันอยากจะสร้างแบบจำลองวงดนตรีมากกว่าแค่เลือกแบบที่ดีที่สุด

ฉันแนะนำกระดาษโดย Tom Dietterich เรื่อง "การทดสอบทางสถิติโดยประมาณสำหรับการเปรียบเทียบอัลกอริทึมการเรียนรู้การจำแนกประเภทภายใต้การดูแล" นี่คือรายละเอียดของกระดาษบน Citeseer: http://citeseer.ist.psu.edu/viewdoc/summary?doi=10.1.1.37.3325 จากนามธรรม: "บทความนี้วิจารณ์การทดสอบทางสถิติโดยประมาณห้าชุดเพื่อพิจารณาว่าหนึ่งอัลกอริทึมการเรียนรู้ออกมาทำอีกอย่างหนึ่งในงานการเรียนรู้แบบเฉพาะเจาะจงหรือไม่การทดสอบเหล่านี้จะถูกนำมาเปรียบเทียบกันเพื่อทดสอบความเป็นไปได้ ). ... การทดสอบของ McNemar แสดงว่ามีข้อผิดพลาด Type I ต่ำ ... "

IMHO ไม่ควรมีความแตกต่างระหว่างการกระจายคะแนนไปยังการกระจายข้อมูลประเภทอื่น ๆ ดังนั้นโดยทั่วไปสิ่งที่คุณต้องตรวจสอบว่าเป็นข้อมูลของคุณมีการกระจายตามปกติหรือไม่เห็นที่นี่ นอกจากนี้ยังมีหนังสือที่ดีที่จัดการให้สะอาดด้วยคำถามนี้เห็นที่นี่ (เช่นในระยะสั้น: การทดสอบพวกเขาทั้งหมดไม่ว่าจะเป็นผลของสองลักษณนามที่แตกต่างกันอย่างมีนัยสำคัญ .. และถ้าพวกเขาทำพวกเขาสามารถรวมกันเป็นหนึ่ง - รูปแบบวงดนตรี)

ไม่มีการทดสอบเดี่ยวที่เหมาะสมกับทุกสถานการณ์ ฉันสามารถแนะนำหนังสือ "การประเมินการเรียนรู้อัลกอริทึม" โดย Nathalie Japkowicz และ Mohak Shah สำนักพิมพ์มหาวิทยาลัยเคมบริดจ์, 2011 ความจริงที่ว่าหนังสือเกือบ 400 หน้าสามารถเขียนได้ในหัวข้อนี้แสดงว่ามันไม่ใช่ปัญหาตรงไปตรงมา ฉันมักจะพบว่าไม่มีการทดสอบที่เหมาะสมกับความต้องการของการศึกษาของฉันดังนั้นจึงเป็นสิ่งสำคัญที่จะต้องเข้าใจข้อดีและข้อเสียของวิธีการที่ใช้ในที่สุด

ปัญหาที่พบบ่อยคือสำหรับชุดข้อมูลขนาดใหญ่อาจมีความแตกต่างอย่างมีนัยสำคัญทางสถิติด้วยขนาดของเอฟเฟกต์ที่ไม่มีนัยสำคัญในทางปฏิบัติ