เริ่มจากตัวอย่างกันก่อน Say Alice เป็นโค้ชผู้ติดตามและต้องการเลือกนักกีฬาเพื่อเป็นตัวแทนของทีมในการแข่งขันกีฬาที่กำลังจะมาถึง 200 เมตร โดยปกติเธอต้องการเลือกนักวิ่งที่เร็วที่สุด
- กฎการให้คะแนนที่เหมาะสมอย่างเคร่งครัดจะเสนอชื่อนักวิ่งที่เร็วที่สุดของทีมในระยะทาง 200 เมตร สิ่งนี้จะทำให้สิ่งที่โค้ชอลิซต้องการในสถานการณ์นี้สูงสุด นักกีฬาที่มีประสิทธิภาพสูงสุดตามที่คาดหวังจะได้รับเลือก - นี่เป็นการทดสอบการเลือกปฏิบัติที่เป็นธรรม
- กฎการให้คะแนนที่เหมาะสมจะรับนักกีฬาที่เป็นระยะ 200 เมตรสามารถที่เร็วที่สุด แต่เวลาที่จะปัดเศษให้เป็นครึ่งหนึ่งที่ใกล้ที่สุดของวินาที นักกีฬาที่ดีที่สุดและอาจเป็นนักกีฬาคนอื่น ๆ ก็สามารถผ่านการทดสอบนี้ได้เช่นกัน นักกีฬาทุกคนที่ได้รับการคัดเลือกด้วยวิธีนี้มีการแข่งขันค่อนข้างชัดเจนว่านี่ไม่ใช่การทดสอบความเร็วที่สมบูรณ์แบบ
- กฎการให้คะแนนกึ่งที่เหมาะสมจะรับนักกีฬาที่เป็นระยะ 200 เมตรสามารถกว่าเกณฑ์เวลาการแข่งขันเช่น 22 วินาที ก่อนหน้านี้นักกีฬาที่ดีที่สุดและนักกีฬาคนอื่น ๆ ก็สามารถผ่านการทดสอบนี้ได้เช่นกัน ในทำนองเดียวกันนักกีฬาทุกคนที่ได้รับการคัดเลือกด้วยวิธีนี้อาจมีการแข่งขันค่อนข้างชัดเจน แต่ไม่เพียง แต่นี่ไม่ใช่การทดสอบการเลือกปฏิบัติที่สมบูรณ์แบบ แต่มันก็อาจแย่ได้ด้วย โปรดทราบว่าไม่ผิดทันที
- กฎการให้คะแนนที่ไม่เหมาะสมที่จะรับนักกีฬาที่มีขาที่แข็งแกร่งเช่นผู้ที่สามารถหมอบน้ำหนักมากที่สุด แน่นอนว่านักวิ่งที่ดีคนใดคนหนึ่งอาจมีขาที่แข็งแรงมาก แต่การทดสอบนี้หมายความว่าผู้ชายบางคนจากทีมยกน้ำหนักจะเก่งกว่าที่นี่ เห็นได้ชัดว่านักยกน้ำหนักในการแข่งขัน 200 ม. นั้นจะเป็นหายนะ!
ในขณะที่ค่อนข้างเล็กน้อยตัวอย่างข้างต้นแสดงให้เห็นถึงสิ่งที่เกิดขึ้นกับการใช้กฎการให้คะแนน อลิซกำลังพยากรณ์เวลาที่คาดว่าจะได้ ภายในบริบทของการจำแนกประเภทเราคาดการณ์ความน่าจะเป็นที่จะลดข้อผิดพลาดของลักษณนามลที่น่าจะเป็น
- กฎการให้คะแนนที่เหมาะสมอย่างเคร่งครัดเช่นคะแนนหนามรับประกันว่าคะแนนที่ดีที่สุดจะได้รับการบรรลุเมื่อเราอยู่ใกล้เคียงกับความน่าจะเป็นความจริงที่เป็นไปได้
- กฎการให้คะแนนที่เหมาะสมเช่นอย่างต่อเนื่องน่าจะเป็นอันดับคะแนน (CRPS) ไม่ได้รับประกันว่าคะแนนที่ดีที่สุดจะได้รับการบรรลุโดยจําแนกที่มีการคาดการณ์ที่มีความใกล้เคียงกับความน่าจะเป็นความจริง ตัวแยกประเภทผู้สมัครอื่นอาจได้คะแนน CRPS ที่ตรงกับตัวแยกประเภทที่ดีที่สุด
- กฎการให้คะแนนกึ่งเหมาะสมเช่น AUC-ร็อคไม่เพียง แต่มันไม่ได้รับประกันว่าประสิทธิภาพที่ดีที่สุดจะได้รับการบรรลุโดยจําแนกที่มีการคาดการณ์ที่มีความใกล้เคียงกับความน่าจะเป็นความจริง แต่ก็ยังเป็นที่ (อาจ) เป็นไปได้ที่จะปรับปรุง ค่าของ AUC-ROC โดยการย้ายความน่าจะเป็นที่คาดการณ์ออกไปจากค่าที่แท้จริง อย่างไรก็ตามภายใต้เงื่อนไขบางประการ (เช่นการกระจายคลาสเป็นที่รู้จักกันในกรณีของ AUC-ROC) กฎดังกล่าวสามารถประมาณกฎการให้คะแนนที่เหมาะสม Byrne (2016) " บันทึกการใช้ AUC เชิงประจักษ์สำหรับการประเมินการคาดการณ์ความน่าจะเป็น " ทำให้เกิดจุดที่น่าสนใจบางอย่างเกี่ยวกับ AUC-ROC
- กฎการให้คะแนนที่ไม่เหมาะสมเช่นความถูกต้องและข้อเสนอเล็ก ๆ น้อย ๆ ที่จะเชื่อมต่อกับงานเดิมของเราในการคาดการณ์ความน่าจะใกล้เคียงเป็นไปได้ที่จะน่าจะเป็นความจริงไม่มี
ในขณะที่เราเห็นว่ากฎการให้คะแนนแบบกึ่งไม่เหมาะสมนั้นไม่สมบูรณ์ แต่ก็ไม่ใช่ความหายนะทันที มันจะมีประโยชน์มากในระหว่างการทำนายจริง ๆ ! Cagdas Ozgenc มีตัวอย่างที่ดีที่นี่ซึ่งการทำงานกับกฎที่ไม่เหมาะสม / กึ่งเหมาะสมนั้นดีกว่ากฎที่เหมาะสม โดยทั่วไปแล้วกฎการให้คะแนนแบบกึ่งคำ ที่เหมาะสมนั้นไม่ธรรมดามาก มันเกี่ยวข้องกับกฎที่ไม่เหมาะสมซึ่งอาจเป็นประโยชน์ (เช่น AUC-ROC หรือแม่ในการจัดประเภทความน่าจะเป็น)
ในที่สุดให้สังเกตสิ่งที่สำคัญ เมื่อการวิ่งเกี่ยวข้องกับขาที่แข็งแรงดังนั้นการจำแนกความน่าจะเป็นที่ถูกต้องด้วยความแม่นยำ ไม่น่าเป็นไปได้ว่าผู้วิ่งแข่งที่ดีจะมีขาที่อ่อนแอและในทำนองเดียวกันก็ไม่น่าเป็นไปได้ที่ตัวแยกประเภทที่ดีจะมีความแม่นยำที่ไม่ดี อย่างไรก็ตามการเทียบความแม่นยำกับประสิทธิภาพของตัวจําแนกที่ดีนั้นก็เหมือนกับการเปรียบเทียบความแข็งแรงของขากับประสิทธิภาพการวิ่งที่ดี ไม่ไม่มีมูลความจริงอย่างสมบูรณ์ แต่มีความเป็นไปได้สูงที่จะนำไปสู่ผลลัพธ์ที่ไร้สาระ