การเลือกกฎการให้คะแนนที่เหมาะสม


22

ทรัพยากรส่วนใหญ่เกี่ยวกับกฎการให้คะแนนที่เหมาะสมพูดถึงจำนวนของกฎการให้คะแนนที่แตกต่างกันเช่นการสูญเสียบันทึกคะแนน Brier หรือการให้คะแนนทรงกลม อย่างไรก็ตามพวกเขามักไม่ค่อยให้คำแนะนำเกี่ยวกับความแตกต่างระหว่างพวกเขามากนัก (จัดแสดง A: Wikipedia )

การเลือกแบบจำลองที่เพิ่มคะแนนลอการิทึมให้สอดคล้องกับการเลือกแบบจำลองความน่าจะเป็นสูงสุดซึ่งดูเหมือนจะเป็นข้อโต้แย้งที่ดีสำหรับการใช้การให้คะแนนแบบลอการิทึม มีเหตุผลที่คล้ายกันสำหรับการให้คะแนน Brier หรือทรงกลมหรือกฎการให้คะแนนอื่น ๆ ? ทำไมบางคนถึงใช้หนึ่งในคะแนนมากกว่าลอการิทึม?


2
คำแนะนำบางอย่างอยู่ในระบบการตั้งชื่อ "การทำงานของต้นทุน" มาจากการปรับให้เหมาะสมหรือวิศวกรรมระบบควบคุมที่ดีที่สุด ไม่มี "ดีที่สุด" การมี "ดี" หมายความว่าคุณต้องมีขนาดของความดี ครอบครัวของมาตรการแห่งความดีมีจำนวนไม่สิ้นสุด ตัวอย่างเล็กน้อยคือเส้นทางที่ดีที่สุดคืออะไร หากคุณเดินขบวนไปสู่การประหารชีวิตคุณจงทำให้มันเป็นเกมที่ยาวเหยียด หากคุณกำลังจะไปที่โลหะฟิลด์ของคุณทำให้มันสั้นที่สุด ความเชี่ยวชาญของระบบช่วยให้คุณเลือกการวัดความดี เมื่อคุณมีขนาดของความดีคุณก็สามารถหา "ดีที่สุด" ได้
EngrStudent - Reinstate Monica


1
ฉันใช้เสรีภาพในการแก้ไขชื่อเพื่อให้แม่นยำมากขึ้น / ให้ข้อมูล หากฉันตีความผิดมันขอโทษและรู้สึกอิสระที่จะยกเลิกการเปลี่ยนแปลง
Richard Hardy

คำตอบ:


18

ทำไมบางคนถึงใช้หนึ่งในคะแนนมากกว่าลอการิทึม?

ดังนั้นความนึกคิดเรามักจะแยกแยะความแตกต่างที่เหมาะสมรูปแบบจากการตัดสินใจ ในวิธีการแบบเบย์การให้คะแนนแบบจำลองและการเลือกควรกระทำโดยใช้โอกาสที่จะเกิดขึ้น จากนั้นคุณใช้แบบจำลองเพื่อทำการพยากรณ์ความน่าจะเป็นและฟังก์ชันการสูญเสียของคุณจะบอกวิธีการดำเนินการกับการทำนายเหล่านั้น

น่าเสียดายที่ในโลกแห่งความเป็นจริงประสิทธิภาพในการคำนวณมักจะเป็นตัวกำหนดว่าเราทำให้การเลือกแบบจำลองและการตัดสินใจเกิดขึ้น นี่คือสิ่งที่ผู้กระทำในการเลือกแบบคืบคลานเข้ามาเพราะคุณต้องเดาว่าความผิดพลาดประเภทใดที่คุณต้องเสียไป ตัวอย่างคลาสสิกคือการวินิจฉัยโรคมะเร็งการประเมินค่าความน่าจะเป็นของคนที่เป็นมะเร็งนั้นไม่ดี แต่การประเมินค่าต่ำไปนั้นเลวร้ายกว่ามาก

นอกจากนี้หากคุณกำลังมองหาแนวทางในการเลือกกฎการให้คะแนนคุณอาจต้องการคำแนะนำในการเลือกฟังก์ชั่นการสูญเสียหรือการออกแบบฟังก์ชั่นยูทิลิตี้เพราะฉันคิดว่าวรรณกรรมในสองหัวข้อนั้นมีมากมาย มากมาย


3
1) คุณกำลังบอกว่าการให้คะแนน Brier เป็นหลัก "ฟังก์ชั่นการสูญเสียในการปลอมตัว" - นั่นคือแม้ว่ามันจะปลอมตัวเป็นกฎการให้คะแนน / เปรียบเทียบยูทิลิตี้ฟังก์ชั่นที่ไม่เชื่อเรื่องพระเจ้า เกิดข้อผิดพลาดในแบบจำลองหรือไม่
Ben Kuhn

2) คุณมีตัวอย่างเฉพาะของการตั้งค่าที่บางคนอาจเลือก Brier หรือการให้คะแนนทรงกลมมากกว่าการให้คะแนนบันทึก (= ความเป็นไปได้เล็กน้อยที่ฉันเข้าใจ) ด้วยเหตุผลเหล่านั้นหรือไม่
Ben Kuhn

3) ทำไมมันจะมีประสิทธิภาพที่ดีกว่าในการอบสมมติฐานฟังก์ชั่นการสูญเสีย / ยูทิลิตี้ของคุณลงในแบบจำลองกว่าเพื่อให้เหมาะกับโอกาสที่จะเกิดขึ้นและใช้ฟังก์ชั่นการสูญเสีย / ยูทิลิตี้ของคุณ ดูเหมือนว่าสำหรับอัลกอริทึมการเรียนรู้ในอุดมคติไม่ควรมีช่องว่างระหว่างสิ่งเหล่านี้
Ben Kuhn

3
1) อ๋อ 2) ไม่ส่วนตัวไม่ กฎการให้คะแนนไม่ใช่ "ทันสมัย" ใน ML ที่ฉันทำงานอยู่การมีScholarอย่างรวดเร็วดูเหมือนว่าพวกเขามีอายุน้อย บทความนี้ดูเหมือนจะน่าสนใจสำหรับคุณ 3) ตามประสิทธิภาพผมหมายถึง "ประสิทธิภาพการคำนวณ" ไม่ใช่ "ประสิทธิภาพการทำนาย"
Andy Jones
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.