ความแม่นยำมีความสำคัญมากกว่าการเรียกคืนเมื่อใด


16

ทุกคนสามารถให้ตัวอย่างที่ความแม่นยำมีความสำคัญและตัวอย่างบางส่วนที่การเรียกคืนเป็นสิ่งสำคัญหรือไม่


คะแนน f1 เป็นวิธีที่จะไปเพื่อนของฉัน
Neoares

ยิ่งกว่าสิ่งที่สำคัญกว่าระหว่างสองสิ่งนี้คุณควรถามว่ากรณีใดบ้างที่คุณต้องการเพิ่มประสิทธิภาพให้กับอีกกรณีหนึ่ง (ซึ่งไม่จำเป็นต้องทำให้อีก "สำคัญ" น้อยลง)
เริ่ม

คำตอบ:


26
  • สำหรับการสร้างแบบจำลองข้อมูลมะเร็งที่หายากสิ่งที่ไม่ได้คำนึงถึงเชิงลบที่ผิดคืออาชญากรรม การเรียกคืนเป็นตัววัดที่ดีกว่าความแม่นยำ
  • สำหรับคำแนะนำของ YouTube ข้อผิดพลาดเชิงลบมีความกังวลน้อยกว่า ความแม่นยำดีกว่าที่นี่

1
@fateh ความแตกต่างที่สำคัญคือ FP vs FN คำแนะนำของ YouTube ไม่ได้ให้ความสำคัญกับ FN แต่การตัดสินใจทางคลินิกของโรงพยาบาลจะต้อง
HelloWorld

11

ฉันสามารถให้กรณีจริงของฉันเมื่อการเรียกคืนมีความสำคัญมากกว่า:

เรามีลูกค้าฟรีลงทะเบียนในเว็บไซต์ของเราทุกสัปดาห์ ทีมงานคอลเซ็นเตอร์ต้องการเรียกพวกเขาทั้งหมด แต่เป็นไปไม่ได้ดังนั้นพวกเขาจึงขอให้ฉันเลือกผู้ที่มีโอกาสดีที่จะเป็นผู้ซื้อ (ที่มีอุณหภูมิสูงคือวิธีที่เราอ้างถึงพวกเขา) เราไม่สนใจที่จะโทรหาผู้ชายที่ไม่ซื้อ (ดังนั้นความแม่นยำจึงไม่สำคัญ) แต่สำหรับเรานั้นสำคัญมากที่ทุกคนที่มีอุณหภูมิสูงอยู่ในการเลือกของฉันเสมอดังนั้นพวกเขาจะไม่ไปโดยไม่ซื้อ นั่นหมายความว่าแบบจำลองของฉันต้องมีการเรียกคืนสูงไม่ว่าความแม่นยำจะตกนรกก็ตาม

ฉันหวังว่ามันจะช่วย! มิเกล


6

แม้ว่าในบางสถานการณ์การเรียกคืนอาจมีความสำคัญมากกว่าความแม่นยำ (หรือในทางกลับกัน) คุณต้องมีทั้งการประเมินผลที่ตีความได้มากขึ้น

ตัวอย่างเช่นตามที่ระบุไว้โดย @SmallChess ในชุมชนการแพทย์มักจะมีความผิดพลาดเชิงลบมากกว่าความผิดพลาดเชิงบวกสำหรับการวินิจฉัยเบื้องต้น ดังนั้นหนึ่งอาจพิจารณาการเรียกคืนเพื่อวัดที่สำคัญกว่า อย่างไรก็ตามคุณสามารถเรียกคืนได้ 100% แต่มีโมเดลที่ไร้ประโยชน์: หากโมเดลของคุณแสดงผลการคาดการณ์ในเชิงบวกเสมอมันจะมีการเรียกคืน 100% แต่จะไม่เป็นประโยชน์อย่างสมบูรณ์

นี่คือเหตุผลที่เราดูหลายเมตริก:


6

ซึ่งมีความสำคัญมากกว่านั้นขึ้นอยู่กับต้นทุนของข้อผิดพลาดแต่ละอย่าง

ความแม่นยำมักจะเกี่ยวข้องกับต้นทุนโดยตรง ยิ่งคุณมีผลบวกผิดพลาดมากเท่าใดคุณก็ยิ่งมีต้นทุนต่อการบวกที่แท้จริงมากขึ้นเท่านั้น หากต้นทุนของคุณต่ำความแม่นยำก็ไม่สำคัญเท่าไหร่ ตัวอย่างเช่นหากคุณมีที่อยู่อีเมล 1M และมีค่าใช้จ่าย $ 10 ในการส่งอีเมลไปยังที่อยู่อีเมลทั้งหมดอาจไม่คุ้มค่ากับเวลาที่คุณพยายามระบุคนที่มีแนวโน้มจะตอบสนองมากที่สุดเพียงส่งสแปมทั้งหมด

จำได้ว่าคนอื่น ๆ มีแนวโน้มที่จะเกี่ยวข้องกับค่าเสียโอกาส; คุณกำลังละทิ้งโอกาสทุกครั้งที่คุณมีการติดลบ ดังนั้นการเรียกคืนจึงมีความสำคัญน้อยที่สุดเมื่อค่าส่วนต่างของการระบุที่ถูกต้องเพิ่มเติมมีขนาดเล็กเช่นมีโอกาสมากมายมีความแตกต่างกันเล็กน้อยระหว่างพวกเขาและมีเพียงจำนวน จำกัด เท่านั้นที่สามารถดำเนินการได้ ตัวอย่างเช่นสมมติว่าคุณต้องการซื้อแอปเปิ้ล ที่ร้านมีแอปเปิ้ล 100 ร้านและ 10 ร้านนั้นไม่ดี หากคุณมีวิธีแยกแยะแอปเปิลที่ไม่ดีที่คิดถึงคนดีถึง 80% คุณจะระบุแอปเปิ้ลดี ๆ ประมาณ 18 ตัว โดยปกติการเรียกคืน 20% นั้นน่ากลัว แต่ถ้าคุณต้องการแอปเปิ้ลเพียง 5 ตัวการหายไปของแอปเปิ้ล 72 ตัวนั้นไม่สำคัญเลย

ดังนั้นการเรียกคืนเป็นสิ่งสำคัญที่สุดเมื่อ:

- จำนวนของโอกาสมีน้อย (ถ้ามีแอปเปิ้ลดีเพียง 10 อันคุณจะไม่สามารถหาคนดี 5 คนที่มีอัตราการเรียกคืนเพียง 20%)
- มีความแตกต่างอย่างมีนัยสำคัญระหว่างโอกาส (ถ้าแอปเปิ้ลบางคนดีกว่าคนอื่น ๆ ดังนั้นอัตราการเรียกคืนที่ 20% ก็เพียงพอที่จะรับ 5 แอปเปิ้ลที่ดี แต่พวกเขาไม่จำเป็นต้องเป็นแอปเปิ้ลที่ดีที่สุด )
หรือ
- ประโยชน์ที่ได้รับจากโอกาสยังคงอยู่ในระดับสูงถึงแม้จะมีโอกาสมากมาย ตัวอย่างเช่นในขณะที่ผู้ซื้อส่วนใหญ่จะไม่ได้รับประโยชน์จากแอปเปิ้ลดี ๆ มากกว่า 18 ชนิดร้านค้าต้องการที่จะขายแอปเปิ้ลมากกว่า 18 รายการ

ดังนั้นความแม่นยำจะมีความสำคัญมากกว่าการระลึกถึงเมื่อค่าใช้จ่ายในการแสดงสูง แต่ค่าของการไม่แสดงต่ำ โปรดทราบว่านี่เป็นค่าใช้จ่ายในการแสดง / ไม่แสดงต่อผู้สมัครไม่ใช่ "ค่าใช้จ่ายในการดำเนินการใด ๆ เลย" กับ "ค่าใช้จ่ายในการไม่กระทำการใด ๆ เลย" ในตัวอย่างของแอปเปิ้ลมันเป็นค่าใช้จ่ายในการซื้อ / ไม่ซื้อแอปเปิ้ลหนึ่ง ๆ ไม่ใช่ค่าใช้จ่ายในการซื้อแอปเปิ้ลบางตัวเทียบกับค่าใช้จ่ายในการไม่ซื้อแอปเปิ้ล ค่าใช้จ่ายในการไม่ซื้อแอปเปิ้ลนั้นต่ำเพราะมีแอปเปิ้ลอื่น ๆ มากมาย เนื่องจากค่าใช้จ่ายในการซื้อแอปเปิ้ลที่ไม่ดีนั้นสูง แต่ค่าใช้จ่ายในการผ่านแอปเปิ้ลที่ดีนั้นต่ำดังนั้นความแม่นยำจึงมีความสำคัญมากกว่าในตัวอย่างนั้น อีกตัวอย่างหนึ่งจะจ้างเมื่อมีผู้สมัครที่คล้ายกันจำนวนมาก

การเรียกคืนมีความสำคัญมากกว่าความแม่นยำเมื่อค่าใช้จ่ายในการแสดงต่ำ แต่ค่าเสียโอกาสในการส่งต่อผู้สมัครมีสูง มีตัวอย่างสแปมที่ฉันให้ไว้ก่อนหน้านี้ (ค่าใช้จ่ายที่ขาดหายไปจากที่อยู่อีเมลไม่สูง แต่ค่าใช้จ่ายในการส่งอีเมลไปยังคนที่ไม่ตอบสนองนั้นต่ำกว่านี้) และอีกตัวอย่างหนึ่งคือการระบุผู้สมัคร ช็อตไข้หวัดใหญ่: ให้ไข้หวัดใหญ่แก่คนที่ไม่ต้องการและมันมีค่าใช้จ่ายไม่กี่ดอลลาร์ไม่ให้มันแก่คนที่ต้องการมันและพวกเขาอาจตายได้ ด้วยเหตุนี้แผนการดูแลสุขภาพโดยทั่วไปจะเสนอไข้หวัดใหญ่ให้กับทุกคนโดยไม่คำนึงถึงความแม่นยำทั้งหมด


2

การสะสมมีคำตอบที่ดีเกี่ยวกับวิธีที่คุณสามารถหาตัวอย่างเพิ่มเติมที่อธิบายถึงความสำคัญของความแม่นยำในการจำและในทางกลับกัน

คำตอบอื่น ๆ ส่วนใหญ่สร้างกรณีที่น่าสนใจสำหรับความสำคัญของการเรียกคืนดังนั้นฉันคิดว่าฉันจะยกตัวอย่างเกี่ยวกับความสำคัญของความแม่นยำ นี่เป็นตัวอย่างสมมุติฐานที่สมบูรณ์ แต่มันก็เป็นจริง

ให้เราบอกว่ารูปแบบการเรียนรู้ของเครื่องถูกสร้างขึ้นเพื่อทำนายว่าวันใดวันหนึ่งเป็นวันที่ดีที่จะส่งดาวเทียมหรือไม่ขึ้นอยู่กับสภาพอากาศ

  • หากแบบจำลองนั้นทำนายว่าวันที่ดีในการส่งดาวเทียมนั้นไม่ดี ( ลบติดลบ ) เราพลาดโอกาสที่จะเปิดตัว นี่ไม่ใช่เรื่องใหญ่

  • อย่างไรก็ตามถ้าแบบจำลองทำนายว่ามันเป็นวันที่ดี แต่จริงๆแล้วมันเป็นวันที่ไม่ดีที่จะส่งดาวเทียม ( บวกเท็จ ) ดังนั้นดาวเทียมอาจถูกทำลายและค่าเสียหายจะอยู่ในพันล้าน

นี่เป็นกรณีที่ความแม่นยำมีความสำคัญมากกว่าการระลึกถึง


1

ฉันมีช่วงเวลาที่ยากลำบากในการจดจำความแตกต่างระหว่างความแม่นยำและความจำจนกระทั่งฉันมาพร้อมกับตัวช่วยจำนี้สำหรับตัวเอง:

การตั้งค่าล่วงหน้าเป็นการทดสอบการคาดการณ์ล่วงหน้าเนื่องจากการเรียกซ้ำเป็นไปที่ CALL center

ด้วยการทดสอบการตั้งครรภ์ผู้ผลิตทดสอบต้องแน่ใจว่าผลบวกหมายถึงผู้หญิงกำลังตั้งครรภ์จริงๆ ผู้คนอาจตอบสนองต่อการทดสอบในเชิงบวกโดยการแต่งงานหรือซื้อบ้านในทันที (หากผู้บริโภคจำนวนมากได้รับผลบวกปลอมและได้รับค่าใช้จ่ายจำนวนมากโดยไม่มีเหตุผลผู้ผลิตทดสอบจะขาดลูกค้า) ฉันได้รับการทดสอบการตั้งครรภ์ติดลบครั้งเดียวและมันก็หมายความว่ามันใช้เวลาอีกไม่กี่สัปดาห์ก่อนที่ฉันจะพบว่าฉันกำลังตั้งครรภ์ ... ในที่สุดความจริงก็กลายเป็น apPARENT (ตั้งใจเล่นปัน)

ตอนนี้ภาพศูนย์บริการสำหรับการเรียกร้องประกัน การเรียกร้องการฉ้อโกงส่วนใหญ่จะถูกโทรเข้ามาในวันจันทร์หลังจากที่ผู้กระทำความผิดติดต่อกับผู้ทำงานร่วมกันและประดิษฐ์เรื่องราวที่สร้างขึ้นมา ("สมมติว่ารถถูกขโมย") ในช่วงสุดสัปดาห์ สิ่งที่ดีที่สุดสำหรับ บริษัท ประกันภัยที่จะทำในวันจันทร์คืออะไร? บางทีพวกเขาควรปรับแต่งเพื่อระลึกถึงความแม่นยำมากกว่า มันจะดีกว่าที่จะตั้งค่าสถานะการเรียกร้องเพิ่มเติมว่าเป็นบวก (น่าจะเป็นการหลอกลวง) สำหรับการตรวจสอบต่อไปกว่าที่จะพลาดการทุจริตบางส่วนและจ่ายเงินสดที่ไม่ควรได้รับการจ่าย ปลอมบวก (ถูกตั้งค่าสถานะเพื่อตรวจสอบเพิ่มเติมว่าอาจเป็นการฉ้อโกง แต่การสูญเสียลูกค้าเป็นจริง) อาจถูกล้างออกด้วยการกำหนดตัวปรับที่มีประสบการณ์ซึ่งสามารถยืนยันรายงานของตำรวจร้องขอการสร้างวิดีโอรักษาความปลอดภัย ฯลฯ ผู้หลอกลวง

F1 นั้นยอดเยี่ยม แต่การเข้าใจว่าการทดสอบ / การคาดการณ์จะใช้มีความสำคัญจริง ๆ อย่างไรเนื่องจากมีความเสี่ยงที่จะผิดพลาดอยู่เสมอ ... คุณต้องการทราบว่าผลที่ตามมาจะเลวร้ายเพียงใดหากผิด


1

ส่งอีเมล์ถึงการตรวจสอบสแปม : นี่คือหนึ่งในตัวอย่างที่แม่นยำมีความสำคัญมากกว่าการเรียกคืน

สรุปอย่างรวดเร็ว :

  • ความแม่นยำ : สิ่งนี้บอกเมื่อคุณทำนายบางสิ่งบางอย่างในเชิงบวกจำนวนครั้งที่พวกเขาคิดบวก ในขณะที่

  • เรียกคืน : นี่เป็นการบอกข้อมูลเชิงบวกที่เกิดขึ้นจริงกี่ครั้งที่คุณทำนายถูกต้อง

ต้องกล่าวไว้ข้างต้นในกรณีของการตรวจจับอีเมลขยะควรมีใครดีถ้าอีเมลสแปม (กรณีที่เป็นบวก) ไม่ถูกตรวจพบและไม่ได้ไปที่โฟลเดอร์สแปมแต่ถ้าอีเมล์ดี (ลบ) ก็ต้องไม่ไปที่ โฟลเดอร์สแปม เช่นPrecison มีความสำคัญมากกว่า (หากแบบจำลองทำนายสิ่งที่เป็นบวก (เช่นจดหมายขยะ) มันจะเป็นจดหมายขยะที่ดีกว่าคุณอาจพลาดอีเมลสำคัญไป)

หวังว่ามันชัดเจน

โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.