ค่าเฉลี่ยความแม่นยำเฉลี่ยเทียบกับค่าเฉลี่ยซึ่งกันและกันอันดับ

ฉันพยายามที่จะเข้าใจเมื่อมันเหมาะสมที่จะใช้แผนที่และควรใช้ MRR เมื่อใด ฉันพบงานนำเสนอนี้ที่ระบุว่า MRR จะใช้ประโยชน์ได้ดีที่สุดเมื่อจำนวนผลลัพธ์ที่เกี่ยวข้องน้อยกว่า 5 และดีที่สุดเมื่อเป็น 1 ในกรณีอื่น ๆ MAP เหมาะสม ฉันมีสองคำถาม:

• ฉันไม่เข้าใจจริงๆว่าทำไมถึงเป็นเช่นนั้น
• ฉันไม่พบการอ้างอิงที่อ้างอิงได้สำหรับการอ้างสิทธิ์นี้

โปรดทราบว่าฉันไม่มีภูมิหลังทางสถิติที่แข็งแกร่งมากดังนั้นคำอธิบายของคนธรรมดาจะช่วยได้มาก ขอบคุณ.

ลองนึกภาพคุณมีข้อความค้นหาบางประเภทและระบบสืบค้นของคุณได้ส่งคืนรายการอันดับต้น ๆ ของรายการ 20 อันดับแรกที่คิดว่าเกี่ยวข้องกับแบบสอบถามของคุณมากที่สุด ทีนี้ลองนึกดูว่ามีความจริงที่เกี่ยวข้องกับเรื่องนี้จริง ๆ แล้วเราสามารถพูดกับคนทั้ง 20 คนว่า "ใช่" มันเป็นคำตอบที่เกี่ยวข้องหรือ "ไม่"

ค่าเฉลี่ยซึ่งกันและกัน (MRR)ช่วยให้คุณสามารถวัดคุณภาพโดยทั่วไปในสถานการณ์เหล่านี้ แต่MRR จะให้ความสำคัญกับรายการที่เกี่ยวข้องอันดับเดียวสูงสุดเท่านั้น หากระบบของคุณส่งคืนรายการที่เกี่ยวข้องในจุดสูงสุดอันดับที่สามนั่นคือสิ่งที่ MRR ใส่ใจ ไม่สนใจว่ารายการที่เกี่ยวข้องอื่น ๆ (สมมติว่ามี) อยู่ในอันดับที่ 4 หรือ 20

ดังนั้น MRR จึงเหมาะสมที่จะตัดสินระบบที่ (a) มีผลลัพธ์ที่เกี่ยวข้องเพียงหนึ่งรายการหรือ (b) ในกรณีที่คุณใช้งานจริง ๆ คุณสนใจเฉพาะอันดับที่สูงที่สุดเท่านั้น สิ่งนี้อาจเป็นจริงในบางสถานการณ์การค้นหาเว็บตัวอย่างเช่นที่ผู้ใช้ต้องการค้นหาสิ่งใดสิ่งหนึ่งให้คลิกพวกเขาไม่ต้องการอะไรอีก (แม้ว่าโดยทั่วไปแล้วจะเป็นเรื่องจริงหรือคุณจะมีความสุขมากขึ้นกับการค้นหาเว็บที่ส่งคืนคำตอบที่ดีสิบข้อและคุณสามารถตัดสินใจด้วยตัวเองว่าควรคลิกที่ใด ... )

ความแม่นยำเฉลี่ยค่าเฉลี่ย (MAP)พิจารณาว่าทั้งหมดของรายการที่เกี่ยวข้องมักจะได้รับการจัดอันดับสูง ดังนั้นในตัวอย่าง 20 อันดับแรกไม่เพียง แต่ใส่ใจว่ามีคำตอบที่เกี่ยวข้องที่หมายเลข 3 เท่านั้น แต่ยังใส่ใจว่ารายการ "ใช่" ทั้งหมดในรายการนั้นเรียงรวมกันเป็นอันดับต้น ๆ

เมื่อมีคำตอบที่เกี่ยวข้องเพียงชุดเดียวในชุดข้อมูลของคุณ MRR และ MAP จะเทียบเท่ากันภายใต้คำจำกัดความมาตรฐานของ MAP

หากต้องการดูสาเหตุพิจารณาตัวอย่างของเล่นดังต่อไปนี้ซึ่งได้รับแรงบันดาลใจจากตัวอย่างในโพสต์บล็อกนี้ :

ตัวอย่างที่ 1

คำค้นหา: "เมืองหลวงแห่งแคลิฟอร์เนีย"

ผลการจัดอันดับ: "Portland", "Sacramento", "Los Angeles"

ผลการจัดอันดับ (ความเกี่ยวข้องแบบไบนารี): [0, 1, 0]

จำนวนคำตอบที่ถูกต้องที่เป็นไปได้: 1

อันดับซึ่งกันและกัน:$\frac{1}{2}$

ความแม่นยำที่ 1: $\frac{0}{1}$

ความแม่นยำที่ 2: $\frac{1}{2}$

ความแม่นยำที่ 3: $\frac{1}{3}$

เฉลี่ยความแม่นยำ =0.5$\frac{1}{m} * \frac{1}{2} = \frac{1}{1}*\frac{1}{2} = 0.5$

อย่างที่คุณเห็นความแม่นยำโดยเฉลี่ยของแบบสอบถามที่มีคำตอบที่ถูกต้องหนึ่งคำตอบนั้นเท่ากับระดับซึ่งกันและกันของผลลัพธ์ที่ถูกต้อง มันติดตามว่า MRR ของชุดของแบบสอบถามดังกล่าวจะเท่ากับ MAP ของมัน อย่างไรก็ตามตามตัวอย่างต่อไปนี้สิ่งต่าง ๆ ถ้ามีคำตอบที่ถูกต้องมากกว่าหนึ่ง:

ตัวอย่างที่ 2

คำค้นหา: "เมืองในแคลิฟอร์เนีย"

ผลการจัดอันดับ: "Portland", "Sacramento", "Los Angeles"

ผลการจัดอันดับ (ความเกี่ยวข้องแบบไบนารี): [0, 1, 1]

จำนวนคำตอบที่ถูกต้องที่เป็นไปได้: 2

อันดับซึ่งกันและกัน:$\frac{1}{2}$

ความแม่นยำที่ 1: $\frac{0}{1}$

ความแม่นยำที่ 2: $\frac{1}{2}$

ความแม่นยำที่ 3: $\frac{2}{3}$

ความแม่นยำเฉลี่ย =0.38$\frac{1}{m} * \big[ \frac{1}{2} + \frac{2}{3} \big] = \frac{1}{2} * \big[ \frac{1}{2} + \frac{2}{3} \big] = 0.38$

ดังนั้นการเลือก MRR กับ MAP ในกรณีนี้ขึ้นอยู่กับว่าคุณต้องการอันดับหรือไม่หลังจากการโจมตีครั้งแรกที่ถูกต้องจะมีอิทธิพล