คำถามติดแท็ก average-precision

2
พื้นที่ภายใต้ Precision-Recall Curve (AUC ของ PR-curve) และ Average Precision (AP)
Average Precision (AP) เป็นพื้นที่ภายใต้ Precision-Recall Curve (AUC ของ PR-curve) หรือไม่ แก้ไข: นี่คือความคิดเห็นเกี่ยวกับความแตกต่างใน PR AUC และ AP AUC นั้นได้มาจากการประมาณค่าความแม่นยำสี่เหลี่ยมคางหมู อีกทางเลือกหนึ่งและมักจะเทียบเท่ากับตัวชี้วัดคือ Average Precision (AP) ซึ่งส่งคืนเป็น info.ap นี่คือค่าเฉลี่ยของความแม่นยำที่ได้รับทุกครั้งที่มีการเรียกคืนตัวอย่างบวกใหม่ มันเป็นเช่นเดียวกับ AUC หากความแม่นยำถูกแก้ไขโดยส่วนคงที่และเป็นคำจำกัดความที่ใช้โดย TREC บ่อยที่สุด http://www.vlfeat.org/overview/plots-rank.html นอกจากนี้ผลลัพธ์ aucและaverage_precision_scoreไม่เหมือนกันใน scikit-Learn นี่เป็นเรื่องแปลกเพราะในเอกสารที่เรามี: คำนวณความแม่นยำเฉลี่ย (AP) จากคะแนนการทำนายคะแนนนี้สอดคล้องกับพื้นที่ใต้กราฟความแม่นยำในการจำ นี่คือรหัส: # Compute Precision-Recall and plot curve precision, recall, thresholds = precision_recall_curve(y_test, …

2
วิธีเปรียบเทียบอัลกอริทึมการจัดอันดับสองรายการ
ฉันต้องการเปรียบเทียบอัลกอริทึมการจัดอันดับสองรายการ ในอัลกอริทึมเหล่านี้ลูกค้าระบุเงื่อนไขบางอย่างในการค้นหาของเขา / เธอ ตามความต้องการของลูกค้าอัลกอริทึมเหล่านี้ควรกำหนดคะแนนสำหรับแต่ละรายการในฐานข้อมูลและดึงรายการที่มีคะแนนสูงสุด ฉันได้อ่านหัวข้อต่าง ๆ ที่เกี่ยวข้องกับคำถามของฉันในเว็บไซต์นี้และค้นหาสุทธิ จากการค้นหาของฉันบทความที่เกี่ยวข้องที่สุดซึ่งอธิบายเกี่ยวกับตัวชี้วัดบางอย่างสำหรับการเปรียบเทียบอัลกอริทึมการจัดอันดับคือ: Brian McFee และ Gert RG Lanckriet, Metric Learning to Rank, ICML 2010 ( https://bmcfee.github.io/papers/mlr) .pdf ) ฉันคิดว่า prec @ k, MAP, MRR และ NDCG เป็นตัวชี้วัดที่ดีที่จะใช้ แต่ฉันมีปัญหา: อัลกอริทึมของฉันเรียงลำดับผลลัพธ์ดังนั้นรายการแรกในรายการผลลัพธ์ของฉันคือรายการที่ดีที่สุดที่มีคะแนนสูงสุดผลที่สองมีคะแนนสูงสุดอันดับสองและอื่น ๆ ฉัน จำกัด อัลกอริทึมการค้นหาของฉันไว้ที่ตัวอย่างเช่นค้นหา 5 ผลลัพธ์ที่ดีที่สุดผลลัพธ์คือรายการที่ติดอันดับสูงสุด 5 ดังนั้นความแม่นยำจะเป็น 1 เมื่อฉัน จำกัด การค้นหาของฉันเพื่อค้นหาผลลัพธ์ที่ดีที่สุดมันจะพบสิ่งที่ดีที่สุด อีกครั้งความแม่นยำจะเป็น 1. …

1
ค่าเฉลี่ยความแม่นยำเฉลี่ยเทียบกับค่าเฉลี่ยซึ่งกันและกันอันดับ
ฉันพยายามที่จะเข้าใจเมื่อมันเหมาะสมที่จะใช้แผนที่และควรใช้ MRR เมื่อใด ฉันพบงานนำเสนอนี้ที่ระบุว่า MRR จะใช้ประโยชน์ได้ดีที่สุดเมื่อจำนวนผลลัพธ์ที่เกี่ยวข้องน้อยกว่า 5 และดีที่สุดเมื่อเป็น 1 ในกรณีอื่น ๆ MAP เหมาะสม ฉันมีสองคำถาม: ฉันไม่เข้าใจจริงๆว่าทำไมถึงเป็นเช่นนั้น ฉันไม่พบการอ้างอิงที่อ้างอิงได้สำหรับการอ้างสิทธิ์นี้ โปรดทราบว่าฉันไม่มีภูมิหลังทางสถิติที่แข็งแกร่งมากดังนั้นคำอธิบายของคนธรรมดาจะช่วยได้มาก ขอบคุณ.
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.