คำถามติดแท็ก precision-recall

ฉันกำลังทำงานกับปัญหาการจำแนกเลขฐานสองซึ่งมันสำคัญมากกว่าที่จะไม่มีผลบวกปลอม ข้อผิดพลาดเชิงลบค่อนข้างมากก็โอเค ฉันใช้ตัวแยกประเภทจำนวนมากใน sklearn แต่ฉันคิดว่าไม่มีตัวใดที่สามารถปรับความแม่นยำในการจำคืนได้อย่างชัดเจน (พวกมันให้ผลลัพธ์ที่ดี แต่ไม่สามารถปรับได้) ตัวแยกประเภทใดที่สามารถปรับความแม่นยำ / เรียกคืนได้ มีวิธีใดบ้างที่จะส่งผลต่อความแม่นยำ / การเรียกคืนการแลกเปลี่ยนกับตัวแยกประเภทมาตรฐานเช่น Random Forest หรือ AdaBoost?

11 classification  precision-recall 

เนื่องจากฉันมีชุดข้อมูลที่ไม่สมดุลมาก (ผลบวก 9%) ฉันจึงตัดสินใจว่ากราฟความแม่นยำในการเรียกคืนมีความเหมาะสมมากกว่าเส้นโค้ง ROC ฉันได้รับมาตรวัดสรุปพื้นที่แบบอะนาล็อกภายใต้เส้นโค้ง PR (.49 ถ้าคุณสนใจ) แต่ไม่แน่ใจว่าจะตีความมันอย่างไร ฉันได้ยินมาว่า. 8 หรือสูงกว่านั้นเป็น AUC ที่ดีสำหรับ ROC แต่การตัดทั่วไปจะเหมือนกันสำหรับ AUC สำหรับเส้นโค้งการเรียกคืนที่แม่นยำหรือไม่

11 classification  precision-recall  auc 

นี่คือคะแนน F เบต้า: Fβ=(1+β2)⋅precision⋅recall(β2⋅precision)+recallFβ=(1+β2)⋅พีRอีคผมsผมโอn⋅Rอีคaล.ล.(β2⋅พีRอีคผมsผมโอn)+Rอีคaล.ล.F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}} วิกิพีเดียบทความระบุว่าF_FβFβF_\beta "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision" ฉันไม่ได้รับความคิด ทำไมนิยามเช่นนั้น ฉันสามารถกำหนดแบบนี้:F βββ\betaFβFβF_\beta Fβ=(1+β)⋅precision⋅recall(β⋅precision)+recallFβ=(1+β)⋅พีRอีคผมsผมโอn⋅Rอีคaล.ล.(β⋅พีRอีคผมsผมโอn)+Rอีคaล.ล.F_\beta = (1 + \beta) \cdot \frac{\mathrm{precision} \cdot …

10 machine-learning  precision-recall  model-evaluation 

ขณะนี้ฉันกำลังเปรียบเทียบสามวิธีและฉันมีความแม่นยำ auROC และ auPR เป็นตัวชี้วัด และฉันมีผลลัพธ์ต่อไปนี้: วิธี A - acc: 0.75, auROC: 0.75, auPR: 0.45 วิธี B - acc: 0.65, auROC: 0.55, auPR: 0.40 วิธี C - acc: 0.55, auROC: 0.70, auPR: 0.65 ฉันมีความเข้าใจที่ถูกต้องและ auROC (จำได้ดีฉันมักจะพยายามหาประโยคเช่น "auROC = ลักษณะความสามารถในการทำนายชั้นบวกได้ดี" ในขณะที่ไม่ถูกต้องแม่นยำช่วยให้ฉันจำได้) ฉันไม่เคยมีข้อมูล auPR มาก่อนและในขณะที่ฉันเข้าใจว่ามันถูกสร้างขึ้นมาได้อย่างไรฉันไม่สามารถ "รู้สึก" อยู่ข้างหลังได้ ในความเป็นจริงฉันไม่เข้าใจว่าทำไมวิธี C มีคะแนนสูงอย่างไม่น่าเชื่อสำหรับ auPR ในขณะที่ไม่ดี …

10 machine-learning  roc  precision-recall 

เหตุใดการเรียกคืนจึงไม่คำนึงถึงแง่ลบที่แท้จริง ในการทดลองที่เชิงลบที่แท้จริงมีความสำคัญเทียบเท่ากับการบวกที่แท้จริงการวัดเปรียบเทียบของพวกเขาที่นำมาพิจารณาหรือไม่

10 precision-recall 

1) ฉันจะเปลี่ยนเกณฑ์การจำแนกได้อย่างไร (ฉันคิดว่าเป็น 0.5 โดยค่าเริ่มต้น) ใน RandomForest ใน sklearn 2) ฉันจะตัวอย่างน้อยใน sklearn ได้อย่างไร 3) ฉันมีผลลัพธ์ต่อไปนี้จากลักษณนาม RandomForest: [[1635 1297] [520 3624]] precision recall f1-score support class 0 0.76 0.56 0.64 2932 class 1 0.74 0.87 0.80 4144 เฉลี่ย / รวม 0.75 0.74 0.73 7076 ก่อนข้อมูลไม่สมดุล (30% จากคลาส 0 และ 70% จากคลาส …

9 classification  random-forest  precision-recall  unbalanced-classes