ชื่อของแผนภูมินี้แสดงอัตราบวกที่เป็นเท็จและจริงคืออะไรและสร้างขึ้นอย่างไร

ภาพด้านล่างแสดงเส้นโค้งต่อเนื่องของอัตราบวกเป็นบวกเทียบกับอัตราบวกจริง:

อย่างไรก็ตามสิ่งที่ฉันไม่ได้รับทันทีคือวิธีคำนวณอัตราเหล่านี้ หากมีการใช้วิธีการกับชุดข้อมูลจะมีอัตรา FP ที่แน่นอนและอัตรา FN ที่แน่นอน ไม่ได้หมายความว่าแต่ละวิธีควรมีจุดเดียวมากกว่าเป็นเส้นโค้งใช่หรือไม่ แน่นอนว่ามีหลายวิธีในการกำหนดค่าวิธีการสร้างจุดที่แตกต่างกันหลายอย่าง แต่ก็ไม่ชัดเจนสำหรับฉันว่ามีอัตราความต่อเนื่องนี้หรือวิธีที่สร้างขึ้น

พล็อตคือเส้นโค้ง ROCและคะแนน (False Positive Rate, True Positive Rate) จะถูกคำนวณสำหรับเกณฑ์ที่แตกต่างกัน สมมติว่าคุณมีฟังก์ชั่นยูทิลิตี้ที่เหมือนกันค่าเกณฑ์ที่เหมาะสมที่สุดคือจุดที่ใกล้ที่สุด (0, 1)

ในการสร้างเส้นโค้ง ROC (= ตัวรับลักษณะการทำงานของเครื่องรับ):

สมมติว่าเรามีความน่าจะเป็นลักษณนามของไบนารีเช่นการถดถอยโลจิสติก ก่อนที่จะนำเสนอเส้นโค้ง ROC แนวคิดของเมทริกซ์ความสับสนจะต้องเข้าใจ เมื่อเราทำการทำนายแบบไบนารีอาจมีข้อผิดพลาดได้ 4 ประเภท:

• เราคาดการณ์ 0 ในขณะที่เราควรให้คลาสเป็นจริง 0: สิ่งนี้เรียกว่าTrue Negativeนั่นคือเราคาดการณ์อย่างถูกต้องว่าคลาสนั้นเป็นลบ (0) ตัวอย่างเช่นโปรแกรมป้องกันไวรัสไม่พบไฟล์ที่ไม่เป็นอันตรายเป็นไวรัส
• เราคาดการณ์ 0 ในขณะที่เราควรให้คลาสเป็นจริง 1: สิ่งนี้เรียกว่าการลบเท็จนั่นคือเราคาดการณ์อย่างไม่ถูกต้องว่าคลาสนั้นเป็นลบ (0) ตัวอย่างเช่นโปรแกรมป้องกันไวรัสไม่สามารถตรวจจับไวรัสได้
• เราคาดการณ์ 1 ในขณะที่เราควรให้คลาสเป็นจริง 0: สิ่งนี้เรียกว่า " Positive Positive " นั่นคือเราคาดการณ์อย่างผิด ๆ ว่าคลาสนั้นเป็นบวก (1) ตัวอย่างเช่นแอนติไวรัสถือว่าไฟล์ที่ไม่เป็นอันตรายนั้นเป็นไวรัส
• เราคาดการณ์ 1 ในขณะที่เราควรให้คลาสเป็นจริง 1: สิ่งนี้เรียกว่าTrue Positiveนั่นคือเราคาดการณ์อย่างถูกต้องว่าคลาสนั้นเป็นบวก (1) ตัวอย่างเช่นโปรแกรมป้องกันไวรัสตรวจพบไวรัสอย่างถูกต้อง

ในการรับเมทริกซ์ความสับสนเราจะทำการคาดการณ์ทั้งหมดโดยตัวแบบและนับจำนวนข้อผิดพลาดทั้งสี่ประเภทที่เกิดขึ้น:

ในตัวอย่างของเมทริกซ์ความสับสนนี้ในบรรดา 50 data data ที่ได้รับการจัดประเภทนั้น 45 จำแนกอย่างถูกต้องและ 5 ถูกจำแนกผิด

เนื่องจากเพื่อเปรียบเทียบแบบจำลองที่แตกต่างกันสองแบบมันมักจะสะดวกกว่าที่จะมีตัวชี้วัดเดียวมากกว่าตัวแบบหลายตัวเราจึงคำนวณตัวชี้วัดสองตัวจากเมทริกซ์ความสับสนซึ่งเราจะรวมกันเป็นหนึ่ง:

• $\frac{TP}{TP+FN}$
• $\frac{FP}{FP+TN}$

$0.00; 0.01, 0.02, \dots, 1.00$

ในรูปนี้พื้นที่สีน้ำเงินตรงกับพื้นที่ภายใต้โค้งของลักษณะการดำเนินงานของเครื่องรับ (AUROC) เส้นประในแนวทแยงเรานำเสนอเส้นโค้ง ROC ของตัวทำนายแบบสุ่ม: มันมี AUROC 0.5 ตัวทำนายแบบสุ่มมักใช้เป็นพื้นฐานเพื่อดูว่าแบบจำลองนั้นมีประโยชน์หรือไม่

หากคุณต้องการได้รับประสบการณ์โดยตรง:

• Python: http://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html
• MATLAB: http://www.mathworks.com/help/stats/perfcurve.html

คำตอบของมอร์เทนตอบคำถามได้อย่างถูกต้องในชื่อเรื่อง - รูปคือเส้นโค้ง ROC มันสร้างขึ้นโดยการพล็อตลำดับของอัตราบวกปลอม (FPR) เทียบกับอัตราบวกจริงที่สอดคล้องกัน

อย่างไรก็ตามฉันต้องการตอบคำถามที่คุณถามในเนื้อหาของโพสต์

หากมีการใช้วิธีการกับชุดข้อมูลจะมีอัตรา FP ที่แน่นอนและอัตรา FN ที่แน่นอน ไม่ได้หมายความว่าแต่ละวิธีควรมีจุดเดียวมากกว่าเป็นเส้นโค้งใช่หรือไม่ แน่นอนว่ามีหลายวิธีในการกำหนดค่าวิธีการสร้างจุดที่แตกต่างกันหลายอย่าง แต่ก็ไม่ชัดเจนสำหรับฉันว่ามีอัตราความต่อเนื่องนี้หรือวิธีที่สร้างขึ้น

วิธีการเรียนรู้ของเครื่องจำนวนมากมีพารามิเตอร์ที่ปรับได้ ตัวอย่างเช่นผลลัพธ์ของการถดถอยโลจิสติกเป็นความน่าจะเป็นที่คาดการณ์ไว้ของสมาชิกระดับ กฎการตัดสินใจที่จะจัดประเภทคะแนนทั้งหมดที่มีความน่าจะเป็นที่คาดการณ์สูงกว่าขีด จำกัด บางอย่างไปยังชั้นหนึ่งและส่วนที่เหลือไปยังอีกชั้นหนึ่งสามารถสร้างตัวจําแนกช่วงที่มีความยืดหยุ่น สามารถทำได้เช่นเดียวกันในกรณีของฟอเรสต์แบบสุ่มโดยที่หนึ่งกำลังพิจารณาโหวตของต้นไม้หรือ SVM ซึ่งคุณกำลังพิจารณาระยะทางที่ลงชื่อจากไฮเปอร์เพลน

ในกรณีที่คุณทำการตรวจสอบข้ามเพื่อประเมินประสิทธิภาพการทำงานนอกกลุ่มตัวอย่างการปฏิบัติทั่วไปคือการใช้ค่าการทำนาย (การลงคะแนนความน่าจะเป็นระยะทางที่ลงชื่อ) เพื่อสร้างลำดับของ TPR และ FPR สิ่งนี้มักดูเหมือนฟังก์ชันขั้นตอนเพราะโดยทั่วไปจะมีเพียงจุดเดียวที่ย้ายจาก TP เป็น FN หรือ FP เป็น FN ในแต่ละค่าที่คาดการณ์ (เช่นค่าคาดการณ์ที่ไม่อยู่ในกลุ่มทั้งหมดจะไม่ซ้ำกัน) ในกรณีนี้ในขณะที่มีตัวเลือกสำหรับการคำนวณ TPR และ FPR อย่างต่อเนื่องฟังก์ชั่น TPR และ FPR จะไม่ต่อเนื่องเพราะมีเพียงจุดตัวอย่างจำนวนมากเท่านั้นดังนั้นเส้นโค้งผลลัพธ์จะมีลักษณะคล้ายขั้นตอน .

จาก Wikipedia:

เส้นโค้ง ROC ได้รับการพัฒนาครั้งแรกโดยวิศวกรไฟฟ้าและวิศวกรเรดาร์ในช่วงสงครามโลกครั้งที่สองเพื่อตรวจจับวัตถุศัตรูในสนามรบและในไม่ช้าก็ได้รับการแนะนำให้รู้จักกับจิตวิทยาจิตวิทยาบัญชีสำหรับการรับรู้การตรวจจับสิ่งเร้า การวิเคราะห์ ROC ตั้งแต่นั้นมาถูกนำมาใช้ในการแพทย์รังสีวิทยาชีวภาพและพื้นที่อื่น ๆ มานานหลายทศวรรษและมีการใช้มากขึ้นในการเรียนรู้ของเครื่องจักรและการวิจัยการทำเหมืองข้อมูล

ROC ยังเป็นที่รู้จักกันในนามเส้นโค้งลักษณะการทำงานแบบสัมพัทธ์เนื่องจากเป็นการเปรียบเทียบลักษณะการทำงานสองแบบ (TPR และ FPR) เมื่อการเปลี่ยนแปลงเกณฑ์เปลี่ยนแปลง

คุณสามารถคิดว่าสองแกนเป็นค่าใช้จ่ายที่ต้องเกิดขึ้นเพื่อให้ตัวจําแนกไบนารีใช้งานได้ เป็นการดีที่คุณต้องการให้เกิดอัตราการบวกที่ผิดพลาดให้น้อยที่สุดเท่าที่จะเป็นไปได้เพื่อให้ได้อัตราบวกที่สูงที่สุดเท่าที่จะเป็นไปได้ นั่นคือคุณต้องการให้ตัวจําแนกแบบไบนารีโทรหาค่าบวกปลอมสองสามค่าสําหรับผลบวกจริงมากที่สุดเท่าที่จะมากได้

เพื่อให้เป็นรูปธรรมตัวจําแนกที่สามารถตรวจจับได้ว่ามีโรคบางอย่างเกิดขึ้นหรือไม่โดยการวัดจํานวนของนักชีววิทยา ลองจินตนาการว่าตัวบ่งชี้ทางชีวภาพมีค่าอยู่ในช่วง 0 (ขาดไป) ถึง 1 (อิ่มตัว) ระดับสูงสุดของการตรวจหาโรคสูงสุด อาจเป็นกรณีที่ผู้ให้บริการไบโอมาร์เกอร์ระดับสูงกว่าจะจัดประเภทคนบางคนว่าเป็นโรค แต่พวกเขาไม่ได้เป็นโรค สิ่งเหล่านี้เป็นผลบวกที่ผิดพลาด แน่นอนว่ามีผู้ที่จะจัดเป็นโรคเมื่อพวกเขามีโรคแน่นอน สิ่งเหล่านี้เป็นผลบวกที่แท้จริง

ROC ประเมินสัดส่วนของผลบวกจริงของผลบวกทั้งหมดต่อสัดส่วนของผลบวกปลอมโดยคำนึงถึงค่าขีด จำกัด ที่เป็นไปได้ทั้งหมด