นี่เป็นคำถามทั่วไปที่ถูกถามทางอ้อมหลายครั้ง แต่ไม่มีคำตอบที่เชื่อถือได้ มันจะเป็นการดีถ้ามีคำตอบโดยละเอียดสำหรับการอ้างอิง

ความถูกต้องของสัดส่วนของการจำแนกประเภทที่ถูกต้องในหมู่ทุกประเภทที่สามารถทำได้ง่ายและมากวัด "ที่ใช้งานง่าย" แต่มันอาจจะเป็นตัวชี้วัดที่ดีสำหรับข้อมูลที่ไม่สมดุล ทำไมสัญชาตญาณของเราทำให้เราเข้าใจผิดที่นี่และมีปัญหาอื่นใดกับมาตรการนี้

คำตอบอื่น ๆ ส่วนใหญ่มุ่งเน้นไปที่ตัวอย่างของคลาสที่ไม่สมดุล ใช่นี่เป็นสิ่งสำคัญ อย่างไรก็ตามฉันยืนยันว่าความถูกต้องเป็นปัญหาแม้กับคลาสที่สมดุล

แฟรงก์ฮาร์เรลได้เขียนเกี่ยวกับเรื่องนี้ในบล็อกของเขา: การจำแนกประเภทเทียบกับการคาดการณ์และความเสียหายที่เกิดจากความแม่นยำในการจำแนกและอื่น ๆ ที่ไม่เหมาะสมความถูกต้องต่อเนื่องกฎการให้คะแนน

โดยพื้นฐานแล้วข้อโต้แย้งของเขาคือองค์ประกอบทางสถิติของการออกกำลังกายของคุณจะสิ้นสุดลงเมื่อคุณแสดงความน่าจะเป็นสำหรับแต่ละคลาสของตัวอย่างใหม่ของคุณ การแม็พความน่าจะเป็นที่คาดการณ์เหล่านี้กับการจัดประเภท 0-1 โดยการเลือกเกณฑ์ที่คุณจำแนกการสังเกตใหม่เนื่องจาก 1 กับ 0 ไม่ได้เป็นส่วนหนึ่งของสถิติอีกต่อไป . มันเป็นส่วนหนึ่งขององค์ประกอบการตัดสินใจ และที่นี่คุณต้องการผลลัพธ์ที่เป็นไปได้ของแบบจำลองของคุณ - แต่ยังต้องพิจารณาถึง:$(\hat{p}, 1-\hat{p})$

• อะไรคือผลที่ตามมาของการตัดสินใจปฏิบัติต่อการสังเกตใหม่ในระดับ 1 กับ 0 ฉันจะส่งจดหมายการตลาดราคาถูกไปยังทุกคนได้หรือไม่ หรือฉันจะใช้การรักษาโรคมะเร็งรุกรานกับผลข้างเคียงที่ยิ่งใหญ่?
• อะไรคือผลของการรักษา "ความจริง" 0 เป็น 1 และในทางกลับกัน ฉันจะติ๊กลูกค้าหรือไม่ เรื่องคนที่จะรักษาพยาบาลที่ไม่จำเป็น?
• "คลาส" ของฉันไม่ต่อเนื่องอย่างแท้จริงหรือไม่ หรือที่จริงแล้วมีความต่อเนื่อง (เช่นความดันโลหิต) ซึ่งเกณฑ์ทางคลินิกเป็นจริงเพียงแค่ทางลัดทางปัญญา? ถ้าเป็นเช่นนั้นฉันจะ "จัดหมวดหมู่" ได้ไกลเกินกว่าเกณฑ์หรือไม่
• หรือความน่าจะเป็นที่ต่ำ แต่เป็นบวกจะเป็น class 1 จริง ๆ แล้วหมายถึง "รับข้อมูลเพิ่มเติม", "ทำการทดสอบอื่น" หรือไม่?

ขึ้นอยู่กับผลการตัดสินใจของคุณคุณจะใช้เกณฑ์ที่แตกต่างกันในการตัดสินใจ หากการกระทำนั้นเป็นการผ่าตัดแบบรุกรานคุณจะต้องมีความน่าจะเป็นสูงกว่าในการจำแนกผู้ป่วยที่ทุกข์ทรมานจากบางสิ่งมากกว่าการทำเพื่อแนะนำยาแอสไพรินสองชนิด หรือคุณอาจมีสามการตัดสินใจที่แตกต่างกันแม้ว่าจะมีเพียงสองคลาส (ป่วยและมีสุขภาพดี): "กลับบ้านและไม่ต้องกังวล" กับ "ทำการทดสอบอื่นเพราะเราไม่สามารถสรุปได้" กับ "ทำงานทันที" .

วิธีที่ถูกต้องของการประเมินความน่าจะเป็นที่คาดการณ์ไว้คือไม่ได้ไปเปรียบเทียบกับเกณฑ์ map ให้พวกเขาขึ้นอยู่กับเกณฑ์การประเมินแล้วเปลี่ยนจำแนกประเภท แต่ควรใช้ที่เหมาะสมให้คะแนนกฎ เหล่านี้เป็นฟังก์ชั่นการสูญเสียว่าแผนที่คาดการณ์ความน่าจะเป็นและสอดคล้องกันสังเกตผลกับค่าการสูญเสียที่จะลดลงในความคาดหวังจากความน่าจะเป็นจริงP) แนวคิดคือเราใช้ค่าเฉลี่ยมากกว่ากฎการให้คะแนนซึ่งประเมินจากผลลัพธ์ที่สังเกตได้หลายค่า (ดีที่สุด: มาก) และความน่าจะเป็นสมาชิกคลาสที่คาดการณ์ที่สอดคล้องกันเป็นการประเมินความคาดหวังของกฎการให้คะแนน$(\hat{p}, 1-\hat{p})$$(0,1)$$(0,1)$$(p,1-p)$

โปรดทราบว่า "เหมาะสม" ที่นี่มีความหมายที่กำหนดไว้อย่างแม่นยำ - มีกฎการให้คะแนนที่ไม่เหมาะสมเช่นเดียวกับกฎการให้คะแนนที่เหมาะสมและในที่สุดกฎการให้คะแนนที่เหมาะสมอย่างเคร่งครัด เกณฑ์การให้คะแนนเช่นนี้เป็นฟังก์ชั่นการสูญเสียของความหนาแน่นและผลการทำนาย กฎการให้คะแนนที่เหมาะสมคือกฎการให้คะแนนที่ถูกลดความคาดหวังลงถ้าความหนาแน่นของการทำนายนั้นเป็นความหนาแน่นที่แท้จริง อย่างเคร่งครัดกฎการให้คะแนนที่เหมาะสมจะได้คะแนนกฎที่มีเพียงลดลงในความคาดหวังถ้าความหนาแน่นของการทำนายคือความหนาแน่นจริง

ตามที่Frank Harrell ตั้งข้อสังเกตความแม่นยำเป็นกฎการให้คะแนนที่ไม่เหมาะสม (แม่นยำยิ่งขึ้นความแม่นยำไม่ได้เป็นกฎการให้คะแนนเลย : ดูคำตอบของฉันต่อความถูกต้องกฎการให้คะแนนที่ไม่เหมาะสมในการตั้งค่าการจำแนกประเภทไบนารีหรือไม่ ) สิ่งนี้สามารถมองเห็นได้เช่นถ้าเราไม่มีผู้ทำนายเลย เหรียญที่ไม่เป็นธรรมกับความน่าจะเป็น(0.6,0.4)ความแม่นยำจะเพิ่มขึ้นถ้าเราจำแนกทุกอย่างในชั้นเฟิสต์คลาสและไม่สนใจความน่าจะเป็น 40% ที่ผลลัพธ์ใด ๆ อาจอยู่ในคลาสที่สอง (ที่นี่เราเห็นว่าความถูกต้องเป็นปัญหาแม้สำหรับคลาสที่สมดุล) กฎการให้คะแนนที่เหมาะสมจะต้องการการคาดการณ์สำหรับ$(0.6,0.4)$$(0.6,0.4)$$(1,0)$หนึ่งในความคาดหวัง โดยเฉพาะอย่างยิ่งความแม่นยำจะไม่ต่อเนื่องในเกณฑ์: การย้ายขีด จำกัด เพียงเล็กน้อยอาจทำให้การคาดการณ์หนึ่งครั้ง (หรือหลายครั้ง) เปลี่ยนคลาสและเปลี่ยนความแม่นยำทั้งหมดด้วยจำนวนที่ไม่ต่อเนื่อง ทำให้รู้สึกเล็กน้อย

ข้อมูลเพิ่มเติมสามารถพบได้ที่แฟรงก์สองบล็อกโพสต์ที่เชื่อมโยงกับข้างต้นเช่นเดียวกับในบทที่ 10 ของแฟรงก์ฮาร์เรลของกลยุทธ์การสร้างแบบจำลองการถดถอย

(นี่คือเปลที่ไร้ยางอายจากคำตอบก่อนหน้าของฉัน )

---

แก้ไข คำตอบของฉันไปตัวอย่างเมื่อใช้ความถูกต้องเป็นมาตรการผลจะนำไปสู่ข้อสรุปที่ผิดให้เป็นตัวอย่างที่เป็นตัวอย่างที่หวังว่าการเพิ่มความถูกต้องสามารถนำไปสู่การตัดสินใจที่ผิดพลาดแม้สำหรับชั้นเรียนที่สมดุล

เมื่อเราใช้ความแม่นยำเราจะกำหนดต้นทุนเท่ากันให้กับผลบวกเท็จและเชิงลบที่ผิด เมื่อชุดข้อมูลนั้นไม่สมดุล - กล่าวว่ามีอินสแตนซ์ 99% ในหนึ่งคลาสและอีก 1% เท่านั้นมีวิธีที่ยอดเยี่ยมในการลดต้นทุน ทำนายว่าทุกอินสแตนซ์นั้นเป็นของคนส่วนใหญ่ได้รับความแม่นยำ 99% และกลับบ้านเร็ว

ปัญหาเริ่มต้นเมื่อต้นทุนจริงที่เรากำหนดให้กับข้อผิดพลาดทุกครั้งไม่เท่ากัน หากเราจัดการกับโรคที่หายาก แต่เป็นอันตรายถึงชีวิตค่าใช้จ่ายของการไม่สามารถวินิจฉัยโรคของคนป่วยนั้นสูงกว่าค่าใช้จ่ายในการส่งคนที่มีสุขภาพเพื่อการทดสอบมากขึ้น

โดยทั่วไปไม่มีมาตรการที่ดีที่สุดทั่วไป การวัดที่ดีที่สุดนั้นมาจากความต้องการของคุณ ในแง่หนึ่งมันไม่ใช่คำถามการเรียนรู้ของเครื่อง แต่เป็นคำถามทางธุรกิจ เป็นเรื่องปกติที่คนสองคนจะใช้ชุดข้อมูลเดียวกัน แต่จะเลือกเมตริกที่แตกต่างกันเนื่องจากเป้าหมายที่ต่างกัน

ความแม่นยำเป็นเมตริกที่ยอดเยี่ยม ที่จริงแล้วตัวชี้วัดส่วนใหญ่นั้นยอดเยี่ยมและฉันชอบที่จะประเมินตัวชี้วัดจำนวนมาก อย่างไรก็ตามในบางจุดคุณจะต้องตัดสินใจระหว่างการใช้โมเดล A หรือ B คุณควรใช้เมตริกเดี่ยวที่เหมาะสมกับความต้องการของคุณมากที่สุด

สำหรับเครดิตเพิ่มเติมเลือกเมตริกนี้ก่อนการวิเคราะห์ดังนั้นคุณจะไม่ถูกรบกวนเมื่อทำการตัดสินใจ

ปัญหาเกี่ยวกับความแม่นยำ

ความถูกต้องมาตรฐานหมายถึงอัตราส่วนของการจำแนกประเภทที่ถูกต้องต่อจำนวนการจำแนกประเภทที่ทำ

$$\begin{align*} accuracy := \frac{\text{correct classifications}}{\text{number of classifications}} \end{align*}$$

ดังนั้นจึงเป็นการวัดโดยรวมสำหรับทุกชั้นเรียนและในไม่ช้าเราจะเห็นว่าไม่ใช่วิธีที่ดีในการบอก oracle นอกเหนือจากการทดสอบที่เป็นประโยชน์จริง oracle เป็นฟังก์ชั่นการจัดหมวดหมู่ที่ส่งกลับการคาดเดาแบบสุ่มสำหรับแต่ละตัวอย่าง ในทำนองเดียวกันเราต้องการให้คะแนนประสิทธิภาพการจำแนกประเภทของฟังก์ชันการจำแนกประเภทของเรา Accuracy \ textit {can} เป็นเครื่องมือวัดที่มีประโยชน์ถ้าเรามีจำนวนตัวอย่างต่อคลาสเท่ากัน แต่ถ้าเรามีกลุ่มตัวอย่างที่ไม่เที่ยงตรงไม่แม่นยำก็ไม่มีประโยชน์เลย ยิ่งไปกว่านั้นการทดสอบสามารถมีความแม่นยำสูง แต่จริง ๆ แล้วทำงานได้แย่กว่าการทดสอบที่มีความแม่นยำต่ำกว่า

ถ้าเรามีการแจกแจงตัวอย่างซึ่ง 90 \% ของตัวอย่างอยู่ในคลาส , 5 \% เป็นของและอีก 5 \% เป็นของจากนั้นฟังก์ชั่นการจำแนกประเภทต่อไปนี้ จะมีความแม่นยำ :$\mathcal{A}$$\mathcal{B}$$\mathcal{C}$$0.9$

$$\begin{align*} classify(sample) := \begin{cases} \mathcal{A} & \text{if }\top \\ \end{cases} \end{align*}$$

กระนั้นก็เป็นที่ชัดเจนว่าเรารู้ว่าการงานนี้มันไม่สามารถบอกชั้นเรียนได้เลย ในทำนองเดียวกันเราสามารถสร้างฟังก์ชั่นการจัดหมวดหมู่$classify$

$$\begin{align*} classify(sample) := \text{guess} \begin{cases} \mathcal{A} & \text{with p } = 0.96 \\ \mathcal{B} & \text{with p } = 0.02 \\ \mathcal{C} & \text{with p } = 0.02 \\ \end{cases} \end{align*}$$

ซึ่งมีความแม่นยำและจะไม่คาดเดา แต่ยังให้เรารู้ว่าการทำงานเป็นที่ชัดเจนว่าไม่สามารถแยกชั้นเรียนได้ ความแม่นยำในกรณีนี้เพียงบอกเราว่าฟังก์ชันการจำแนกประเภทของเราคาดเดาได้ดีแค่ไหน ซึ่งหมายความว่าความแม่นยำไม่ใช่วิธีที่ดีที่จะบอก oracle นอกเหนือจากการทดสอบที่มีประโยชน์$0.96 \cdot 0.9 + 0.02 \cdot 0.05 \cdot 2 = 0.866$$\mathcal{A}$$classify$

ความแม่นยำต่อคลาส

เราสามารถคำนวณความถูกต้องเป็นรายบุคคลต่อคลาสโดยให้ฟังก์ชันการจำแนกประเภทของเรามีเพียงตัวอย่างจากคลาสเดียวกันและจดจำและนับจำนวนการจำแนกประเภทที่ถูกต้องและการจำแนกประเภทที่ไม่ถูกต้องแล้วคำนวณ{}) เราทำสิ่งนี้ซ้ำสำหรับทุกชั้นเรียน ถ้าเรามีฟังก์ชั่นการจัดหมวดหมู่ที่สามารถจำ classได้อย่างแม่นยำ แต่จะส่งผลการทายแบบสุ่มสำหรับคลาสอื่นดังนั้นผลลัพธ์นี้มีความแม่นยำสำหรับ และความแม่นยำ$accuracy := \text{correct}/(\text{correct} + \text{incorrect})$$\mathcal{A}$$1.00$$\mathcal{A}$$0.33$สำหรับคลาสอื่น นี่เป็นวิธีที่ดีกว่าในการตัดสินประสิทธิภาพของฟังก์ชั่นการจำแนกประเภทของเรา นักทำนายที่คาดเดาคลาสเดียวกันเสมอจะสร้างความแม่นยำต่อคลาสที่สำหรับคลาสนั้น แต่สำหรับคลาสอื่น หากการทดสอบของเราจะเป็นประโยชน์ถูกต้องทั้งหมดต่อชั้นควรจะ>ไม่เช่นนั้นการทดสอบของเราจะไม่ดีไปกว่าโอกาส อย่างไรก็ตามความแม่นยำต่อคลาสไม่ได้คำนึงถึงผลบวกที่ผิดพลาด แม้ว่าฟังก์ชั่นการจัดหมวดหมู่ของเรามีความแม่นยำ 100% สำหรับ classก็จะมีผลบวกเป็นเท็จสำหรับ (เช่นจำแนกผิดเป็น )$1.00$$0.00$$>0.5$$\mathcal{A}$$\mathcal{A}$$\mathcal{B}$$\mathcal{A}$

ความไวและความจำเพาะ

ในการทดสอบทางการแพทย์ความไวหมายถึงอัตราส่วนระหว่างคนที่ระบุอย่างถูกต้องว่ามีโรคและจำนวนของคนที่มีโรคจริง ความเฉพาะเจาะจงถูกกำหนดให้เป็นอัตราส่วนระหว่างคนที่ระบุอย่างถูกต้องเป็นสุขภาพและจำนวนของคนที่มีสุขภาพดีจริง จำนวนคนที่เป็นโรคจริงคือจำนวนผลการทดสอบที่เป็นบวกที่แท้จริงบวกกับจำนวนของผลการทดสอบที่เป็นเท็จ จำนวนคนที่มีสุขภาพดีจริง ๆ คือจำนวนของผลการทดสอบเชิงลบที่แท้จริงบวกกับจำนวนของผลการทดสอบเชิงบวกที่ผิดพลาด

การจำแนกประเภทไบนารี

ปัญหาการจัดหมวดหมู่ไบนารีมีสองชั้นและ{N} อ้างถึงจำนวนตัวอย่างที่ระบุอย่างถูกต้องว่าเป็นของคลาสและอ้างถึงจำนวนตัวอย่างที่ถูกระบุว่าเป็นของชั้นอย่างไม่ถูกต้อง ในกรณีนี้ความไวและความจำเพาะถูกกำหนดดังนี้:$\mathcal{P}$$\mathcal{N}$$T_{n}$$n$$F_{n}$$n$

$$\begin{align*} sensitivity := \frac{T_{\mathcal{P}}}{T_{\mathcal{P}}+F_{\mathcal{N}}} \\ specificity := \frac{T_{\mathcal{N}}}{T_{\mathcal{N}}+F_{\mathcal{P}}} \end{align*}$$

$T_{\mathcal{P}}$เป็นจริงบวกเป็นเท็จลบ เป็นจริงและลบเป็นบวกปลอม . แต่คิดในแง่ของเชิงลบและบวกจะดีสำหรับการทดสอบทางการแพทย์ แต่เพื่อที่จะได้รับสัญชาติญาณที่ดีกว่าเราไม่ควรคิดในแง่ของเชิงลบและบวก แต่ในชั้นเรียนทั่วไปและ\จากนั้นเราสามารถพูดได้ว่าจำนวนตัวอย่างที่ระบุอย่างถูกต้องว่าเป็นของคือและจำนวนตัวอย่างที่เป็นของคือ$F_{\mathcal{N}}$$T_{\mathcal{N}}$$F_{\mathcal{P}}$$\alpha$$\beta$$\alpha$$T_{\alpha}$$\alpha$$T_{\alpha} + F_{\beta}$. จำนวนของกลุ่มตัวอย่างระบุได้อย่างถูกต้องที่จะไม่เป็นของเป็นและปริมาณของตัวอย่างจริงไม่ได้เป็นของเป็น alpha} นี้ทำให้เรามีความไวและความจำเพาะสำหรับแต่เรายังสามารถนำไปใช้ในสิ่งเดียวกันกับระดับ\จำนวนของกลุ่มตัวอย่างระบุอย่างถูกต้องตามที่เป็นของคือ และปริมาณของตัวอย่างจริงที่เป็นของคือalpha} จำนวนตัวอย่างที่ถูกต้องระบุว่าไม่ได้เป็นของคือ$\alpha$$T_{\beta}$$\alpha$$T_{\beta} + F_{\alpha}$$\alpha$$\beta$$\beta$$T_{\beta}$$\beta$$T_{\beta} + F_{\alpha}$$\beta$$T_{\alpha}$และปริมาณของตัวอย่างจริงไม่ได้เป็นของคือเบต้า} เราจึงได้รับความไวและความจำเพาะต่อคลาส:$\beta$$T_{\alpha} + F_{\beta}$

$$\begin{align*} sensitivity_{\alpha} := \frac{T_{\alpha}}{T_{\alpha}+F_{\beta}} \\ specificity_{\alpha} := \frac{T_{\beta}}{T_{\beta} + F_{\alpha}} \\ sensitivity_{\beta} := \frac{T_{\beta}}{T_{\beta}+F_{\alpha}} \\ specificity_{\beta} := \frac{T_{\alpha}}{T_{\alpha} + F_{\beta}} \\ \end{align*}$$

$sensitivity_{\alpha} = specificity_{\beta}$$specificity_{\alpha} = sensitivity_{\beta}$. ซึ่งหมายความว่าถ้าเรามีเพียงสองคลาสเราไม่ต้องการความไวและความจำเพาะต่อคลาส

การจำแนก N-Ary

ความไวและความเฉพาะเจาะจงต่อคลาสนั้นไม่มีประโยชน์หากเรามีเพียงสองคลาสเท่านั้น แต่เราสามารถขยายไปยังหลายคลาสได้ ความไวและความจำเพาะถูกกำหนดเป็น:

$$\begin{align*} \text{sensitivity} := \frac{\text{true positives}}{\text{true positives} + \text{false negatives}} \\ \text{specificity} := \frac{\text{true negatives}}{\text{true negatives} + \text{false-positives}} \\ \end{align*}$$

$T_{n}$$\sum_{i}(F_{n,i})$$\sum_{i}(F_{i,n})$$n$$\sum_{i}(T_{i}) - T(n)$$n$$n$$\sum_{i}(\sum_{k}(F_{i,k}))$$n$$n$$\sum_{i}(F_{n,i})$$n$$\sum_{i}(F_{i,n})$$\sum_{i}(T_{i}) - T(n) + \sum_{i}(\sum_{k}(F_{n,i})) - \sum_{i}(F_{n,i}) - \sum_{i}(F_{i,n})$. โดยสรุปเรามี:

$$\begin{align*} \text{true positives} := T_{n} \\ \text{true negatives} := \sum_{i}(T_{i}) - T(n) + \sum_{i}(\sum_{k}(F_{n,i})) - \sum_{i}(F_{n,i}) - \sum_{i}(F_{i,n}) \\ \text{false positives} := \sum_{i}(F_{i,n}) \\ \text{false negatives} := \sum_{i}(F_{n,i}) \end{align*}$$

$$\begin{align*} sensitivity(n) := \frac{T_{n}}{T_{n} + \sum_{i}(F_{n,i})} \\ specificity(n) := \frac{\sum_{i}(T_{i}) - T_{n} + \sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{n,i}) - \sum_{i}(F_{i,n})}{\sum_{i}(T_{i}) - T_{n} + \sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{n,i})} \end{align*}$$

แนะนำความเชื่อมั่น

$confidence^{\top}$$T_{n} + \sum_{i}(F_{i,n})$$n$$T_{n}$

$$\begin{align*} confidence^{\top}(n) := \frac{T_{n}}{T_{n}+\sum_{i}(F_{i,n})} \end{align*}$$

$confidence^{\bot}$$n$$n$

$\sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{i,n}) + \sum_{i}(T_{i}) - T_{n}$$\sum_{i}(F_{n,i})$

$$\begin{align*} confidence^{\bot}(n) = \frac{\sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{i,n}) + \sum_{i}(T_{i}) - T_{n}-\sum_{i}(F_{n,i})}{\sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{i,n}) + \sum_{i}(T_{i}) - T_{n}} \end{align*}$$

คลาสที่ไม่สมดุลในชุดข้อมูลของคุณ

โดยย่อ: จินตนาการ 99% ของคลาสหนึ่ง (พูดแอปเปิ้ล) และ 1% ของคลาสอื่นอยู่ในชุดข้อมูลของคุณ (พูดกล้วย) อัลกอริทึม super duper ของฉันได้รับความแม่นยำ 99% อย่างน่าอัศจรรย์สำหรับชุดข้อมูลนี้ลองดู:

return "it's an apple"

เขาจะถูกต้อง 99% ของเวลาและดังนั้นจึงได้รับความแม่นยำ 99% ฉันสามารถขายอัลกอริทึมของฉันให้คุณได้ไหม

วิธีแก้ปัญหา: อย่าใช้การวัดแบบสัมบูรณ์ (ความแม่นยำ) แต่เป็นการวัดแบบเทียบกับแต่ละระดับ (มีจำนวนมากเช่น ROC AUC)

คำตอบ DaL เป็นเพียงแค่นี้ ฉันจะอธิบายด้วยตัวอย่างง่ายๆเกี่ยวกับ ... การขายไข่

$2$$1$

$2$$1$

หากตัวจําแนกของคุณไม่มีข้อผิดพลาดคุณจะได้รับรายได้สูงสุดตามที่คาดหวัง ถ้ามันไม่สมบูรณ์แบบแล้ว:

• $1$
• $1$

จากนั้นความแม่นยำของตัวจําแนกของคุณคือความใกล้ชิดกับรายได้สูงสุด เป็นการวัดที่สมบูรณ์แบบ

$a$

• บวกปลอม:$a$
• $2-a$

$a=0.001$$2$$0.001$

หากตัวจําแนกเกี่ยวกับการค้นหาเอกสารที่เกี่ยวข้องในฐานข้อมูลคุณสามารถเปรียบเทียบ "เสียเวลา" ในการอ่านเอกสารที่ไม่เกี่ยวข้องเมื่อเปรียบเทียบกับการค้นหาเอกสารที่เกี่ยวข้อง

ความแม่นยำในการจำแนกประเภทคือจำนวนการทำนายที่ถูกต้องหารด้วยจำนวนการทำนายทั้งหมด

ความแม่นยำอาจทำให้เข้าใจผิด ตัวอย่างเช่นในปัญหาที่มีความไม่สมดุลของคลาสขนาดใหญ่แบบจำลองสามารถทำนายค่าของคลาสเสียงส่วนใหญ่สำหรับการทำนายทั้งหมดและบรรลุความแม่นยำในการจำแนกประเภทสูง ดังนั้นจำเป็นต้องมีการวัดประสิทธิภาพเพิ่มเติมเช่นคะแนน F1 และคะแนน Brier

$R^2$

$R^2$

ดังที่คนอื่น ๆ ได้ระบุไว้ปัญหาที่มีความแม่นยำอีกประการหนึ่งคือการไม่แยแสต่อราคาของความล้มเหลวโดยปริยายนั่นคือการสันนิษฐานว่าการจำแนกประเภทผิดพลาดทั้งหมดมีความเท่าเทียมกัน ในทางปฏิบัติพวกเขาไม่ได้และค่าใช้จ่ายในการจำแนกผิดประเภทนั้นขึ้นอยู่กับเรื่องอย่างมากและคุณอาจต้องการลดความผิดประเภทใดประเภทหนึ่งโดยเฉพาะน้อยกว่าความถูกต้องสูงสุด