รวมลักษณนามโดยการพลิกเหรียญ

ฉันกำลังศึกษาหลักสูตรการเรียนรู้ของเครื่องและสไลด์บรรยายมีข้อมูลที่ฉันพบว่าขัดแย้งกับหนังสือที่แนะนำ

ปัญหาดังต่อไปนี้: มีตัวแยกประเภทสามตัว:

• ลักษณนาม Aให้ประสิทธิภาพที่ดีขึ้นในช่วงล่างของขีด จำกัด
• ลักษณนามขให้ประสิทธิภาพที่ดีขึ้นในช่วงที่สูงขึ้นของเกณฑ์
• ลักษณนาม Cสิ่งที่เราได้รับโดยการโยนเหรียญและเลือกจากตัวแยกประเภทสองตัว

ประสิทธิภาพของลักษณนาม C คืออะไรเมื่อดูบนเส้นโค้ง ROC

สไลด์บรรยายระบุว่าเพียงแค่พลิกเหรียญนี้เราจะได้รับ " เรือนูน " ที่มีมนต์ขลังของตัวแยกประเภท A และ B ของเส้นโค้ง ROC

ฉันไม่เข้าใจประเด็นนี้ เพียงแค่โยนเหรียญเราจะได้รับข้อมูลได้อย่างไร

สไลด์บรรยาย

หนังสือเล่มนี้พูดอะไร

หนังสือที่แนะนำ ( Data Mining ... โดย Ian H. Witten, Eibe Frank และ Mark A. Hall ) ในทางกลับกันระบุว่า:

หากต้องการดูสิ่งนี้ให้เลือกความน่าจะเป็นที่เฉพาะเจาะจงสำหรับวิธี A ที่ให้อัตราบวกจริงและเท็จของ tA และ fA ตามลำดับและอีกทางลัดสำหรับวิธี B ที่ให้ tB และ fB หากคุณใช้สองรูปแบบเหล่านี้โดยการสุ่มด้วยความน่าจะเป็น p และ q โดยที่ p + q = 1 คุณจะได้รับอัตราการบวก p จริงและเท็จ tA + q tB และ p fA + q FB. สิ่งนี้แสดงถึงจุดที่อยู่บนเส้นตรงที่รวมจุด (tA, fA) และ (tB, fB) และด้วยการเปลี่ยนแปลง p และ q คุณสามารถติดตามทั้งเส้นระหว่างจุดสองจุดนี้

ในความเข้าใจของฉันสิ่งที่หนังสือกล่าวคือการได้รับข้อมูลจริงและไปถึงเปลือกนูนที่เราต้องทำบางสิ่งที่ก้าวหน้ากว่าเพียงแค่โยนเหรียญ

AFAIK วิธีที่ถูกต้อง (ตามที่แนะนำโดยหนังสือ) มีดังต่อไปนี้:

1. เราควรหาเกณฑ์ที่เหมาะสมสำหรับ Oa สำหรับตัวจําแนก A
2. เราควรหาเกณฑ์ที่เหมาะสม Ob สำหรับตัวจําแนก B

3. กำหนด C ดังต่อไปนี้:

   • ถ้า t <Oa ให้ใช้ตัวจําแนก A กับ t
   • ถ้า t> Ob ให้ใช้ตัวจําแนก B กับ t
   • ถ้า Oa <t <Ob เลือกระหว่างลักษณนาม A กับ Oa และ B กับ Ob โดยความน่าจะเป็นเป็นการรวมกันเชิงเส้นของตำแหน่งที่เราอยู่ระหว่าง Oa และ Ob

ถูกต้องหรือไม่ ถ้าใช่มีความแตกต่างที่สำคัญเล็กน้อยเมื่อเทียบกับสิ่งที่สไลด์แนะนำ

1. มันไม่ใช่การโยนเหรียญแบบง่ายๆ แต่เป็นอัลกอริธึมขั้นสูงที่ต้องการคะแนนที่กำหนดเองและการเลือกตามพื้นที่ที่เราอยู่
2. มันไม่เคยใช้ตัวจําแนก A และ B พร้อมค่าเกณฑ์ระหว่าง Oa และ Ob

คุณช่วยอธิบายปัญหานี้ให้ฉันฟังได้อย่างไรและอะไรคือวิธีที่ถูกต้องที่จะเข้าใจหากความเข้าใจของฉันไม่ถูกต้อง

จะเกิดอะไรขึ้นถ้าเราเพียงแค่พลิกเหรียญแบบที่สไลด์แนะนำ? ฉันคิดว่าเราจะได้เส้นโค้ง ROC ที่อยู่ระหว่าง A และ B แต่จะไม่ดีกว่าจุดที่กำหนด

เท่าที่ฉันเห็นฉันไม่เข้าใจจริงๆว่าสไลด์นั้นถูกต้องได้อย่างไร การคำนวณความน่าจะเป็นที่ด้านซ้ายมือไม่สมเหตุสมผลสำหรับฉัน

อัปเดต: พบบทความที่เขียนโดยผู้เขียนต้นฉบับที่คิดค้นวิธีการนูนเรือ: http://www.bmva.org/bmvc/1998/pdf/p082.pdf

(แก้ไข)

สไลด์บรรยายถูกต้อง

วิธี A มี "จุดที่ดีที่สุด" ที่ให้อัตราบวกจริงและเท็จของ (TPA, FPA ในกราฟ) ตามลำดับ จุดนี้จะสอดคล้องกับขีด จำกัด หรือมากกว่าโดยทั่วไป [*] ขอบเขตการตัดสินใจที่ดีที่สุดสำหรับ A. ทุกอย่างก็เหมือนกันสำหรับ B. (แต่เกณฑ์และขอบเขตไม่เกี่ยวข้องกัน)

จะเห็นว่าลักษณนาม A ทำงานได้ดีภายใต้การตั้งค่า "ลดผลบวกปลอม" (กลยุทธ์อนุรักษ์นิยม) และลักษณนาม B เมื่อเราต้องการ "เพิ่มผลบวกจริง" (กลยุทธ์กระตือรือร้น)

คำตอบสำหรับคำถามแรกของคุณนั้นก็ใช่แล้วยกเว้นความน่าจะเป็นของเหรียญนั้น คนสุดท้าย clasiffier:

$x$$x$$p$

(แก้ไข: จริง ๆ แล้วการบรรยายนั้นถูกต้องสมบูรณ์เราสามารถพลิกเหรียญได้ในทุกกรณีดูไดอะแกรม)

$p$

[*] คุณควรจะเป็นคนทั่วไปที่นี่: ถ้าคุณคิดในแง่ของเกณฑ์สเกลาร์เดี่ยวทั้งหมดนี้ทำให้เกิดความรู้สึกเล็กน้อย คุณลักษณะหนึ่งมิติที่มีตัวจําแนกตามเกณฑ์ไม่ได้ให้ระดับความอิสระเพียงพอที่คุณจะมีตัวจําแนกที่แตกต่างกันเป็น A และ B ซึ่งทํางานตามแนวโค้งที่แตกต่างกันเมื่อผู้แยกอิสระ กล่าวอีกนัยหนึ่ง: A และ B เรียกว่า "methods" หรือ "systems" ไม่ใช่ "classifiers"; เพราะ A เป็นครอบครัวของตัวแยกประเภททั้งหมดพารามิเตอร์ที่กำหนด (สเกลาร์) ที่กำหนดขอบเขตการตัดสินใจไม่ใช่แค่สเกลาร์]

ฉันเพิ่มไดอะแกรมเพื่อทำให้ชัดเจนยิ่งขึ้น:

$t$$t$$t$$t_A=2$$t$$t_B=4$

ในสถานการณ์สมมตินี้เราสามารถพูดได้ว่าเส้นสีส้มที่เต็มไปนั้นคือ "ตัวจําแนก A ที่ดีที่สุด" (ภายในตระกูล) และเหมือนกันสําหรับ B แต่ไม่มีใครบอกได้ว่าเส้นสีส้มดีกว่าเส้นสีฟ้าหรือไม่: ดีกว่าเมื่อเรากำหนดค่าใช้จ่ายสูงให้กับผลบวกที่เป็นเท็จอีกทางหนึ่งเมื่อค่าลบที่เป็นเท็จนั้นมีราคาแพงกว่ามาก

ตอนนี้อาจเกิดขึ้นได้ว่าตัวแยกประเภทสองตัวนี้สุดขั้วเกินไปสำหรับความต้องการของเราเราต้องการให้ข้อผิดพลาดทั้งสองประเภทมีน้ำหนักใกล้เคียงกัน เราต้องการแทนที่จะใช้ลักษณนาม A (จุดสีส้ม) หรือ B (จุดสีฟ้า) เพื่อให้ได้ประสิทธิภาพที่อยู่ระหว่างกัน อย่างที่หลักสูตรบอกว่าเราสามารถบรรลุผลลัพธ์นั้นได้เพียงแค่โยนเหรียญและเลือกตัวแยกประเภทแบบสุ่มอย่างใดอย่างหนึ่ง

เพียงแค่โยนเหรียญเราจะได้รับข้อมูลได้อย่างไร

เราไม่ได้รับข้อมูล ลักษณนามแบบสุ่มใหม่ของเราไม่เพียง "ดีกว่า" กว่า A หรือ B เท่านั้นประสิทธิภาพของมันคือค่าเฉลี่ยของ A และ B ซึ่งเกี่ยวข้องกับต้นทุนที่กำหนดให้กับข้อผิดพลาดแต่ละประเภท อาจเป็นประโยชน์กับเราหรือไม่ขึ้นอยู่กับต้นทุนของเรา

AFAIK วิธีที่ถูกต้อง (ตามที่หนังสือแนะนำ) มีดังต่อไปนี้ ... ถูกต้องไหม?

$p$

ฉันเห็นด้วยกับเหตุผลของคุณ หากคุณใช้ตัวจําแนกโดยการพลิกเหรียญเพื่อเลือกเมื่อคุณอยู่ระหว่างจุด A และ B จุดของคุณบนเส้นโค้งจะอยู่ด้านล่างตัวจําแนกที่ดีกว่าและอยู่เหนือตัวจําแนกที่ดีกว่า ต้องมีบางอย่างผิดปกติกับไดอะแกรม ณ จุดที่เส้นโค้ง 2 ROC ข้ามการสุ่มเลือกอัลกอริธึมจะมีประสิทธิภาพเช่นเดียวกับอัลกอริธึมทั้งสอง มันจะไม่สูงไปกว่าที่ไดอะแกรมแสดงให้เห็น