เกณฑ์ความน่าจะเป็นการจำแนกประเภท

ฉันมีคำถามเกี่ยวกับการจำแนกประเภทโดยทั่วไป ให้ f เป็นตัวจําแนกซึ่งส่งออกชุดของความน่าจะเป็นที่ให้ข้อมูลบางตัว D โดยปกติเราจะบอกว่า: ดีถ้า P (c | D)> 0.5 เราจะกำหนด class 1 มิฉะนั้น 0 (ปล่อยให้นี่เป็นเลขฐานสอง การจำแนกประเภท).

คำถามของฉันคือถ้าฉันพบว่าถ้าฉันจำแนกเป็น 1 ยังมีความน่าจะเป็นที่ใหญ่กว่า: เช่น 0.2 ตัวแยกประเภทจะทำงานได้ดีขึ้น การใช้เกณฑ์ใหม่นี้ถูกต้องตามกฎหมายหรือไม่เมื่อทำการจัดประเภท

ฉันจะตีความความจำเป็นสำหรับการจำแนกประเภทที่ต่ำกว่าที่ถูกผูกไว้ในบริบทของข้อมูลที่เปล่งสัญญาณขนาดเล็ก แต่ยังคงมีความสำคัญสำหรับปัญหาการจำแนก

ฉันรู้ว่านี่เป็นวิธีหนึ่งที่จะทำ แต่ถ้านี่ไม่ใช่การคิดที่ถูกต้องอะไรจะเป็นการแปลงข้อมูลบางอย่างซึ่งเน้นคุณลักษณะของแต่ละบุคคลในลักษณะที่คล้ายคลึงกัน

Frank Harrellได้เขียนเกี่ยวกับเรื่องนี้ในบล็อกของเขา: การจำแนกประเภทและการทำนายซึ่งฉันเห็นด้วยกับสุดใจ

โดยพื้นฐานแล้วข้อโต้แย้งของเขาคือองค์ประกอบทางสถิติของการออกกำลังกายของคุณจะสิ้นสุดลงเมื่อคุณแสดงความน่าจะเป็นสำหรับแต่ละคลาสของตัวอย่างใหม่ของคุณ การเลือกขีด จำกัด ที่เกินกว่าที่คุณจัดประเภทการสังเกตใหม่เป็น 1 กับ 0 ไม่ได้เป็นส่วนหนึ่งของสถิติอีกต่อไป มันเป็นส่วนหนึ่งขององค์ประกอบการตัดสินใจ และที่นี่คุณต้องการผลลัพธ์ที่เป็นไปได้ของแบบจำลองของคุณ - แต่ยังต้องคำนึงถึงสิ่งต่อไปนี้:

• อะไรคือผลที่ตามมาของการตัดสินใจปฏิบัติต่อการสังเกตใหม่ในระดับ 1 กับ 0 ฉันจะส่งจดหมายการตลาดราคาถูกไปยังทุกคนได้หรือไม่ หรือฉันจะใช้การรักษาโรคมะเร็งรุกรานกับผลข้างเคียงที่ยิ่งใหญ่?
• อะไรคือผลของการรักษา "ความจริง" 0 เป็น 1 และในทางกลับกัน ฉันจะติ๊กลูกค้าหรือไม่ เรื่องคนที่จะรักษาพยาบาลที่ไม่จำเป็น?
• "คลาส" ของฉันไม่ต่อเนื่องอย่างแท้จริงหรือไม่ หรือที่จริงแล้วมีความต่อเนื่อง (เช่นความดันโลหิต) ซึ่งเกณฑ์ทางคลินิกเป็นจริงเพียงแค่ทางลัดทางปัญญา? ถ้าเป็นเช่นนั้นไกลแค่ไหนฉันจะ "จัดหมวดหมู่" ได้เกินกว่าเกณฑ์หรือไม่
• หรือความน่าจะเป็นที่ต่ำ แต่เป็นบวกจะเป็น class 1 จริง ๆ แล้วหมายถึง "รับข้อมูลเพิ่มเติม", "ทำการทดสอบอื่น" หรือไม่?

ดังนั้นเพื่อตอบคำถามของคุณ: พูดคุยกับผู้บริโภคปลายทางของการจำแนกประเภทของคุณและรับคำตอบของคำถามข้างต้น หรืออธิบายผลลัพธ์ที่น่าจะเป็นของคุณให้เขาหรือเธอและปล่อยให้เขาหรือเธอเดินผ่านขั้นตอนต่อไป

คำตอบของสเตฟานนั้นยอดเยี่ยม มันขึ้นอยู่กับสิ่งที่คุณต้องการจะทำกับลักษณนาม

เพียงเพิ่มตัวอย่างบางส่วน

วิธีการหาเกณฑ์ที่ดีที่สุดคือการกำหนดฟังก์ชั่นวัตถุประสงค์ สำหรับการจำแนกเลขฐานสองนี่อาจเป็นความแม่นยำหรือคะแนน F1 เกณฑ์ที่ดีที่สุดจะแตกต่างกันไปตามที่คุณเลือก สำหรับคะแนน F1 มีคำตอบที่น่าสนใจที่นี่: อะไรคือเกณฑ์ที่เหมาะสมที่สุดของ F1 วิธีการคำนวณ . แต่การพูดว่า "ฉันต้องการใช้คะแนน F1" เป็นที่ที่คุณเลือก ตัวเลือกนี้ดีหรือไม่นั้นขึ้นอยู่กับวัตถุประสงค์สุดท้าย

อีกวิธีหนึ่งที่จะเห็นว่ามันกำลังเผชิญหน้ากับการแลกเปลี่ยนระหว่างการสำรวจและการแสวงประโยชน์ (จุดสุดท้ายของสเตฟาน): โจรติดอาวุธหลายแขนคนเป็นตัวอย่างของปัญหาดังกล่าว: คุณต้องจัดการกับวัตถุประสงค์ที่ขัดแย้งกันสองประการในการรับข้อมูล . กลยุทธ์หนึ่งของ Bayesian คือการเลือกโจรแต่ละคนโดยสุ่มด้วยความน่าจะเป็นที่ดีที่สุด มันไม่ได้จัดประเภทอย่างแน่นอน แต่ต้องจัดการกับความน่าจะเป็นของผลลัพธ์ในทำนองเดียวกัน

หากตัวจําแนกเป็นเพียงอิฐเดียวในการตัดสินใจอัลกอริธึมเกณฑ์ที่ดีที่สุดจะขึ้นอยู่กับวัตถุประสงค์สุดท้ายของอัลกอริทึม ควรได้รับการประเมินและปรับแต่งในเรื่องฟังก์ชันวัตถุประสงค์ของกระบวนการทั้งหมด

อาจมีบางค่าในการพิจารณาวิธีการคำนวณความน่าจะเป็น ปัจจุบันตัวแยกประเภทใช้เวกเตอร์อคติซึ่งคูณด้วยเมทริกซ์ (พีชคณิตเชิงเส้น) ตราบใดที่มีค่าไม่เป็นศูนย์ในเวกเตอร์ความน่าจะเป็น (ผลิตภัณฑ์ของเวกเตอร์และเมทริกซ์) จะไม่มีวันเป็น 0

สิ่งนี้ทำให้เกิดความสับสนในโลกแห่งความเป็นจริงของผู้ที่ไม่ได้ใช้พีชคณิตเชิงเส้น พวกเขาใส่ใจกับความจริงที่ว่ามีคะแนนความน่าจะเป็นสำหรับรายการที่พวกเขาคิดว่าควรมี 0 กล่าวอีกนัยหนึ่งคือพวกเขาสับสนข้อมูลทางสถิติจากการตัดสินใจโดยพิจารณาจากข้อมูลนั้น ในฐานะมนุษย์เราสามารถพูดได้ว่าบางสิ่งที่มีความน่าจะเป็น 0.0002234 นั้นเท่ากับ 0 ในกรณีใช้งาน "เชิงปฏิบัติ" ส่วนใหญ่ ในการอภิปรายทางวิทยาศาสตร์เกี่ยวกับความรู้ความเข้าใจที่สูงขึ้นอาจมีการอภิปรายที่น่าสนใจเกี่ยวกับสาเหตุที่เวกเตอร์อคติทำสิ่งนี้

ไม่มีเกณฑ์ที่ไม่ถูกต้อง เกณฑ์ที่คุณเลือกนั้นขึ้นอยู่กับวัตถุประสงค์ของคุณในการทำนายของคุณหรือสิ่งที่คุณต้องการเช่นความแม่นยำเมื่อเทียบกับการเรียกคืน (ลองกราฟและวัด AUC ที่เกี่ยวข้องเพื่อเปรียบเทียบรูปแบบการจำแนกประเภทที่คุณเลือก)

ฉันให้ตัวอย่างความแม่นยำกับการเรียกคืนเนื่องจากกรณีปัญหาของฉันเองฉันกำลังทำงานอยู่ตอนนี้ฉันเลือกเกณฑ์ของฉันขึ้นอยู่กับความแม่นยำขั้นต่ำ (หรือค่าการทำนายเชิงบวก PPV) ฉันต้องการให้แบบจำลองของฉันมีเมื่อทำนาย แต่ฉัน ไม่สนใจเรื่องเชิงลบมากนัก เช่นฉันจะใช้เกณฑ์ที่สอดคล้องกับความแม่นยำที่ต้องการเมื่อฉันได้ฝึกฝนแบบจำลองของฉัน ความแม่นยำเป็นข้อ จำกัด ของฉันและ Recall คือประสิทธิภาพของรุ่นของฉันเมื่อฉันเปรียบเทียบกับรุ่นอื่น ๆ