ทำไม P> 0.5 cutoff ไม่“ ดีที่สุด” สำหรับการถดถอยโลจิสติก

คำนำ: ฉันไม่สนใจเกี่ยวกับข้อดีของการใช้ cutoff หรือไม่หรือควรเลือก cutoff ด้วยวิธีใด คำถามของฉันเป็นคณิตศาสตร์อย่างหมดจดและเนื่องจากความอยากรู้

การถดถอยแบบลอจิสติกเป็นแบบจำลองความน่าจะเป็นแบบมีเงื่อนไขหลังของคลาส A กับคลาส B และมันเหมาะกับไฮเปอร์เพลนที่ความน่าจะเป็นแบบเงื่อนไขหลังมีค่าเท่ากัน ดังนั้นในทางทฤษฎีฉันเข้าใจว่า 0.5 การจำแนกจุดจะลดข้อผิดพลาดทั้งหมดโดยไม่คำนึงถึงความสมดุลเนื่องจากมันเป็นแบบจำลองความน่าจะเป็นด้านหลัง (สมมติว่าคุณพบอัตราส่วนระดับเดียวกันอย่างสม่ำเสมอ)

ในตัวอย่างชีวิตจริงของฉันฉันได้รับความแม่นยำต่ำมากโดยใช้ P> 0.5 เป็นตัวเลือกการแยกประเภทของฉัน (ความแม่นยำประมาณ 51%) อย่างไรก็ตามเมื่อฉันดูที่ AUC มันสูงกว่า 0.99 ดังนั้นฉันจึงดูค่า cutoff ที่แตกต่างกันและพบว่า P> 0.6 ให้ความแม่นยำ 98% (90% สำหรับคลาสที่เล็กกว่าและ 99% สำหรับคลาสที่ใหญ่กว่า) - มีเพียง 2% ของคดีที่ไม่ได้จัดประเภท

ชั้นเรียนมีความไม่สมดุลอย่างมาก (1: 9) และเป็นปัญหาระดับสูง อย่างไรก็ตามฉันจัดสรรคลาสอย่างเท่าเทียมกันในแต่ละชุดการตรวจสอบความถูกต้องไขว้กันเพื่อไม่ให้มีความแตกต่างระหว่างความสมดุลของคลาสระหว่างแบบจำลองพอดีกับการคาดเดา ฉันพยายามใช้ข้อมูลเดียวกันจากตัวแบบและในการทำนายและปัญหาเดียวกันก็เกิดขึ้น

ฉันสนใจในเหตุผลที่ 0.5 จะไม่ลดข้อผิดพลาดให้น้อยที่สุดฉันคิดว่านี่น่าจะเป็นเพราะการออกแบบถ้าแบบจำลองนั้นพอดีโดยลดการสูญเสียเอนโทรปี

ไม่มีใครมีข้อเสนอแนะใด ๆ เกี่ยวกับสาเหตุที่เกิดขึ้น? เป็นเพราะการเพิ่มบทลงโทษใครบางคนสามารถอธิบายสิ่งที่เกิดขึ้นถ้าเป็นเช่นนั้น?

คุณไม่ต้องรับหมวดหมู่ที่คาดการณ์จากตัวแบบการถดถอยโลจิสติก มันสามารถอยู่ได้ดีกับความน่าจะเป็นที่คาดการณ์ไว้ หากคุณได้รับหมวดหมู่ที่คาดการณ์ไว้คุณไม่ควรใช้ข้อมูลนั้นเพื่อทำสิ่งใดนอกจากพูดว่า 'การสังเกตนี้จำแนกได้ดีที่สุดในหมวดหมู่นี้' ตัวอย่างเช่นคุณไม่ควรใช้ 'ความแม่นยำ' / เปอร์เซ็นต์ที่ถูกต้องเพื่อเลือกรุ่น

เมื่อพูดถึงสิ่งเหล่านี้แล้วมักจะเป็นทางลัดที่เหมาะสมที่สุดสำหรับการจำแนกการสังเกตการณ์ เพื่อให้เข้าใจได้ง่ายว่าเหตุการณ์นี้เกิดขึ้นได้อย่างไรลองจินตนาการว่าคุณมีโดยมีการสังเกตครั้งในหมวดหมู่ที่เป็นบวก โมเดลที่ดักจับง่ายเท่านั้นอาจมีเนกาทีฟได้ข้อเมื่อคุณใช้เป็นตัวลัด ในทางกลับกันถ้าคุณเรียกทุกอย่างว่าเป็นบวกคุณจะมีผลบวกที่เป็นเท็จ แต่ถูกต้อง $.50$$N=100$$99$$49$$.50$$1$$99\%$

โดยทั่วไปแล้วการถดถอยโลจิสติกพยายามที่จะปรับความน่าจะเป็นจริงที่เป็นบวกสำหรับการสังเกตในฐานะฟังก์ชันของตัวแปรอธิบาย มันไม่ได้พยายามที่จะเพิ่มความแม่นยำสูงสุดโดยการจัดกึ่งกลางความน่าจะเป็นที่คาดการณ์ไว้รอบตัวตัดหากตัวอย่างของคุณไม่ได้เป็นค่าบวกจะไม่มีเหตุผลใดเลยที่จะทำให้เปอร์เซ็นต์ถูกต้องสูงสุด$.50$$50\%$$.50$

ฉันคิดว่าอาจเป็นเพราะสาเหตุหลายประการ:

1. อาจมีความไม่เป็นเชิงเส้นในข้อมูลของคุณดังนั้นการเพิ่มน้ำหนักแบบเชิงเส้นอาจไม่ส่งผลให้ความน่าจะเป็นที่ถูกต้องเสมอไป
2. ตัวแปรเป็นส่วนผสมของตัวทำนายที่ดีและตัวทำนายที่อ่อนแอดังนั้นคะแนนของประชากรที่อยู่ในระดับ 0.5 เป็นเพราะตัวทำนายที่อ่อนแอหรือผลกระทบของตัวทำนายที่แข็งแกร่งน้อยกว่า ในขณะที่คุณไปด้านบนคุณจะได้รับผู้คนซึ่งผลของการทำนายนั้นแข็งแกร่ง

ดังนั้นคุณอาจต้องเล่นกับค่าที่ตัดออกเพื่อเพิ่มผลลัพธ์ที่คุณต้องการเช่นความแม่นยำความแม่นยำเป็นต้นเนื่องจากประชากรส่วนใหญ่ไม่ได้เป็นเนื้อเดียวกัน