การถดถอยโลจิสติกการเพิ่มความเป็นไปได้สูงสุดนั้นจำเป็นต้องเพิ่ม AUC ให้มากกว่าแบบจำลองเชิงเส้นหรือไม่


13

เมื่อได้รับชุดข้อมูลที่มีผลลัพธ์แบบไบนารีy{0,1}nและเมทริกซ์ตัวทำนายบางตัวXRn×pแบบจำลองการถดถอยแบบโลจิสติกมาตรฐานประมาณค่าสัมประสิทธิ์βMLEซึ่งเพิ่มความน่าจะเป็นทวินาม เมื่อXอยู่ในอันดับเต็มβMLEนั้นมีเอกลักษณ์ เมื่อไม่มีการแยกที่สมบูรณ์แบบมันจะ จำกัด

ไม่แบบนี้โอกาสสูงสุดยังเพิ่ม ROC AUC (aka c -statistic) หรือไม่มีอยู่ประมาณการค่าสัมประสิทธิ์บางβAUCβMLEซึ่งจะได้รับสูงกว่า ROC AUC? ถ้ามันเป็นความจริงที่ MLE ไม่จำเป็นต้องเพิ่ม ROC AUC ให้มากที่สุดอีกวิธีหนึ่งในการดูคำถามนี้คือ "มีทางเลือกอื่นในการเพิ่มความน่าจะเป็นซึ่งจะเพิ่ม ROC AUC สูงสุดของการถดถอยโลจิสติกเสมอหรือไม่"

ฉันสมมติว่าแบบจำลองนั้นเหมือนกัน: เราไม่ได้เพิ่มหรือลบตัวทำนายในXหรือเปลี่ยนแปลงข้อกำหนดของแบบจำลองและฉันสมมติว่าแบบจำลองความน่าจะเป็นสูงสุดและ AUC-maximizing model กำลังใช้ฟังก์ชันลิงก์เดียวกัน


2
แน่นอนเช่นถ้าบางฟังก์ชั่นลิงก์สร้างแบบที่ดีกว่า logit? นอกจากนั้นคำถามที่ดีถ้ากระบวนการสร้างข้อมูลสามารถสันนิษฐานได้ว่าเป็น logit βAUCβMLE
Nutle

เป็นคำถามที่ดี แต่พิจารณาสิ่งนี้ ROC และ AUC ใช้เพื่อเปรียบเทียบแบบจำลองที่แตกต่างกันสองแบบดังนั้นหากโซลูชันสำหรับการประมาณค่า MLE ของแบบจำลองใด ๆ ไม่ซ้ำกันหมายความว่าคุณจะได้รับ AUC ที่แตกต่างกันเฉพาะในกรณีที่คุณเปลี่ยนข้อมูลจำเพาะของรุ่นปัจจุบัน โมเดลผ่าน MLE ดังนั้น ณ จุดนี้คำถามอื่นจะเป็น: มีวิธีการประเมิน "ดีกว่า" อื่น ๆ (อัลกอริธึมการขยายสูงสุด ecc) นอกเหนือจาก MLE แบบง่ายที่ใช้กับแบบจำลองเดียวกันซึ่งฉันได้รับการประมาณค่าต่าง ๆ ของค่าสัมประสิทธิ์ที่นำไปสู่ ด้วย AUC ที่สูงขึ้น
Fr1

@Nutle ว่าจะเป็นสเปคที่แตกต่างกัน
Fr1

@ Fr1 ใช่นั่นคือความหมายที่ไม่ซ้ำกัน สิ่งที่ฉันหมายถึงในคำถามของฉันคืออะไรเช่น "จะเกิดอะไรขึ้นถ้ามีทางเลือกอื่นสำหรับ MLE ซึ่งทำให้ได้ค่า AUC ที่สูงขึ้น" ถ้ามันเป็นความจริงว่ามีโมเดลเชิงเส้นที่แตกต่างกัน (โมเดลอื่นที่ไม่ใช่ MLE) ซึ่งได้รับ AUC ที่สูงกว่านั่นก็น่าสนใจที่จะรู้
Sycorax พูดว่า Reinstate Monica

1
@Sycorax เราจะทำอะไรอย่างอื่นอีกหรือไม่ :) ข้อสันนิษฐานนั้นมีความสำคัญเนื่องจากถ้าเรารู้ว่า DGP ที่แท้จริงพร้อมลิงก์และตัวแปรที่ใช้ MLE นั้นเป็นสถิติที่ไม่มีอคติที่ทรงพลังที่สุด
Nutle

คำตอบ:


11

มันไม่ได้เป็นกรณีที่βMLE=βAUC C

เพื่อแสดงสิ่งนี้ให้พิจารณาว่า AUC สามารถเขียนเป็น

P(y^1>y^0|y1=1,y0=0)

βMLE

βAUCββMLEβAUC

แก้ไข (การย้ายความคิดเห็นเป็นคำตอบ)

xx>6βxxβMLE<0


1
(+1) อ้า! แน่นอน - เนื่องจากเป็นเรื่องเกี่ยวกับการสั่งซื้อเราจึงสามารถเปลี่ยนการสกัดกั้นที่เห็นได้ชัดว่าจะต้องเปลี่ยนค่าความน่าจะเป็นโดยพลการ แต่การสั่งซื้อจะต้องเหมือนกันเพราะไม่มีสัมประสิทธิ์ของคุณลักษณะที่เปลี่ยนแปลงดังนั้น AUC จะคงที่
Sycorax พูดว่า Reinstate Monica

nxn

nnn

xn
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.