การถดถอยโลจิสติกส์เหมาะสมเมื่อใด

ขณะนี้ฉันกำลังสอนตัวเองเกี่ยวกับการจำแนกประเภทและโดยเฉพาะฉันกำลังดูวิธีการสามวิธี: การสนับสนุนเครื่องเวกเตอร์เครือข่ายประสาทและการถดถอยโลจิสติก สิ่งที่ฉันพยายามเข้าใจคือเหตุที่การถดถอยโลจิสติกจะทำงานได้ดีกว่าอีกสอง

จากความเข้าใจของฉันในการถดถอยโลจิสติกความคิดคือการปรับฟังก์ชั่นโลจิสติกให้พอดีกับข้อมูลทั้งหมด ดังนั้นถ้าข้อมูลของฉันเป็นเลขฐานสองข้อมูลทั้งหมดที่มีป้ายกำกับ 0 ควรถูกแมปกับค่า 0 (หรือใกล้เคียง) และข้อมูลทั้งหมดที่มีค่า 1 ควรถูกแมปกับค่า 1 (หรือใกล้เคียง) ตอนนี้เนื่องจากฟังก์ชันโลจิสติกส์นั้นต่อเนื่องและราบรื่นการดำเนินการถดถอยนี้จึงต้องการข้อมูลทั้งหมดของฉันเพื่อให้พอดีกับเส้นโค้ง ไม่มีความสำคัญมากขึ้นนำไปใช้กับจุดข้อมูลที่อยู่ใกล้กับขอบเขตการตัดสินใจและจุดข้อมูลทั้งหมดมีส่วนทำให้เกิดการสูญเสียตามจำนวนที่แตกต่างกัน

อย่างไรก็ตามด้วยการสนับสนุนเวกเตอร์แมชชีนและเครือข่ายนิวรัลเฉพาะจุดข้อมูลเหล่านั้นที่อยู่ใกล้กับขอบเขตการตัดสินใจมีความสำคัญ ตราบใดที่จุดข้อมูลยังคงอยู่ในขอบเขตเดียวกันของขอบเขตการตัดสินใจมันจะมีส่วนทำให้เกิดการสูญเสียเท่ากัน

ดังนั้นเหตุใดการถดถอยของโลจิสติกจึงมีประสิทธิภาพสูงกว่าเครื่องเวกเตอร์หรือโครงข่ายประสาทเนื่องจากว่า "เสียทรัพยากร" ในการพยายามที่จะปรับเส้นโค้งให้เข้ากับข้อมูลที่ไม่สำคัญ (จำแนกได้ง่าย ๆ ) ขอบเขต?

ทรัพยากรที่คุณพิจารณาว่า "สูญเปล่า" คือความจริงแล้วการได้รับข้อมูลจากการถดถอยโลจิสติก คุณเริ่มต้นด้วยหลักฐานผิด การถดถอยโลจิสติกไม่ใช่ตัวจําแนก เป็นตัวประมาณความน่าจะเป็น / ความเสี่ยง ต่างจาก SVM ซึ่งอนุญาตและคาดว่าจะ "ปิดการโทร" มันจะนำไปสู่การตัดสินใจที่ดีที่สุดเพราะมันไม่ได้พยายามที่จะหลอกลวงสัญญาณการทำนายในการรวมฟังก์ชั่นยูทิลิตี้ที่เป็นนัยเมื่อใดก็ตามที่คุณจำแนกการสังเกต เป้าหมายของการถดถอยโลจิสติกโดยใช้การประมาณค่าความน่าจะเป็นสูงสุดคือการให้การประมาณการที่เหมาะสมของ ProbX) ผลลัพธ์ถูกนำไปใช้ในหลาย ๆ วิธีเช่นการยกโค้งการให้คะแนนความเสี่ยงด้านเครดิต ฯลฯ ดูสัญญาณสัญญาณของเนทซิลเวอร์และสัญญาณรบกวนเพื่อหาข้อโต้แย้งที่น่าสนใจเพื่อสนับสนุนเหตุผลที่น่าจะเป็น$(Y=1|X)$

โปรดทราบว่าตัวแปรที่ขึ้นต่อกันของในการถดถอยแบบลอจิสติกสามารถเขียนโค้ดได้ทุกวิธีที่คุณต้องการ: 0/1, A / B, ใช่ / ไม่ใช่, เป็นต้น$Y$

สมมติฐานหลักของการถดถอยโลจิสติกคือเป็นเลขฐานสองอย่างแท้จริงเช่นมันไม่ได้ถูกประดิษฐ์จากตัวแปรการตอบสนองพื้นฐานหรือลำดับต่อเนื่อง มันก็เหมือนกับวิธีการจัดหมวดหมู่สำหรับปรากฏการณ์ทั้งหมดหรือไม่มีอะไรอย่างแท้จริง$Y$

นักวิเคราะห์บางคนคิดว่าการถดถอยโลจิสติกถือว่าเป็นเส้นตรงของผลกระทบของการทำนายในระดับอัตราต่อรอง นั่นเป็นเรื่องจริงเมื่อ DR Cox คิดค้นโมเดลโลจิสติกในปี 2501 ในขณะที่การคำนวณไม่พร้อมใช้งานเพื่อขยายโมเดลโดยใช้เครื่องมือเช่น splines การถดถอย จุดอ่อนที่แท้จริงเพียงข้อเดียวในการถดถอยโลจิสติกคือคุณต้องระบุการโต้ตอบที่คุณต้องการอนุญาตในโมเดล สำหรับชุดข้อมูลส่วนใหญ่นี่จะกลายเป็นจุดแข็งเพราะผลกระทบหลักที่เสริมเข้ามานั้นโดยทั่วไปแล้วการคาดการณ์ที่แข็งแกร่งกว่าการโต้ตอบและวิธีการเรียนรู้ของเครื่องที่ให้ความสำคัญกับการโต้ตอบที่ไม่เท่าเทียมกันนั้นอาจไม่เสถียร ดี.

คุณพูดถูกการถดถอยโลจิสติกส์ในบางครั้งอาจไม่ดีเท่าลักษณนาม (โดยเฉพาะเมื่อเปรียบเทียบกับอัลกอริธึมอื่น ๆ ) อย่างไรก็ตามนี่ไม่ได้หมายความว่าควรจะลืมการถดถอยโลจิสติกและไม่เคยศึกษาเพราะมันมีข้อดีสองประการ:

1. ผลลัพธ์น่าจะเป็น Frank Harrell (+1) อธิบายอย่างนี้ในคำตอบของเขา

2. มันช่วยให้เราเข้าใจถึงผลกระทบที่ตัวแปรอิสระมีต่อตัวแปรตามในขณะที่ควบคุมตัวแปรอิสระอื่น ๆ ตัวอย่างเช่นให้การประมาณและข้อผิดพลาดมาตรฐานสำหรับอัตราต่อรองแบบมีเงื่อนไข (อัตราต่อรองของใหญ่กว่ากี่เท่าเมื่อแทนในขณะที่ถือคงที่) $Y=1$$X_1 = 1$$2$$X_2,...X_p$