เนื้อหาบางอย่างที่ฉันเห็นในการเรียนรู้ของเครื่องบอกว่าเป็นความคิดที่ไม่ดีที่จะเข้าถึงปัญหาการจัดหมวดหมู่ผ่านการถดถอย แต่ฉันคิดว่าเป็นไปได้เสมอที่จะทำการถดถอยอย่างต่อเนื่องเพื่อให้พอดีกับข้อมูลและตัดทอนการทำนายอย่างต่อเนื่องเพื่อให้ได้การจำแนกประเภทที่ไม่ต่อเนื่อง เหตุใดจึงเป็นความคิดที่ไม่ดี

".. จำแนกปัญหาผ่านการถดถอย .. "โดย "การถดถอย" ฉันจะถือว่าคุณหมายถึงการถดถอยเชิงเส้นและฉันจะเปรียบเทียบวิธีการนี้กับวิธีการ "การจำแนก" ของการปรับรูปแบบการถดถอยโลจิสติก

ก่อนที่เราจะทำสิ่งนี้เป็นสิ่งสำคัญที่จะต้องชี้แจงความแตกต่างระหว่างรูปแบบการถดถอยและการจำแนกประเภท ตัวแบบการถดถอยทำนายตัวแปรอย่างต่อเนื่องเช่นปริมาณน้ำฝนหรือความเข้มของแสงแดด พวกเขายังสามารถทำนายความน่าจะเป็นเช่นความน่าจะเป็นที่ภาพมีแมวอยู่ แบบจำลองการถดถอยความน่าจะเป็นสามารถใช้เป็นส่วนหนึ่งของลักษณนามโดยกำหนดกฎการตัดสินใจตัวอย่างเช่นถ้าความน่าจะเป็น 50% หรือมากกว่าให้ตัดสินใจว่าเป็นแมว

การถดถอยโลจิสติกทำนายความน่าจะเป็นดังนั้นจึงเป็นขั้นตอนวิธีการถดถอย อย่างไรก็ตามมันถูกอธิบายโดยทั่วไปว่าเป็นวิธีการจัดหมวดหมู่ในวรรณคดีการเรียนรู้ของเครื่องเพราะมันสามารถ (และมักจะ) ใช้ในการทำลักษณนาม นอกจากนี้ยังมีอัลกอริธึมการจัดหมวดหมู่ "ของจริง" เช่น SVM ซึ่งทำนายผลและไม่ให้โอกาสเท่านั้น เราจะไม่พูดถึงอัลกอริทึมแบบนี้ที่นี่

การถดถอยเชิงเส้น vs. โลจิสติกส์เกี่ยวกับปัญหาการจำแนก

ดังที่ Andrew Ng อธิบายไว้ด้วยการถดถอยเชิงเส้นคุณพอดีกับพหุนามผ่านข้อมูล - พูดเช่นในตัวอย่างด้านล่างเราจะใส่เส้นตรงผ่านชุดตัวอย่าง{ขนาดเนื้องอกชนิดเนื้องอก}

ข้างต้นเนื้องอกมะเร็งได้รับและคนที่ไม่ใช่มะเร็งได้รับและสายสีเขียวคือสมมติฐานของเรา(x) ในการทำนายเราอาจบอกได้ว่าขนาดของเนื้องอกใด ๆ ที่กำหนดหากมีขนาดใหญ่กว่าเราจะคาดการณ์เนื้องอกที่ร้ายกาจ$1$$0$$h(x)$$x$$h(x)$$0.5$

ดูเหมือนว่าวิธีนี้เราสามารถทำนายตัวอย่างชุดฝึกซ้อมได้อย่างถูกต้อง แต่ตอนนี้เรามาเปลี่ยนงานเล็กน้อย

โดยสังหรณ์ใจมันชัดเจนว่าเนื้องอกทั้งหมดมีขนาดใหญ่กว่าเกณฑ์บางอย่างที่เป็นมะเร็ง ลองเพิ่มตัวอย่างอีกอันที่มีขนาดก้อนโตมากและรันการถดถอยเชิงเส้นอีกครั้ง:

ตอนนี้เราไม่ทำงานอีกต่อไป เพื่อให้การคาดการณ์ถูกต้องเราจำเป็นต้องเปลี่ยนเป็นหรือบางอย่าง - แต่นั่นไม่ใช่วิธีที่อัลกอริทึมควรทำงาน$h(x) > 0.5 \rightarrow malignant$$h(x) > 0.2$

เราไม่สามารถเปลี่ยนสมมติฐานได้ทุกครั้งที่มีตัวอย่างใหม่มาถึง แต่เราควรเรียนรู้จากข้อมูลชุดฝึกอบรมจากนั้น (โดยใช้สมมติฐานที่เราได้เรียนรู้) ทำการทำนายที่ถูกต้องสำหรับข้อมูลที่เราไม่เคยเห็นมาก่อน

หวังว่านี่จะอธิบายว่าทำไมการถดถอยเชิงเส้นไม่เหมาะที่สุดสำหรับปัญหาการจำแนกประเภท! นอกจากนี้คุณอาจต้องการดูVI การถดถอยโลจิสติก. วิดีโอการจำแนกประเภทในml-class.orgซึ่งจะอธิบายแนวคิดในรายละเอียดเพิ่มเติม

แก้ไข

ความน่าจะเป็นทางตรรกะถามว่าตัวจําแนกที่ดีจะทําอย่างไร ในตัวอย่างนี้คุณอาจใช้การถดถอยโลจิสติกซึ่งอาจเรียนรู้สมมติฐานเช่นนี้ (ฉันเพิ่งทำไป):

โปรดทราบว่าทั้งการถดถอยเชิงเส้นและการถดถอยโลจิสติกให้คุณเป็นเส้นตรง (หรือพหุนามคำสั่งที่สูงกว่า) แต่เส้นเหล่านั้นมีความหมายต่างกัน:

• $h(x)$สำหรับ interpolates การถดถอยเชิงเส้นหรือ extrapolates เอาท์พุทและคาดการณ์ค่าสำหรับเราไม่ได้เห็น มันเหมือนกับการเสียบใหม่และรับหมายเลขดิบและเหมาะสำหรับงานเช่นการคาดคะเนพูดว่าราคารถยนต์ขึ้นอยู่กับ{ขนาดรถยนต์อายุรถยนต์}ฯลฯ$x$$x$
• $h(x)$สำหรับการถดถอยโลจิสติกจะบอกคุณถึงความน่าจะเป็นที่เป็นของคลาส "บวก" นี่คือเหตุผลที่มันถูกเรียกว่าอัลกอริธึมการถดถอย - ประมาณปริมาณอย่างต่อเนื่องความน่าจะเป็น อย่างไรก็ตามถ้าคุณตั้งค่าขีด จำกัด บนความน่าจะเป็นเช่นคุณจะได้ลักษณนามและในหลาย ๆ กรณีนี่คือสิ่งที่ทำกับเอาต์พุตจากรูปแบบการถดถอยโลจิสติก สิ่งนี้เทียบเท่ากับการวางบรรทัดลงบนพล็อต: ทุกจุดที่อยู่เหนือบรรทัดตัวแยกประเภทเป็นของหนึ่งคลาส$x$$h(x) > 0.5$

ดังนั้นสิ่งที่สำคัญที่สุดคือในสถานการณ์การจำแนกประเภทเราใช้การใช้เหตุผลที่แตกต่างอย่างสิ้นเชิงและอัลกอริทึมที่แตกต่างอย่างสิ้นเชิงกว่าในสถานการณ์การถดถอย

ฉันไม่สามารถนึกถึงตัวอย่างที่การจำแนกประเภทเป็นเป้าหมายสูงสุดจริง ๆ เป้าหมายที่แท้จริงเกือบทุกครั้งคือการคาดการณ์ที่แม่นยำเช่นความน่าจะเป็น ในจิตวิญญาณนั้นการถดถอย (โลจิสติก) คือเพื่อนของคุณ

ทำไมไม่ลองดูหลักฐานบ้างล่ะ? แม้ว่าหลายคนอาจแย้งว่าการถดถอยเชิงเส้นนั้นไม่เหมาะสำหรับการจำแนกประเภท แต่ก็อาจใช้งานได้ เพื่อให้ได้รับสัญชาติญาณบางอย่างผมรวมถึงการถดถอยเชิงเส้น (ใช้เป็นลักษณนาม) ลง scikit การเรียนรู้ของการเปรียบเทียบลักษณนาม นี่คือสิ่งที่เกิดขึ้น:

ขอบเขตการตัดสินใจแคบกว่าตัวแยกประเภทอื่น ๆ แต่ความแม่นยำนั้นเหมือนกัน เหมือนกับตัวแยกลแบบเวกเตอร์เชิงเส้นสนับสนุนโมเดลการถดถอยจะให้ไฮเปอร์เพลนที่แยกคลาสในพื้นที่คุณลักษณะ

อย่างที่เราเห็นการใช้การถดถอยเชิงเส้นเป็นลักษณนามสามารถทำงานได้ แต่เช่นเคยฉันจะข้ามการตรวจสอบการทำนาย

สำหรับเร็กคอร์ดนี่คือลักษณะรหัสลักษณนามของฉัน:

class LinearRegressionClassifier():

def __init__(self):
    self.reg = LinearRegression()

def fit(self, X, y):
    self.reg.fit(X, y)

def predict(self, X):
    return np.clip(self.reg.predict(X),0,1)

def decision_function(self, X):
    return np.clip(self.reg.predict(X),0,1)

def score(self, X, y):
    return accuracy_score(y,np.round(self.predict(X)))

เพิ่มเติมเพื่อขยายคำตอบที่ดีอยู่แล้วสำหรับงานการจัดประเภทใด ๆ นอกเหนือจาก bivariate การใช้การถดถอยจะทำให้เรากำหนดระยะทางและสั่งซื้อระหว่างชั้นเรียน กล่าวอีกนัยหนึ่งเราอาจได้ผลลัพธ์ที่แตกต่างกันเพียงแค่สับเลเบลของคลาสหรือเปลี่ยนสเกลของค่าตัวเลขที่กำหนด (กล่าวว่าคลาสที่มีเลเบลเป็นเทียบกับ ) ซึ่งเอาชนะวัตถุประสงค์ของปัญหาการจำแนกประเภท$1, 10, 100, ...$$1, 2, 3, ...$