การเรียนรู้ของเครื่องเพื่อทำนายความน่าจะเป็นในชั้นเรียน

ฉันกำลังมองหาตัวแยกประเภทที่เอาต์พุตความน่าจะเป็นซึ่งเป็นตัวอย่างของหนึ่งในสองคลาส

ฉันรู้ว่าการถดถอยโลจิสติกและเบย์ไร้เดียงสา แต่คุณสามารถบอกฉันเกี่ยวกับคนอื่น ๆ ที่ทำงานในลักษณะเดียวกันได้หรือไม่? นั่นคือตัวแยกประเภทที่ไม่ได้คาดคะเนคลาสที่เป็นของตัวอย่าง แต่ความน่าจะเป็นที่ตัวอย่างนั้นเหมาะสมกับคลาสเฉพาะหรือไม่

คะแนนโบนัสสำหรับความคิดที่คุณสามารถแบ่งปันเกี่ยวกับข้อดีและข้อเสียของตัวแยกประเภทที่แตกต่างกันเหล่านี้ (รวมถึงการถดถอยโลจิสติกและ Bayes ไร้เดียงสา) ตัวอย่างเช่นมีการจัดหมวดหมู่หลายชั้นที่ดีกว่าบ้างไหม?

SVM มีความสัมพันธ์อย่างใกล้ชิดกับการถดถอยแบบลอจิสติกและสามารถใช้ในการทำนายความน่าจะเป็นได้เช่นกันตามระยะทางถึงไฮเปอร์เพลน (คะแนนของแต่ละจุด) คุณทำได้โดยการให้คะแนน -> ความน่าจะเป็นในการทำแผนที่บางวิธีซึ่งค่อนข้างง่ายเนื่องจากปัญหาคือมิติเดียว วิธีหนึ่งคือให้พอดีกับ S-curve (เช่นโค้งโลจิสติกหรือความชัน) กับข้อมูล อีกวิธีหนึ่งคือใช้การถดถอยแบบไอโซโทนิกเพื่อให้เหมาะสมกับฟังก์ชั่นการแจกแจงสะสมทั่วไปมากขึ้นกับข้อมูล

นอกเหนือจาก SVM คุณสามารถใช้ฟังก์ชั่นการสูญเสียที่เหมาะสมสำหรับวิธีการใดก็ได้ที่คุณสามารถใส่ได้โดยใช้วิธีการไล่ระดับสีเช่นเครือข่ายที่ลึก

การทำนายความน่าจะเป็นไม่ใช่สิ่งที่นำมาพิจารณาในวันนี้เมื่อออกแบบลักษณนาม มันพิเศษซึ่งเบี่ยงเบนความสนใจจากประสิทธิภาพการจัดหมวดหมู่ดังนั้นจึงละทิ้ง อย่างไรก็ตามคุณสามารถใช้ตัวจําแนกไบนารีเพื่อเรียนรู้ชุดความน่าจะเป็นของการจําแนกประเภทคงที่ (เช่น "p ใน [0, 1/4] หรือ [1/4, 1/2] หรือ ... ") ด้วย " ละเอียด "การลดลงของ Langford และ Zadrozny

ความเป็นไปได้อีกอย่างหนึ่งคือเครือข่ายประสาทถ้าคุณใช้ cross-entropy เป็นต้นทุนการทำงานกับหน่วยเอาต์พุต sigmoidal ที่จะให้ประมาณการที่คุณต้องการ

เครือข่ายนิวรัลรวมถึงการถดถอยโลจิสติกเป็นตัวจำแนกประเภทที่แยกแยะซึ่งหมายความว่าพวกเขาพยายามที่จะเพิ่มการกระจายแบบมีเงื่อนไขบนข้อมูลการฝึกอบรม Asymptotically ในขีด จำกัด ของตัวอย่างที่ไม่มีที่สิ้นสุดประมาณการทั้งสองเข้าใกล้ขีด จำกัด เดียวกัน

คุณจะพบการวิเคราะห์โดยละเอียดเกี่ยวกับคำถามนี้ในเอกสารนี้ แนวคิดแบบพกพาคือแม้ว่ารูปแบบการกำเนิดมีข้อผิดพลาดแบบอะซิมโทติคสูงกว่า แต่มันอาจเข้าใกล้ข้อผิดพลาดแบบอะซิมโทติคนี้เร็วกว่าแบบจำลองแบบพินิจพิเคราะห์ ดังนั้นสิ่งที่ต้องดำเนินการขึ้นอยู่กับปัญหาของคุณข้อมูลในมือและข้อกำหนดเฉพาะของคุณ

ขั้นสุดท้ายให้พิจารณาการประมาณความน่าจะเป็นแบบมีเงื่อนไขว่าเป็นคะแนนแบบสัมบูรณ์ที่จะใช้เป็นฐานในการตัดสินใจ สิ่งสำคัญคือการพิจารณาให้ตัวอย่างที่เป็นรูปธรรมผลลัพธ์ที่ดีที่สุดของคลาสผู้สมัครโดยตัวแยกประเภทและเปรียบเทียบความน่าจะเป็นที่เกี่ยวข้อง หากความแตกต่างระหว่างสองคะแนนที่ดีที่สุดนั้นสูงหมายความว่าตัวจําแนกมีความมั่นใจอย่างมากเกี่ยวกับคำตอบของเขา

มีมากมาย - และสิ่งที่ได้ผลดีที่สุดนั้นขึ้นอยู่กับข้อมูล นอกจากนี้ยังมีหลายวิธีในการโกง - ตัวอย่างเช่นคุณสามารถทำการปรับเทียบความน่าจะเป็นในผลลัพธ์ของตัวจําแนกใด ๆ ที่ให้คะแนนบางส่วน (เช่น: ผลิตภัณฑ์ดอทระหว่างเวกเตอร์น้ำหนักและอินพุต) ตัวอย่างที่พบบ่อยที่สุดของสิ่งนี้เรียกว่าการปรับขนาดของแพลต

นอกจากนี้ยังมีเรื่องของรูปร่างของแบบจำลองพื้นฐาน หากคุณมีการโต้ตอบพหุนามกับข้อมูลของคุณการถดถอยโลจิสติกวานิลลาจะไม่สามารถทำแบบจำลองได้ดี แต่คุณสามารถใช้การถดถอยโลจิสติกเวอร์ชันเคอร์เนลเพื่อให้โมเดลเหมาะกับข้อมูลที่ดีกว่า สิ่งนี้มักจะเพิ่ม "ความดี" ของผลลัพธ์ความน่าจะเป็นเนื่องจากคุณกำลังปรับปรุงความแม่นยำของตัวจําแนกด้วย

โดยทั่วไปแล้วโมเดลส่วนใหญ่ที่ให้ความน่าจะเป็นมักจะใช้ฟังก์ชันลอจิสติกดังนั้นจึงเป็นการยากที่จะเปรียบเทียบ มันมีแนวโน้มที่จะทำงานได้ดีในทางปฏิบัติเครือข่ายแบบเบย์เป็นทางเลือก Naive Bayes เพียงแค่ตั้งสมมติฐานง่ายเกินไปสำหรับความน่าจะเป็นที่จะดี - และสามารถสังเกตได้ง่ายในชุดข้อมูลที่มีขนาดพอสมควร

ในท้ายที่สุดมันมักจะง่ายขึ้นในการเพิ่มคุณภาพของการประมาณความน่าจะเป็นของคุณโดยเลือกแบบจำลองที่สามารถแสดงข้อมูลได้ดีกว่า ในแง่นี้มันไม่สำคัญว่าคุณจะได้รับความน่าจะเป็นมากเกินไป หากคุณสามารถได้รับความแม่นยำ 70% ด้วยการถดถอยโลจิสติกและ 98% กับ SVM - เพียงแค่ให้ความน่าจะเป็น "เต็มความมั่นใจ" เพียงอย่างเดียวจะทำให้คุณได้ผลลัพธ์ที่ "ดีกว่า" โดยวิธีการทำคะแนนส่วนใหญ่ จากนั้นคุณสามารถทำการสอบเทียบที่ฉันกล่าวถึงก่อนหน้านี้ทำให้ดีขึ้นจริง)

คำถามเดียวกันในบริบทของการไม่สามารถรับตัวจําแนกที่แม่นยำนั้นน่าสนใจยิ่งขึ้น แต่ฉันไม่แน่ใจว่ามีผู้ใดศึกษา / เปรียบเทียบในสถานการณ์ดังกล่าว