ทำไมการตีความ SVM จึงเป็นความผิดประเภท


11

ความเข้าใจของฉันเกี่ยวกับ SVM คือมันคล้ายกับการถดถอยโลจิสติกส์ (LR) นั่นคือผลรวมถ่วงน้ำหนักของคุณสมบัติถูกส่งผ่านไปยังฟังก์ชัน sigmoid เพื่อให้ได้โอกาสในการเป็นสมาชิกของชั้นเรียน แต่แทนที่จะเป็นการสูญเสียข้ามเอนโทรปี ฟังก์ชั่นการฝึกอบรมจะดำเนินการโดยใช้การสูญเสียบานพับ ประโยชน์ของการใช้การสูญเสียบานพับคือเราสามารถทำเทคนิคตัวเลขต่าง ๆ เพื่อให้เคอร์เนลมีประสิทธิภาพมากขึ้น อย่างไรก็ตามข้อเสียเปรียบคือโมเดลที่ได้นั้นมีข้อมูลน้อยกว่าโมเดล LR ที่สอดคล้องกัน ตัวอย่างเช่นหากไม่มีเคอร์เนล (โดยใช้เคอร์เนลเชิงเส้น) ขอบเขตการตัดสินใจ SVM จะยังคงอยู่ในตำแหน่งเดิมที่ LR จะส่งออกความน่าจะเป็นที่ 0.5 แต่คนหนึ่งไม่สามารถบอกได้ว่าความน่าจะเป็นของการสลายตัวของคลาสนั้น ขอบเขตการตัดสินใจ

คำถามสองข้อของฉันคือ:

  1. การตีความของฉันถูกต้องหรือไม่
  2. การใช้การสูญเสียบานพับทำให้ไม่ถูกต้องในการตีความผลลัพธ์ SVM ว่าเป็นความน่าจะเป็นอย่างไร

คำตอบ:


8

xββ0Y=sผมก.n(βx+β0)β,β0

ในกรณีของ SVM แบบเส้นตรง (ไม่มีเคอร์เนล) ขอบเขตการตัดสินจะคล้ายกับแบบจำลองการถดถอยโลจิสติก แต่อาจแตกต่างกันไปขึ้นอยู่กับความแรงของการทำให้เป็นมาตรฐานที่คุณใช้เพื่อให้พอดีกับ SVM เนื่องจาก SVM และ LR แก้ปัญหาการเพิ่มประสิทธิภาพที่แตกต่างกันคุณจึงไม่รับประกันว่าจะมีวิธีแก้ไขปัญหาที่เหมือนกันสำหรับขอบเขตการตัดสินใจ

มีทรัพยากรมากมายเกี่ยวกับ SVM ซึ่งจะช่วยชี้แจงสิ่งต่าง ๆ : นี่คือตัวอย่างหนึ่งและอีกอันหนึ่ง


higgs boson สิ่งนี้มีประโยชน์มากขอขอบคุณ! คำถามติดตามเพียงไม่กี่ข้อ: (1) คุณสามารถยกตัวอย่างที่ใช้งานง่ายเมื่อขอบเขตการตัดสินใจ SVM จะไม่คล้ายกับ LR หรือไม่ (2) เป็นหนึ่งใน SVM เชิงเส้นและ LR โดยทั่วไปดีกว่าอีกหรือไม่หรือมี ประเภทของปัญหาที่เป็นที่นิยมอย่างใดอย่างหนึ่ง?
GingerBadger

2
Alex: โดยทั่วไป SVM เชิงเส้นและ LR โดยทั่วไปจะทำงานได้ค่อนข้างดีในทางปฏิบัติ หากคุณต้องการเอาต์พุตที่น่าจะเป็นให้ใช้ LR หากคุณสนใจเพียงแค่การมอบหมายชั้นเรียนคุณสามารถใช้อย่างใดอย่างหนึ่ง หากคุณต้องการตัวอย่างที่ขอบเขตการตัดสินใจของพวกเขาจะแตกต่างกันมากคุณสามารถจินตนาการชุดข้อมูลที่แยกได้แบบเส้นตรงพร้อมจุดจำนวนหนึ่งของคลาสที่ไม่ถูกต้องซึ่งอยู่ไกลจากขอบเขตการตัดสินใจ คนนอกจะดึงขอบเขตการถดถอยแบบโลจิสติกส์มาสู่ตัวเอง แต่ถ้าคุณมี SVM ที่มีคำศัพท์ธรรมดาที่มีขนาดใหญ่พอ
higgs broson
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.