เคอร์เนลเชิงเส้นและเคอร์เนลที่ไม่ใช่เชิงเส้นสำหรับเครื่องเวกเตอร์สนับสนุน?


45

เมื่อใช้เครื่องสนับสนุนเวกเตอร์มีแนวทางในการเลือกเคอร์เนลเชิงเส้นกับเคอร์เนลแบบไม่เชิงเส้นเช่น RBF หรือไม่? ฉันเคยได้ยินว่าเคอร์เนลที่ไม่ใช่เชิงเส้นมีแนวโน้มที่จะไม่ทำงานได้ดีเมื่อจำนวนของคุณลักษณะมีขนาดใหญ่ มีการอ้างอิงใด ๆ เกี่ยวกับปัญหานี้หรือไม่?


1
สำหรับภูมิปัญญาของฉันมันขึ้นอยู่กับปัญหาที่เกิดขึ้นในมือและเป็นอันตรายที่จะใช้ thumbrules ในทางปฏิบัติ
htrahdis

คำตอบ:


66

โดยปกติแล้วการตัดสินใจว่าจะใช้เคอร์เนลเชิงเส้นหรือ RBF (aka Gaussian) มีสองปัจจัยหลักที่ควรพิจารณา:

  1. การแก้ปัญหาการปรับให้เหมาะสมสำหรับเคอร์เนลเชิงเส้นนั้นเร็วขึ้นมากดูเช่น LIBLINEAR
  2. โดยทั่วไปแล้วประสิทธิภาพการทำนายที่ดีที่สุดที่เป็นไปได้จะดีกว่าสำหรับเคอร์เนลที่ไม่เป็นเชิงเส้น

มันแสดงให้เห็นว่าเคอร์เนลเชิงเส้นเป็นรุ่นที่เสื่อมของ RBFดังนั้นเคอร์เนลเชิงเส้นจึงไม่แม่นยำกว่าเคอร์เนล RBF ที่ปรับจูนอย่างเหมาะสม การอ้างถึงบทคัดย่อจากกระดาษที่ฉันเชื่อมโยง:

การวิเคราะห์ยังระบุด้วยว่าหากการเลือกแบบจำลองทั้งหมดโดยใช้เคอร์เนล Gaussian ได้รับการดำเนินการแล้วไม่จำเป็นต้องพิจารณา SVM เชิงเส้น

กฎพื้นฐานง่ายๆที่กล่าวถึงในคู่มือปฏิบัติของ NTU เพื่อสนับสนุนการจำแนกเวกเตอร์ (ภาคผนวก C)

หากจำนวนคุณลักษณะมีขนาดใหญ่อาจไม่จำเป็นต้องแมปข้อมูลกับพื้นที่มิติที่สูงขึ้น นั่นคือการแมปแบบไม่เชิงเส้นไม่ได้ปรับปรุงประสิทธิภาพ การใช้เคอร์เนลเชิงเส้นนั้นดีพอและมีเพียงค้นหาพารามิเตอร์ C เท่านั้น

ข้อสรุปของคุณถูกต้องมากหรือน้อย แต่คุณมีข้อโต้แย้งข้างหลัง ในทางปฏิบัติเคอร์เนลเชิงเส้นมีแนวโน้มที่จะทำงานได้ดีมากเมื่อจำนวนของคุณลักษณะมีขนาดใหญ่ (เช่นไม่จำเป็นต้องแมปกับพื้นที่คุณลักษณะมิติที่สูงขึ้น) ตัวอย่างทั่วไปของเรื่องนี้คือการจำแนกเอกสารที่มีหลายพันมิติในพื้นที่อินพุต

ในกรณีเหล่านี้เมล็ดไม่เชิงเส้นไม่จำเป็นต้องมีความแม่นยำมากกว่าเชิงเส้น โดยทั่วไปหมายถึงเมล็ดที่ไม่เป็นเชิงเส้นสูญเสียการอุทธรณ์: พวกเขาต้องการทรัพยากรมากขึ้นในการฝึกอบรมที่มีกำไรเล็กน้อยถึงไม่มีในการคาดการณ์ดังนั้นทำไมจึงต้องกังวล

TL; DR

ให้ลองเชิงเส้นก่อนเนื่องจากเป็นวิธีที่เร็วกว่าในการฝึกฝน (และทดสอบ) หากความถูกต้องเพียงพอให้ตบหลังตัวเองเพื่องานที่ทำได้ดีและไปยังปัญหาต่อไป ถ้าไม่ใช่ให้ลองเคอร์เนลแบบไม่เชิงเส้น


1
ฉันมีคำอธิบายสำหรับเคล็ดลับเคอร์เนลนี้: stats.stackexchange.com/questions/131138/ …

37

Andrew Ng ให้คำอธิบายง่ายๆเกี่ยวกับกฎในวิดีโอนี้เริ่มตั้งแต่ 14:46 ถึงแม้ว่าวิดีโอทั้งหมดน่าดู

ประเด็นสำคัญ

  • ใช้เคอร์เนลเชิงเส้นเมื่อจำนวนคุณลักษณะมีขนาดใหญ่กว่าจำนวนการสังเกต
  • ใช้เคอร์เนล gaussian เมื่อจำนวนการสังเกตมีค่ามากกว่าจำนวนฟีเจอร์
  • หากจำนวนการสังเกตมีค่ามากกว่า 50,000 ความเร็วอาจเป็นปัญหาเมื่อใช้เคอร์เนลเกาส์เซียน; ดังนั้นหนึ่งอาจต้องการใช้เคอร์เนลเชิงเส้น

ตกลง ................
datmannz

1
ลิงก์ตาย: ฉันคิดว่านี่เป็นวิดีโอเดียวกัน: youtube.com/watch?v=hDh7jmEGoY0
ihebiheb
โดยการใช้ไซต์ของเรา หมายความว่าคุณได้อ่านและทำความเข้าใจนโยบายคุกกี้และนโยบายความเป็นส่วนตัวของเราแล้ว
Licensed under cc by-sa 3.0 with attribution required.