ข้อ จำกัด ของวิธีการเคอร์เนลคืออะไรและเมื่อใดที่จะใช้วิธีเคอร์เนล

วิธีการเคอร์เนลมีประสิทธิภาพมากในงานการจัดหมวดหมู่ที่ได้รับการควบคุม ดังนั้นสิ่งที่เป็นข้อ จำกัด ของวิธีการเคอร์เนลและเมื่อใช้วิธีเคอร์เนล? โดยเฉพาะอย่างยิ่งในยุคข้อมูลขนาดใหญ่ความก้าวหน้าของวิธีการเคอร์เนลคืออะไร? อะไรคือความแตกต่างระหว่างวิธีเคอร์เนลและการเรียนรู้แบบหลายตัวอย่าง? หากข้อมูลมี500x10000, 500เป็นนับตัวอย่างและ10000เป็นมิติของแต่ละคุณลักษณะแล้วในกรณีนี้เราสามารถใช้วิธีการเคอร์เนล?

วิธีการเคอร์เนลสามารถใช้สำหรับปัญหาการดูแลและไม่ได้รับการดูแล ตัวอย่างที่รู้จักกันดีคือเครื่องเวกเตอร์สนับสนุนและการจัดกลุ่มเคอร์เนลสเปกตรัมตามลำดับ

เมธอดเคอร์เนลจัดเตรียมวิธีที่มีโครงสร้างเพื่อใช้อัลกอริธึมเชิงเส้นในพื้นที่คุณลักษณะที่ถูกแปลงซึ่งโดยทั่วไปการแปลงจะไม่เป็นเชิงเส้น ข้อได้เปรียบที่สำคัญนี้เรียกว่าเคล็ดลับเคอร์เนลนำคือว่ารูปแบบไม่เชิงเส้นสามารถพบได้ที่เหมาะสมค่าใช้จ่ายในการคำนวณ

โปรดทราบว่าฉันบอกว่าค่าใช้จ่ายในการคำนวณนั้นสมเหตุสมผล แต่ก็ไม่สำคัญ โดยทั่วไปวิธีเคอร์เนลจะสร้างเมทริกซ์เคอร์เนล$\mathbf{K} \in \mathbb{R}^{N\times N}$ กับ $N$จำนวนอินสแตนซ์การฝึกอบรม ความซับซ้อนของวิธีการเคอร์เนลจึงเป็นหน้าที่ของจำนวนอินสแตนซ์การฝึกอบรมมากกว่าจำนวนมิติการป้อนข้อมูล สนับสนุนเครื่องเวกเตอร์เช่นมีความซับซ้อนของการฝึกอบรมระหว่าง$O(N^2)$ และ $O(N^3)$. สำหรับปัญหาที่มีขนาดใหญ่มาก$N$ความซับซ้อนนี้เป็นสิ่งต้องห้ามในปัจจุบัน

สิ่งนี้ทำให้เมธอดเคอร์เนลน่าสนใจมากจากมุมมองการคำนวณเมื่อจำนวนมิติมีขนาดใหญ่และจำนวนตัวอย่างค่อนข้างต่ำ (พูดน้อยกว่า 1 ล้าน)

ที่เกี่ยวข้อง: เคอร์เนลเชิงเส้นและเคอร์เนลที่ไม่ใช่เชิงเส้นสำหรับเครื่องเวกเตอร์สนับสนุน?

SVM สำหรับปัญหาขนาดใหญ่

สำหรับปัญหาเกี่ยวกับมิติที่สูงมากเช่น10000ขนาดที่คุณพูดถึงคำถามบ่อยครั้งที่ไม่จำเป็นต้องแมปกับพื้นที่คุณลักษณะมิติที่สูงขึ้น พื้นที่อินพุทดีพออยู่แล้ว สำหรับปัญหาดังกล่าววิธีการเชิงเส้นคือคำสั่งของขนาดเร็วขึ้นเกือบจะมีประสิทธิภาพการทำนายเหมือนกัน ตัวอย่างของวิธีการเหล่านี้สามารถพบได้ในLIBLINEARหรือVowpal Wabbit

วิธีการเชิงเส้นนั้นน่าสนใจอย่างยิ่งเมื่อคุณมีตัวอย่างจำนวนมากในพื้นที่อินพุตที่มีมิติสูง เมื่อคุณมีเท่านั้น$500$ ตัวอย่างการใช้วิธีเคอร์เนลแบบไม่เชิงเส้นก็จะมีราคาถูกด้วยเช่นกัน $N$เล็ก). ถ้าคุณมีพูด$5.000.000$ ตัวอย่างใน $10.000$ มิติวิธีเคอร์เนลจะเป็นไปไม่ได้

สำหรับปัญหามิติต่ำที่มีอินสแตนซ์การฝึกอบรมจำนวนมาก (เรียกว่าขนาดใหญ่ $N$ เล็ก $p$ปัญหา) วิธีการเชิงเส้นอาจให้ความแม่นยำในการทำนายที่ไม่ดี สำหรับปัญหาดังกล่าววิธีการทั้งมวลเช่นEnsembleSVMให้ขอบเขตการตัดสินใจแบบไม่เชิงเส้นที่ลดต้นทุนการคำนวณอย่างมีนัยสำคัญเมื่อเทียบกับ SVM มาตรฐาน