เมื่อเร็ว ๆ นี้ฉันได้เรียนรู้เกี่ยวกับการใช้ Kernel trick ซึ่งจะแมปข้อมูลลงในช่องว่างมิติที่สูงขึ้นเพื่อพยายามทำให้ข้อมูลในมิติเหล่านั้นเป็นเส้นตรง มีกรณีใดบ้างที่ฉันควรหลีกเลี่ยงการใช้เทคนิคนี้? มันเป็นเพียงเรื่องของการหาฟังก์ชั่นเคอร์เนลที่ใช่หรือไม่?
สำหรับข้อมูลเชิงเส้นแน่นอนว่าไม่มีประโยชน์ แต่สำหรับข้อมูลที่ไม่ใช่เชิงเส้นสิ่งนี้ดูเหมือนจะมีประโยชน์เสมอ การใช้ตัวจําแนกเชิงเส้นเป็นเรื่องง่ายกว่าที่ไม่ใช่เชิงเส้นในแง่ของเวลาการฝึกอบรมและความยืดหยุ่น
คำตอบ:
สำหรับข้อมูลเชิงเส้นแน่นอนว่าไม่มีประโยชน์ แต่สำหรับข้อมูลที่ไม่ใช่เชิงเส้นสิ่งนี้ดูเหมือนจะมีประโยชน์เสมอ การใช้ตัวจําแนกเชิงเส้นเป็นเรื่องง่ายกว่าที่ไม่ใช่เชิงเส้นในแง่ของเวลาการฝึกอบรมและความยืดหยุ่น
@BartoszKP ได้อธิบายแล้วว่าทำไมเคอร์เนลจึงมีประโยชน์ เพื่อตอบคำถามของคุณอย่างเต็มที่ แต่ฉันต้องการชี้ให้เห็นว่าการสร้างเคอร์เนลนั้นไม่ใช่ตัวเลือกเดียวที่จะจัดการกับข้อมูลที่ไม่สามารถแบ่งแยกได้แบบเชิงเส้น
มีอย่างน้อยสามดีทางเลือกทั่วไปสำหรับเป็นdelinearizationของรูปแบบ:
เพื่อสรุปผล - การทำให้เป็นเคอร์เนลเป็นเทคนิคการลดแรงตึงผิวที่ยอดเยี่ยมและคุณสามารถใช้เมื่อปัญหาไม่ได้เป็นเชิงเส้น แต่สิ่งนี้ไม่ควรตาบอด "ถ้าเป็นเช่นนั้น" ประเมินค่า นี่เป็นหนึ่งในวิธีการที่น่าสนใจอย่างน้อยหนึ่งวิธีซึ่งสามารถนำไปสู่ผลลัพธ์ที่หลากหลายขึ้นอยู่กับปัญหาและข้อกำหนด โดยเฉพาะอย่างยิ่ง ELM มีแนวโน้มที่จะหาวิธีการแก้ปัญหาที่คล้ายกันมากกับที่ได้รับจาก kernelized SVM ในขณะเดียวกันก็สามารถฝึกให้มีขนาดของแถวได้เร็วขึ้น (ดังนั้นจึงขยายขนาดได้ดีกว่า SVM แบบเคอร์เนล)
ราคาที่คุณจ่ายสำหรับ Kernel Trick โดยทั่วไปสำหรับวิธีการเชิงเส้นจะมีขอบเขตทั่วไปที่แย่ลง สำหรับโมเดลเชิงเส้นมิติ VCของมันก็เป็นเส้นตรงในแง่ของจำนวนมิติ (เช่นมิติ VC สำหรับ Perceptron คือd + 1)
ทีนี้ถ้าคุณจะทำการแปลงแบบไม่เป็นเชิงเส้นที่ซับซ้อนไปสู่พื้นที่มิติสูงมิติ VC ของชุดสมมติฐานของคุณมีขนาดใหญ่ขึ้นอย่างมากเนื่องจากตอนนี้เป็นเชิงเส้นในแง่ของจำนวนมิติในพื้นที่มิติใหม่สูง และเมื่อรวมแล้วขอบเขตทั่วไปจะเพิ่มขึ้น
สนับสนุน Vector Machinesใช้ประโยชน์จาก Kernel Trick ในวิธีที่มีประสิทธิภาพมากที่สุดโดยทำสองสิ่ง:
การวางนัยโดยทั่วไปสำหรับโมเดล SVM ที่มีความสัมพันธ์กับจำนวนของ Support Vectors และสำหรับ soft-margin นั้นสัมพันธ์กับค่าปกติของเวกเตอร์น้ำหนัก - ดังนั้นมันอาจไม่เกี่ยวข้องในกรณีแรกและเกือบจะไม่เกี่ยวข้องในกรณีที่สอง . ไม่ว่าพื้นที่เป้าหมายเคอร์เนล "ใหญ่" จะเป็นอย่างไรคุณไม่หลวมอะไรมากในแง่ของการวางนัย (อ้างอิง: (i) C. Cortes และ V. Vapnik สนับสนุนเวกเตอร์เครือข่าย Machine Learning, 20: 273– 297, 1995 ; (ii) Shawe-Taylor, J .; Cristianini, N. , "ในการวางนัยทั่วไปของอัลกอริธึมขอบนุ่ม" ทฤษฎีข้อมูลธุรกรรม IEEE บน, vol.48, no.10, pp.2721,2735, ต.ค. 2545 )
SVM ค้นหาระนาบการแยกที่เพิ่มระยะขอบให้สูงสุดและนี่จะช่วยลดความซับซ้อนของชุดสมมติฐาน (เราไม่พิจารณาระนาบการแยกที่เป็นไปได้ทุกอัน การตั้งสมมติฐานง่าย ๆ นั้นนำไปสู่ขอบเขตการวางนัยทั่วไปที่ดีขึ้น (ซึ่งเกี่ยวข้องกับจุดแรก
ฉันจะพยายามให้คำตอบที่ไม่ใช่ด้านเทคนิคสำหรับคำถามของคุณ
และควรเป็นตัวเลือกแรกสำหรับเหตุผลที่คุณพูดถึงเวลาฝึกอบรมความสามารถในการปรับขนาดและความสะดวกในการตีความรุ่นสุดท้ายทางเลือกของการทำงานในครั้งแรกหรือสองครั้ง
หากโมเดลเชิงเส้นไม่ได้ให้ประสิทธิภาพที่น่าพอใจคุณสามารถลองวิธีแก้ปัญหาที่ไม่ใช่เชิงเส้นได้ ข้อเสียบางประการที่ควรพิจารณา ได้แก่ :