Support Vector Machine มีความไวต่อความสัมพันธ์ระหว่างคุณลักษณะหรือไม่

ฉันต้องการฝึกอบรม SVM เพื่อจำแนกกรณีและปัญหา (TRUE / FALSE) ตาม 20 คุณลักษณะ ฉันรู้ว่าคุณลักษณะเหล่านั้นบางอย่างมีความสัมพันธ์สูง ดังนั้นคำถามของฉันคือ: SVM มีความไวต่อความสัมพันธ์หรือความซ้ำซ้อนระหว่างคุณสมบัติหรือไม่ การอ้างอิงใด ๆ

เคอร์เนลเชิงเส้น:เอฟเฟกต์ที่นี่คล้ายกับที่มีหลายค่าความสัมพันธ์ในการถดถอยเชิงเส้น โมเดลที่เรียนรู้ของคุณอาจไม่คงที่โดยเฉพาะกับชุดรูปแบบขนาดเล็กในชุดฝึกอบรมเนื่องจากเว็กเตอร์น้ำหนักต่างกันจะมีเอาต์พุตเหมือนกัน แม้ว่าชุดการฝึกอบรมจะมีความเสถียรพอสมควรและจะทำการทดสอบการคาดการณ์หากมาจากการแจกแจงแบบเดียวกัน

เคอร์เนล RBF: เคอร์เนล RBF ดูที่ระยะทางระหว่างจุดข้อมูลเท่านั้น ดังนั้นจินตนาการว่าคุณมี 11 คุณลักษณะ แต่หนึ่งในนั้นถูกทำซ้ำ 10 ครั้ง (เป็นกรณีที่ค่อนข้างสุดขีด) จากนั้นแอตทริบิวต์ที่ทำซ้ำจะส่งผลต่อระยะทางไกลกว่าคุณลักษณะอื่น ๆ 10 เท่าและโมเดลที่เรียนรู้อาจได้รับผลกระทบจากฟีเจอร์นั้นมากขึ้น

$d(x, y) = \sqrt{ (x - y)^T S^{-1} (x - y) }$$S$$x$$C x$$C$$S^{-1} = C^T C$$S^{-1}$