ชุดฝึกกระจัดกระจายส่งผลเสียต่อ SVM หรือไม่?

ฉันพยายามแบ่งข้อความเป็นหมวดหมู่ต่างๆโดยใช้ SVM ฉันได้รวบรวมรายการคำ / สัญลักษณ์ที่ต้องการจากชุดฝึกอบรม

สำหรับเวกเตอร์แต่ละอันซึ่งแทนข้อความฉันจะตั้งค่าแถวที่เกี่ยวข้องเป็น1หากคำนั้นมีอยู่:

"corpus" คือ: [mary, little, lamb, star, twinkle]

ข้อความแรก: "mary มีลูกแกะน้อย" -> [1 1 1 0 0 0]

ข้อความที่สอง: "twinkle little star" -> [0 1 0 1 1]

ฉันคิดว่านี่เป็นการตั้งค่าทั่วไปของ SVM แต่คำถามของฉันคือมีหลายพันคำในชุดจะเกิดอะไรขึ้นถ้ามีเพียง 1-2 คำต่อข้อความที่ปรากฏขึ้นจริง การพึ่งพาเชิงเส้นของเซตเวกเตอร์การฝึกของฉันจะส่งผลเสียต่อความสามารถของอัลกอริธึมที่จะมาบรรจบกันหรือไม่?

Sparsity และการพึ่งพาเชิงเส้นเป็นสองสิ่งที่แตกต่างกัน การพึ่งพาเชิงเส้นหมายความว่าบางส่วนของคุณสมบัติเวกเตอร์เป็นทวีคูณที่เรียบง่ายของคุณสมบัติเวกเตอร์อื่น ๆ (หรือเหมือนกันนำไปใช้กับตัวอย่าง) ในการตั้งค่าที่คุณอธิบายไว้ฉันคิดว่าการพึ่งพาเชิงเส้นไม่น่าจะเป็นไปได้ (หมายถึงสองคำที่มีความถี่เท่ากัน (หรือทวีคูณของมัน) ในเอกสารทั้งหมด) เพียงแค่มีคุณสมบัติเบาบางไม่มีปัญหาใด ๆ สำหรับ SVM วิธีหนึ่งในการดูสิ่งนี้คือคุณสามารถทำการหมุนแบบสุ่มของแกนพิกัดซึ่งจะทำให้ปัญหาไม่เปลี่ยนแปลงและให้วิธีแก้ปัญหาแบบเดียวกัน แต่จะทำให้ข้อมูลไม่กระจัดกระจายอย่างสมบูรณ์ )

นอกจากนี้ยังปรากฏว่าคุณกำลังพูดถึง SVM ในครั้งแรก โปรดทราบว่าถ้าคุณใช้เคอร์เนล SVM เพียงเพราะคุณมีชุดข้อมูลกระจัดกระจายไม่ได้หมายความว่าเคอร์เนลเมทริกซ์จะกระจัดกระจาย อย่างไรก็ตามอาจมีอันดับต่ำ ในกรณีนี้คุณสามารถใช้ประโยชน์จากข้อเท็จจริงนี้เพื่อการฝึกอบรมที่มีประสิทธิภาพมากขึ้น (ดูตัวอย่างการฝึกอบรม SVM ที่มีประสิทธิภาพโดยใช้การเป็นตัวแทนเคอร์เนลระดับต่ำ )