ฉันวางแผนที่จะใช้ลักษณนามลักษณนามของเวกเตอร์สนับสนุนเชิงเส้น (SVM) ของ scikit สำหรับการจำแนกข้อความบนคลังข้อมูลซึ่งประกอบด้วยเอกสารที่มีป้ายกำกับ 1 ล้านฉบับ สิ่งที่ฉันกำลังวางแผนที่จะทำคือเมื่อผู้ใช้ป้อนคำหลักบางคำลักษณนามจะจัดประเภทไว้ในหมวดหมู่ก่อนแล้วแบบสอบถามการสืบค้นข้อมูลที่ตามมาจะเกิดขึ้นภายในเอกสารของหมวดหมู่หมวดหมู่นั้น ฉันมีคำถามสองสามข้อ:
- ฉันจะยืนยันได้อย่างไรว่าการจำแนกประเภทจะใช้เวลาไม่นาน ฉันไม่ต้องการให้ผู้ใช้ต้องใช้เวลารอการจัดหมวดหมู่ให้เสร็จเพื่อให้ได้ผลลัพธ์ที่ดีขึ้น
- การใช้ห้องสมุด scikit ของ Python สำหรับเว็บไซต์ / แอปพลิเคชันบนเว็บเหมาะสมกับเรื่องนี้หรือไม่?
- ไม่มีใครรู้ว่า amazon หรือ flipkart ดำเนินการจัดหมวดหมู่ในการค้นหาของผู้ใช้หรือพวกเขาใช้ตรรกะที่แตกต่างอย่างสิ้นเชิง?
คุณสามารถจำแนกคำหลักทั้งหมดไว้ล่วงหน้าแล้วเพียงดึงหมวดหมู่จากดัชนี
—
แฟน
@ffriend ดูเหมือนจะเป็นคำตอบสำหรับการค้นหาคำเดียว แต่ถ้าคำค้นหาประกอบด้วยคำมากกว่านั้น .. หรือการรวมกันของคำ .. ฉันต้องสร้างดัชนีสำหรับชุดค่าผสมทั้งหมด !!!
—
user3498
SVC นั้นเร็วดังนั้นหากคุณต้องการใช้สำหรับการจำแนกประเภทคิวรี่ในแอปพลิเคชันที่มีโหลดปานกลางมันจะทำงาน แต่การจัดหมวดหมู่ด้วยคำเดียว (หรือหลายคำ) เป็นความคิดที่ไม่ดีในกรณีส่วนใหญ่ ใช้คำที่ไม่ชัดเจนเช่น: ถ้าคำบางคำอยู่ใน 2 หมวดหมู่ที่มีความน่าจะเป็นต่างกันเล็กน้อย คุณจะทิ้งหมวดหมู่ที่น่าจะเป็นไปได้น้อยลงจากการค้นหาหรือไม่? สิ่งที่คุณต้องการมากที่สุดคือคำศัพท์เพิ่มเติมในการจัดอันดับสูตรในขณะที่ค้นหาไม่ปฏิเสธหมวดหมู่ที่น่าจะเป็นน้อย
—
แฟน