ฉันใช้Libsvmเพื่อฝึกอบรมข้อมูลและทำนายการจำแนกปัญหาการวิเคราะห์ความหมาย แต่มันก็มีผลการดำเนินงานปัญหากับข้อมูลขนาดใหญ่เนื่องจากความกังวลเกี่ยวกับการวิเคราะห์ความหมายn มิติปัญหา
เมื่อปีที่แล้วLiblinearได้เปิดตัวและสามารถแก้ไขปัญหาคอขวดของประสิทธิภาพได้ แต่มันก็มีค่าใช้จ่ายมากเกินไปหน่วยความจำ คือMapReduceวิธีเดียวที่จะแก้ปัญหาการวิเคราะห์ความหมายเกี่ยวกับข้อมูลขนาดใหญ่? หรือมีวิธีอื่นใดที่สามารถปรับปรุงคอขวดของหน่วยความจำบนLiblinear ได้หรือไม่?
คำตอบ:
ทราบว่ามีเป็นรุ่นแรกของ LIBLINEAR รังเพลิงApache Spark ดูความคิดเห็นรายการจดหมายสำหรับรายละเอียดบางต้นและเว็บไซต์ของโครงการ
คุณสามารถตรวจสอบWabbit vowpal มันค่อนข้างเป็นที่นิยมสำหรับการเรียนรู้ขนาดใหญ่และมีบทบัญญัติแบบขนาน
จากเว็บไซต์ของพวกเขา:
VW เป็นสาระสำคัญของความเร็วในการเรียนรู้ของเครื่องจักรสามารถเรียนรู้จากชุดข้อมูลเทราฟีเอเรได้อย่างง่ายดาย ผ่านการเรียนรู้แบบขนานมันสามารถเกินกว่าปริมาณงานของอินเทอร์เฟซเครือข่ายเครื่องเดียวเมื่อทำการเรียนรู้เชิงเส้นซึ่งเป็นหนึ่งในขั้นตอนวิธีการเรียนรู้