การจำแนกข้อความขนาดใหญ่

ฉันต้องการจัดหมวดหมู่ข้อมูลข้อความของฉัน ฉันมี300 classes200 เอกสารการฝึกอบรมต่อชั้นเรียน (ดังนั้น60000 documents in total) และนี่น่าจะส่งผลให้ข้อมูลมิติสูงมาก (เราอาจมองเกินกว่า1 ล้านมิติ )

ฉันต้องการดำเนินการตามขั้นตอนต่อไปนี้ในไปป์ไลน์ (เพื่อให้คุณได้ทราบถึงความต้องการของฉัน):

1. การแปลงแต่ละเอกสารเป็นฟีเจอร์เวกเตอร์ ( tf-idfหรือvector space model)
2. Feature selection( Mutual Informationโดยเฉพาะอย่างยิ่งหรือมาตรฐานอื่น ๆ )
3. การฝึกอบรมลักษณนาม ( SVM, Naive Bayes, Logistic RegressionหรือRandom Forest)
4. การทำนายข้อมูลที่มองไม่เห็นตามตัวจําแนกรุ่นที่ผ่านการฝึกอบรม

ดังนั้นคำถามคือฉันใช้เครื่องมือ / กรอบการทำงานสำหรับจัดการข้อมูลมิติสูงเช่นนี้หรือไม่ ฉันตระหนักถึงผู้ต้องสงสัยตามปกติ (R, WEKA ... ) แต่เท่าที่ความรู้ของฉันไป (ฉันอาจผิด) อาจไม่มีใครสามารถจัดการข้อมูลขนาดใหญ่นี้ได้ มีเครื่องมือเก็บของอื่น ๆ ที่ฉันสามารถดูได้หรือไม่?

ถ้าฉันต้องขนานมันฉันควรจะดูApache Mahoutหรือไม่? ดูเหมือนว่ามันอาจจะไม่ได้มีฟังก์ชั่นที่ฉันต้องการ

ขอบคุณทุกคนล่วงหน้า

อัปเดต: ฉันดูเว็บไซต์นี้รายชื่อรับเมล R และอินเทอร์เน็ตโดยทั่วไป ฉันเห็นว่าปัญหาต่อไปนี้อาจเกิดขึ้นในสถานการณ์ของฉัน:

(1) การประมวลผลข้อมูลของฉันล่วงหน้าโดยใช้ R ( โดยเฉพาะอย่างยิ่งแพคเกจtm ) อาจใช้การไม่ได้เนื่องจากtmจะช้าอย่างเด็ดขาด

(2) เนื่องจากฉันจะต้องใช้ชุดของแพ็กเกจ R (การประมวลผลก่อน, เมทริกซ์เบาบาง, ตัวแยกประเภท ฯลฯ ) การทำงานร่วมกันระหว่างแพ็กเกจอาจกลายเป็นปัญหาและฉันอาจมีค่าใช้จ่ายเพิ่มเติมในการแปลงข้อมูลจากรูปแบบหนึ่ง . ตัวอย่างเช่นถ้าฉันทำการประมวลผลล่วงหน้าโดยใช้tm(หรือเครื่องมือภายนอกเช่น WEKA) ฉันจะต้องคิดหาวิธีแปลงข้อมูลนี้เป็นรูปแบบที่ไลบรารี HPC ใน R สามารถอ่านได้ และอีกครั้งมันไม่ชัดเจนสำหรับฉันหากแพ็กเกจตัวแยกประเภทจะใช้ข้อมูลโดยตรงตามที่มีให้ในไลบรารี HPC

ฉันกำลังติดตามใช่ไหม? และที่สำคัญกว่านั้นฉันกำลังเข้าท่า?

สิ่งนี้ควรเป็นไปได้ที่จะทำให้มันทำงานได้ตราบใดที่ข้อมูลถูกแสดงเป็นโครงสร้างข้อมูลแบบเบาบางเช่น scipy.sparse.csr_matrixอินสแตนซ์ใน Python ผมเขียนกวดวิชาสำหรับการทำงานเกี่ยวกับข้อมูลที่เป็นข้อความ มันเป็นไปได้ต่อไปเพื่อลดการใช้หน่วยความจำเพิ่มเติมโดยใช้ประโยชน์จากเคล็ดลับ hashing นี้: ปรับให้ใช้HashingVectorizerแทนหรือCountingVectorizer TfidfVectorizerนี่คือคำอธิบายในส่วนเอกสารข้อความที่มีการสกัด

โดยทั่วไปแล้วป่าสุ่มมีราคาแพงกว่าแบบจำลองเชิงเส้น (เช่นเครื่องสนับสนุนเวกเตอร์เชิงเส้นและการถดถอยแบบโลจิสติก) และ Multinomial หรือ Bernoulli ไร้เดียงสา Bayes และสำหรับปัญหาการจำแนกข้อความส่วนใหญ่ที่ไม่แม่นยำ

หาก scikit เรียนรู้จบลงไม่สามารถปรับขนาดให้กับปัญหาของคุณVowpal Wabbitจะทำ (และอาจเร็วกว่า sklearn) แม้ว่ามันจะไม่ใช้โมเดลทั้งหมดที่คุณกำลังพูดถึง

แก้ไขเมื่อเดือนเมษายน 2558 เพื่อสะท้อนถึงสถานะปัจจุบันของห้องสมุด scikit-Learn และเพื่อแก้ไขลิงก์ที่เสียหาย

Gensimสำหรับ Python เป็นเวทมนต์ และเนื่องจากอยู่ใน Python คุณสามารถใช้ร่วมกับคำแนะนำของ @ ogrisel

ไม่ใช่เสียงดังตุ๊ดฮอร์นของฉันเอง แต่ฉันทำซีรีย์วิดีโอยอดนิยมในการวิเคราะห์ข้อความด้วย Rapidminer คุณสามารถดูได้ที่นี่:

http://vancouverdata.blogspot.com/2010/11/text-analytics-with-rapidminer-loading.html

คุณอาจหลีกเลี่ยงการเลือกคุณสมบัติเพียงใช้ตัวแยกประเภทที่ไม่ได้สร้างเมทริกซ์ล้าน * ล้านในหน่วยความจำ :)

การถดถอยโลจิสติกจะทำให้หายใจไม่ออกในหลายมิตินั้น Naive Bayes ถือว่าขนาดที่เป็นอิสระดังนั้นคุณจะสบายดี SVM ไม่ได้ขึ้นอยู่กับจำนวนมิติ (แต่ขึ้นอยู่กับจำนวนของเวกเตอร์การสนับสนุน) ดังนั้นมันจึงใช้ได้เช่นกัน

แม้ว่า 300 จะมีคลาสจำนวนมาก ฉันจะเริ่มต้นด้วยเพียงไม่กี่และดำเนินการของคุณ

ก่อนอื่นตามความเห็นของคุณฉันจะถือว่านี่เป็นปัญหาการจำแนกเลขฐานสอง 300 (ใช่ / ไม่ใช่) มีผู้เรียนลักษณนามไบนารีตัวแยกประเภทโอเพ่นซอร์สที่ใช้งานง่ายจำนวนมากและสิ่งนี้ช่วยให้คุณแลกเปลี่ยนเวลาสำหรับหน่วยความจำ

SVMs และการถดถอยแบบโลจิสติกส์อาจเป็นวิธีที่ได้รับความนิยมมากที่สุดในการจัดหมวดหมู่ข้อความ ทั้งสองอย่างสามารถจัดการขนาด 1000000 ได้อย่างง่ายดายเนื่องจากการใช้งานที่ทันสมัยใช้โครงสร้างข้อมูลที่กระจัดกระจายและรวมถึงการตั้งค่าการทำให้เป็นปกติ

ชุดการเรียนรู้ของเครื่องโอเพนซอร์สหลายชุดรวมถึงWEKAและKNIMEรวมถึง SVM และการถดถอยโลจิสติก การใช้งานแบบสแตนด์อโลนของ SVMs ได้แก่libSVMและSVMlight สำหรับการถดถอยโลจิสติกฉันจะเสียบBXRtrain และ BXRclassifyซึ่งฉันพัฒนาด้วย Madigan, Genkin และอื่น ๆ BXRclassify สามารถสร้างดัชนีในหน่วยความจำของโมเดลการถดถอยโลจิสติกนับพันและใช้พร้อมกัน

สำหรับการแปลงข้อความเป็นรูปแบบเวกเตอร์ของคุณลักษณะฉันมักจะเขียน Perl ขึ้นมาเล็กน้อยเพื่อทำสิ่งนั้นตั้งแต่เริ่มต้น :-) แต่ฉันคิดว่าชุดการเรียนรู้ของเครื่องที่ฉันกล่าวถึงรวมถึงโทเค็นและโค้ดเวกเตอร์ อีกเส้นทางหนึ่งคือการใช้ชุดเครื่องมือภาษาธรรมชาติมากขึ้นเช่นLingPipeถึงแม้ว่ามันอาจเกินความสามารถของคุณ

ตั้งแต่ Sklearn 0.13 มีแน่นอนการดำเนินการของHashingVectorizer

แก้ไข:นี่เป็นตัวอย่างที่สมบูรณ์ของแอปพลิเคชันดังกล่าวจากเอกสาร sklearn

โดยทั่วไปตัวอย่างนี้แสดงให้เห็นว่าคุณสามารถจัดประเภทข้อความในข้อมูลที่ไม่เหมาะสมในหน่วยความจำหลักของคอมพิวเตอร์ (แต่ใช้ดิสก์ / เครือข่าย / ... )