การเรียนรู้ของเครื่องโดยใช้ Python

ฉันกำลังพิจารณาที่จะใช้ห้องสมุด Python เพื่อทำการทดลองการเรียนรู้ของเครื่อง จนถึงตอนนี้ฉันพึ่ง WEKA แล้ว แต่ก็ไม่พอใจในภาพรวมทั้งหมด นี่เป็นหลักเพราะฉันพบว่า WEKA ไม่ได้รับการสนับสนุนที่ดี (ตัวอย่างน้อยมากเอกสารน้อยมากและการสนับสนุนจากชุมชนน้อยกว่าที่ต้องการในประสบการณ์ของฉัน) และพบว่าตัวเองตกอยู่ในสถานการณ์ที่ลำบากโดยไม่มีความช่วยเหลือ อีกเหตุผลหนึ่งที่ฉันคิดว่าท่านี้เป็นเพราะฉันชอบ Python จริงๆ (ฉันใหม่กับ Python) และไม่ต้องการกลับไปเขียนโปรแกรมใน Java

ดังนั้นคำถามของฉันคืออะไรเพิ่มเติม

1. ครอบคลุม
2. ปรับขนาดได้ (คุณสมบัติ 100k, ตัวอย่าง 10k) และ
3. ห้องสมุดที่รองรับการทำ ML ใน Python นั้นดีหรือไม่

ฉันสนใจเป็นพิเศษในการจัดหมวดหมู่ข้อความและต้องการใช้ไลบรารีที่มีตัวแยกประเภทที่ดีวิธีการเลือกคุณสมบัติ (Information Gain, Chi-Sqaured ฯลฯ ) และความสามารถในการประมวลผลข้อความล่วงหน้า (การหยุดการลบคำหยุด , tf-idf เป็นต้น)

จากหัวข้ออีเมลที่ผ่านมาที่นี่และที่อื่น ๆ ฉันได้ดู PyML, scikits-learn และ Orange จนถึงตอนนี้ ประสบการณ์ของผู้คนเป็นอย่างไรเมื่อเทียบกับตัวชี้วัด 3 ข้อที่ฉันกล่าวถึง

ข้อเสนอแนะอื่น ๆ ?

เกี่ยวกับตัวเลือก scikit-Learn: คุณสมบัติ 100k (กระจัดกระจาย) และตัวอย่าง 10k มีขนาดเล็กพอที่จะใส่ในหน่วยความจำได้จึงสมบูรณ์แบบด้วย scikit-learn (ขนาดเดียวกับชุดข้อมูล 20 กลุ่มข่าว)

นี่คือบทช่วยสอนที่ฉันมอบให้ที่ PyCon 2011 โดยมีบทเกี่ยวกับการจำแนกข้อความด้วยแบบฝึกหัดและวิธีแก้ปัญหา:

• http://scikit-learn.github.com/scikit-learn-tutorial/ (เวอร์ชั่น HTML ออนไลน์)

• https://github.com/downloads/scikit-learn/scikit-learn-tutorial/scikit_learn_tutorial.pdf (เวอร์ชั่น PDF)

• https://github.com/scikit-learn/scikit-learn-tutorial (ซอร์สโค้ด + แบบฝึกหัด)

ฉันได้พูดคุยในหัวข้อซึ่งเป็นเวอร์ชันอัปเดตของรุ่นที่ฉันให้ที่ PyCon FR นี่คือสไลด์ (และวิดีโอที่ฝังอยู่ในความคิดเห็น):

• http://www.slideshare.net/ogrisel/statistical-machine-learning-for-text-classification-with-scikitlearn-and-nltk

สำหรับการเลือกคุณสมบัติให้ดูที่คำตอบนี้ในโควราที่ตัวอย่างทั้งหมดจะขึ้นอยู่กับเอกสาร scikit เรียนรู้:

• http://www.quora.com/What-are-some-feature-selection-methods/answer/Olivier-Grisel

เรายังไม่มีการแยกฟีเจอร์การจัดกลุ่มใน scikit เรียนรู้ ใช้ nltk และ nltk-trainer เพื่อทำสิ่งนี้ในเวลาเฉลี่ย:

• https://github.com/japerk/nltk-trainer

ในแง่ของการทำงานกับข้อความลองดูที่ NLTK ได้รับการสนับสนุนและจัดทำเอกสารเป็นอย่างดี (มีแม้กระทั่งหนังสือออนไลน์หรือในกระดาษหากคุณต้องการ) และจะทำการประมวลผลล่วงหน้าตามที่คุณต้องการ คุณอาจพบว่า Gensim มีประโยชน์เช่นกัน ความสำคัญอยู่ที่การสร้างแบบจำลองเวกเตอร์สเปซและมีการใช้งานที่ปรับขนาดได้ของ LSI และ LDA (pLSI เช่นกันฉันคิดว่า) ถ้าสิ่งเหล่านั้นเป็นที่สนใจ มันจะทำการเลือกโดย tf-idf - ฉันไม่แน่ใจว่า NLTK ทำเช่นนั้น ฉันใช้ชิ้นส่วนเหล่านี้กับ corpora ที่ ~ 50k โดยไม่ลำบากมาก

NLTK: http://www.nltk.org/

Gensim: http://nlp.fi.muni.cz/projekty/gensim/

น่าเสียดายที่คำถามหลักของคุณฉันไม่คุ้นเคยกับห้องสมุดเฉพาะที่คุณอ้างอิง (ถึงแม้ว่าฉันเคยใช้บิตของการเรียนรู้มาก่อน)

Python มีไลบรารี่ ML หลากหลายรูปแบบ อย่างไรก็ตามฉันมักจะรู้สึกว่ามันเป็นประโยชน์สำหรับนักวิจัยมล. มากกว่าสำหรับผู้ปฏิบัติงานมล.

Numpy / SciPyและmatplotlibเป็นเครื่องมือที่ยอดเยี่ยมสำหรับงานวิทยาศาสตร์กับ Python หากคุณไม่กลัวที่จะแฮกในสูตรคณิตศาสตร์ส่วนใหญ่ด้วยตนเองคุณจะไม่ผิดหวัง นอกจากนี้มันเป็นเรื่องง่ายมากที่จะใช้ GPU ที่มีcudamatหรือคำพังเพย - การทดลองที่ใช้เวลาหลายวันก่อนจะเสร็จสมบูรณ์ในไม่กี่ชั่วโมงหรือแม้กระทั่งนาที

เด็กล่าสุดในบล็อกอาจเป็นTheano มันเป็นภาษาสัญลักษณ์สำหรับการแสดงออกทางคณิตศาสตร์ที่มาพร้อมกับ opmitimzations, การใช้งาน GPU และการสร้างความแตกต่างโดยอัตโนมัติซึ่งมีคุณสมบัติที่ยอดเยี่ยมสำหรับวิธีการไล่ระดับสี

นอกจากนี้เท่าที่ฉันรู้ว่า NLTK ที่กล่าวถึงโดย JMS นั้นเป็นห้องสมุดภาษาธรรมชาติอันดับหนึ่งที่เปิดอยู่

Python เป็นเครื่องมือที่เหมาะสมสำหรับการเรียนรู้ของเครื่อง

ผมขอแนะนำส้ม

ครอบคลุม

ใช่

ปรับขนาดได้ (คุณสมบัติ 100k, ตัวอย่าง 10k)

ใช่

ห้องสมุดที่รองรับการทำ ML ใน Python นั้นดีหรือไม่

ใช่

ไลบรารี่ที่มีตัวแยกประเภทที่ดีวิธีการเลือกคุณสมบัติ (Information Gain, Chi-Sqaured เป็นต้น),

ทั้งหมดนี้ทำงานนอกกรอบในสีส้ม

และความสามารถในการประมวลผลข้อความล่วงหน้า (การกั้นการลบคำหยุด tf-idf ฯลฯ )

ฉันไม่เคยใช้ Orange ในการประมวลผลข้อความ

ไม่แน่ใจว่าสิ่งนี้มีประโยชน์เป็นพิเศษหรือไม่ แต่มีคำแนะนำสำหรับโปรแกรมเมอร์ในการเรียนรู้สถิติใน Python พร้อมใช้งานออนไลน์ http://www.greenteapress.com/thinkstats/

ดูเหมือนว่าจะค่อนข้างดีจากการสแกนสั้น ๆ ของฉันและดูเหมือนว่าจะพูดถึงวิธีการเรียนรู้ของเครื่องบางอย่างดังนั้นมันอาจเป็นจุดเริ่มต้นที่ดี

ตรวจสอบlibsvm

SHOGUN ( 将軍 ) เป็นกล่องเครื่องมือการเรียนรู้เครื่องขนาดใหญ่ซึ่งดูเหมือนว่าจะมีแนวโน้ม

โอเพ่นซอร์ส python ml library PySpark MLlib https://spark.apache.org/docs/0.9.0/mllib-guide.html

ห้องสมุด ml ที่เป็นกรรมสิทธิ์พร้อมทดลองใช้ฟรี GraphLab สร้างhttps://dato.com/products/create/

ตามที่ @ogrisel ถูกเน้น scikit-learn เป็นหนึ่งในแพ็คเกจการเรียนรู้ของเครื่องที่ดีที่สุดสำหรับ Python เหมาะสำหรับชุดข้อมูลที่มีขนาดเล็กเพียง 100k (กระจัดกระจาย) และตัวอย่าง 10k และแม้แต่ชุดข้อมูลที่ใหญ่กว่าเล็กน้อยซึ่งอาจมีมากกว่า 200k แถว โดยทั่วไปชุดข้อมูลใด ๆ ที่เหมาะกับหน่วยความจำ

แต่ถ้าคุณกำลังมองหากรอบการเรียนรู้ Python Machine Learning ที่ปรับขนาดได้อย่างมากฉันขอแนะนำ Pyspark MLlib เนื่องจากชุดข้อมูลในปัจจุบันสามารถเติบโตได้อย่างมากชี้แจง (ให้ข้อมูลขนาดใหญ่และคลื่นการเรียนรู้ลึก) คุณมักจะต้องมีแพลตฟอร์มที่สามารถปรับขนาดได้และทำงานได้อย่างรวดเร็วไม่เพียง แต่ในขั้นตอนการฝึกอบรมแบบจำลองเท่านั้น การเลือกคุณสมบัติ) ลองดูทั้งสามตัวชี้วัดสำหรับแพลตฟอร์ม Spark Mllib ที่คุณสนใจ:

1. ความสามารถในการปรับขนาด: ถ้าชุดข้อมูลของคุณสามารถพอดีกับหน่วยความจำ scikit-learn ควรเป็นทางเลือกของคุณ ถ้ามันใหญ่เกินไปที่จะใส่ในหน่วยความจำ Spark จะเป็นหนทางไป สิ่งสำคัญที่ควรทราบที่นี่คือ Spark ทำงานได้เร็วขึ้นเฉพาะในการตั้งค่าแบบกระจาย

2. ความครอบคลุม: Sklearn มีความสมบูรณ์ยิ่งขึ้นในแง่ของการใช้งานที่ดีของอัลกอริทึมที่ใช้กันทั่วไปจำนวนมากเมื่อเทียบกับ spark mllib การสนับสนุนสำหรับการจัดการข้อมูลและการแปลงข้อมูลก็มีมากขึ้นใน Scikit-Learn Spark Mllib มีโมดูลการแปลงข้อมูลที่เพียงพอซึ่งใช้เวลาส่วนใหญ่ในการหลอกลวง ดังนั้นในกรณีที่คุณจบลงด้วย spark mllib สำหรับข้อกังวลเรื่องความสามารถในการปรับขนาดได้คุณจะยังสามารถทำงานให้สำเร็จได้ มันมีการสนับสนุนทั้งหมดสำหรับการวิเคราะห์ความสัมพันธ์, การแยกคุณสมบัติ (TF-idf, word2vec, CountVectorizer), การแปลงคุณสมบัติ (Tokenizer, StopWordsRemover, nn-gram, Binarizer, PCA ฯลฯ ) สำหรับรายละเอียดดูลิงค์ด้านล่าง:

การแยกการแปลงและการเลือกฟีเจอร์ใน Spark mllib

3. การจัดประเภท: Spark mllib มีการใช้อัลกอริทึมที่สำคัญทั้งหมดที่คุณจะใช้เป็นส่วนใหญ่ (รวมถึง algos ที่ทำงานได้ดีสำหรับการจำแนกข้อความ) สำหรับภาพรวมโดยละเอียดของอัลกอริธึมที่มีอยู่ผ่าน mllib ดูลิงค์ด้านล่าง

การจำแนกและการถดถอยของมัลลิบ

โบนัส: Apache Spark มีการรองรับ Python, R, Java และ Scala ดังนั้นหากวันพรุ่งนี้คุณตัดสินใจที่จะทดสอบด้วยภาษาอื่น (เป็นทางเลือกส่วนตัวหรือเพื่อเหตุผลทางอาชีพ) คุณจะไม่ต้องเรียนรู้กรอบใหม่ทั้งหมด

ฉันไม่รู้ว่าคุณยังคงมองหาคำแนะนำอยู่หรือไม่ (คุณทำคำถามนี้เมื่อ 5 เดือนที่แล้ว ... ) ฉันเพิ่งเริ่มต้นหนังสือเล่มนี้และจนถึงตอนนี้ก็ค่อนข้างดี:

https://www.amazon.com.mx/dp/1491962291/ref=cm_cr_ryp_prd_ttl_sol_3

ผู้เขียนแสดงรหัสตัวอย่างและอธิบายทฤษฎีและคณิตศาสตร์บางอย่าง "เบื้องหลัง" ของอัลกอริทึม ML ฉันพบคำแนะนำนี้มาก หวังว่านี่อาจจะเหมือนกันสำหรับคุณ