การจำแนกทางสถิติของข้อความ

ฉันเป็นโปรแกรมเมอร์ที่ไม่มีพื้นฐานด้านสถิติและตอนนี้ฉันกำลังมองหาวิธีการจำแนกประเภทที่แตกต่างกันสำหรับเอกสารจำนวนมากที่ฉันต้องการจัดหมวดหมู่เป็นหมวดหมู่ที่กำหนดไว้ล่วงหน้า ฉันได้อ่านเกี่ยวกับ kNN, SVM และ NN อย่างไรก็ตามฉันมีปัญหาในการเริ่มต้น คุณแนะนำแหล่งข้อมูลใด ฉันรู้ว่าแคลคูลัสตัวแปรเดียวและตัวแปรหลายตัวค่อนข้างดีดังนั้นคณิตศาสตร์ของฉันควรแข็งแรงพอ ฉันเองเป็นเจ้าของหนังสือของ Bishop ใน Neural Networks แต่มันก็พิสูจน์แล้วว่ามีความหนาแน่นเล็กน้อยในการแนะนำ

ฉันแนะนำหนังสือเหล่านี้ - พวกเขาได้รับการจัดอันดับสูงใน Amazon ด้วย:

"การขุดข้อความ" โดย Weiss

"การเขียนโปรแกรมประยุกต์ข้อความการขุด" โดย Konchady

สำหรับซอฟต์แวร์ฉันแนะนำ RapidMiner (พร้อมปลั๊กอินข้อความ) ฟรีและโอเพ่นซอร์ส

นี่คือ "กระบวนการขุดข้อความ" ของฉัน:

• รวบรวมเอกสาร (ปกติจะเป็นการรวบรวมข้อมูลจากเว็บ)
  • [ตัวอย่างถ้าใหญ่เกินไป]
  • การประทับเวลา
  • ตัดมาร์กอัป
• โทเค็น: แบ่งออกเป็นตัวอักษรคำ n-grams หรือหน้าต่างบานเลื่อน
• การกั้น (aka การย่อภาพ)
  • [รวมคำพ้องความหมาย]
  • ดูคำสรรพนาม porter หรือเกล็ดหิมะอัลกอริทึมและบทความมักจะทำนายไม่ดี
• ลบ stopwords
• vectorization คุณสมบัติ
  • เลขฐานสอง (ปรากฏหรือไม่)
  • การนับจำนวนคำ
  • ความถี่สัมพัทธ์: tf-idf
  • ได้รับข้อมูลไคสแควร์
  • [มีค่าต่ำสุดสำหรับการรวม]
• การถ่วง
  • คำน้ำหนักที่ด้านบนของเอกสารสูงกว่า?

จากนั้นคุณสามารถเริ่มงานการจำแนกพวกเขา kNN, SVM หรือ Naive Bayes ตามความเหมาะสม

คุณสามารถดูวิดีโอการทำเหมืองข้อความชุดของฉันได้ที่นี่

ข้อความเกริ่นนำที่ยอดเยี่ยมซึ่งครอบคลุมหัวข้อที่คุณกล่าวถึงคือการดึงข้อมูลเบื้องต้นซึ่งมีให้ทางออนไลน์ในรูปแบบข้อความเต็มฟรี

เครือข่ายนิวรัลอาจช้าลงสำหรับเอกสารจำนวนมาก (ซึ่งตอนนี้ค่อนข้างล้าสมัยแล้ว)
และคุณอาจตรวจสอบฟอเรสต์แบบสุ่มท่ามกลางผู้แยกประเภท มันค่อนข้างเร็วเครื่องชั่งที่ดีและไม่จำเป็นต้องปรับแต่งที่ซับซ้อน

หากคุณมาจากด้านการเขียนโปรแกรมตัวเลือกหนึ่งคือใช้Natural Language Toolkit (NLTK) สำหรับ Python มีหนังสือของ O'Reilly ที่สามารถใช้ได้อย่างอิสระซึ่งอาจจะเป็นการแนะนำที่หนาแน่นน้อยกว่าและมีประโยชน์มากกว่าสำหรับการสร้างตัวแยกประเภทสำหรับเอกสารท่ามกลางสิ่งอื่น ๆ

หากคุณสนใจที่จะเสริมกำลังทางด้านสถิติหนังสือของ Roger Levy ที่กำลังดำเนินอยู่ซึ่งเป็นแบบจำลองความน่าจะเป็นในการศึกษาภาษาอาจไม่เลวที่จะอ่าน มันเขียนขึ้นสำหรับนักเรียนที่สำเร็จการศึกษา cogsci / compsci เริ่มต้นด้วยเทคนิค NLP ทางสถิติ

ประการแรกฉันสามารถแนะนำหนังสือพื้นฐานการประมวลผลภาษาธรรมชาติเชิงสถิติโดย Manning และSchütze

วิธีที่ฉันจะใช้คือการแจกแจงความถี่คำและโมเดลภาษา ngram ครั้งแรกทำงานได้ดีมากเมื่อคุณต้องการจัดประเภทในหัวข้อและหัวข้อของคุณมีความเฉพาะเจาะจงและมีความเชี่ยวชาญ การสร้างแบบจำลอง Ngram เป็นวิธีที่ดีที่สุดเมื่อคุณต้องการจัดรูปแบบการเขียนเป็นต้น

Naive Bayes มักเป็นจุดเริ่มต้นสำหรับการจัดหมวดหมู่ข้อความนี่คือบทความจาก Dr. Dobbs เกี่ยวกับวิธีการนำไปใช้ บ่อยครั้งที่มันเป็นจุดสิ้นสุดสำหรับการจัดหมวดหมู่ข้อความเพราะมันมีประสิทธิภาพและขนานได้ดี SpamAssassin และ POPFile ก็ใช้มัน