การจัดกลุ่มรายการสตริง (คำ) แบบยาวเป็นกลุ่มที่คล้ายคลึงกัน

ฉันมีปัญหาต่อไปนี้: ฉันมีรายการคำที่ยาวมากอาจเป็นชื่อนามสกุล ฯลฯ ฉันต้องจัดกลุ่มรายการคำศัพท์นี้เช่นคำที่คล้ายกันเช่นคำที่มีการแก้ไขที่คล้ายกัน (Levenshtein) ระยะทางปรากฏใน คลัสเตอร์เดียวกัน ตัวอย่างเช่น "อัลกอริทึม" และ "alogrithm" ควรมีโอกาสสูงที่จะปรากฏในคลัสเตอร์เดียวกัน

ฉันตระหนักดีถึงวิธีการจัดกลุ่มแบบไม่ได้รับการสนับสนุนแบบคลาสสิกเช่นการจัดกลุ่ม k-mean, การจัดกลุ่ม EM ในวรรณคดีการจดจำรูปแบบ ปัญหานี่คือวิธีการเหล่านี้ทำงานในจุดที่อยู่ในพื้นที่เวกเตอร์ ฉันมีคำพูดในมืออยู่ที่นี่ ดูเหมือนว่าคำถามของวิธีการแสดงสตริงในพื้นที่เวกเตอร์ที่เป็นตัวเลขและการคำนวณ "หมายถึง" ของกลุ่มสตริงนั้นยังไม่ได้รับคำตอบที่เพียงพอตามความพยายามในการสำรวจของฉันจนถึงตอนนี้ วิธีการที่ไร้เดียงสาในการโจมตีปัญหานี้คือการรวมกลุ่ม k-Means กับระยะทาง Levenshtein แต่คำถามยังคงเป็น "วิธีการแสดง" หมายถึง "ของสตริงหรือไม่? มีน้ำหนักที่เรียกว่าน้ำหนัก TF-IDF แต่ดูเหมือนว่าส่วนใหญ่เกี่ยวข้องกับพื้นที่ของการจัดกลุ่ม "เอกสารข้อความ" ไม่ใช่สำหรับการจัดกลุ่มคำเดียว http://pike.psu.edu/cleandb06/papers/CameraReady_120.pdf

การค้นหาของฉันในพื้นที่นี้ยังดำเนินต่อไป แต่ฉันต้องการได้แนวคิดจากที่นี่เช่นกัน คุณจะแนะนำอะไรในกรณีนี้มีใครรู้วิธีการใด ๆ สำหรับปัญหาประเภทนี้บ้าง

seconding @ mican ของข้อเสนอแนะสำหรับการขยายพันธุ์เป็นพี่น้องกัน

จากบทความ: L Frey, Brendan J. และ Delbert Dueck "การทำคลัสเตอร์โดยส่งข้อความระหว่างจุดข้อมูล" วิทยาศาสตร์ 315.5814 (2007): 972-976 .

มันสุดยอดใช้งานง่ายผ่านหลายแพ็คเกจ มันทำงานกับทุกสิ่งที่คุณสามารถกำหนดความคล้ายคลึงกันแบบหนึ่ง ซึ่งคุณจะได้รับโดยการคูณระยะทาง Levenshtein ด้วย -1

ฉันได้รวมตัวอย่างรวดเร็วโดยใช้ย่อหน้าแรกของคำถามของคุณเป็นข้อมูลป้อนเข้า ใน Python 3:

import numpy as np
import sklearn.cluster
import distance

words = "YOUR WORDS HERE".split(" ") #Replace this line
words = np.asarray(words) #So that indexing with a list will work
lev_similarity = -1*np.array([[distance.levenshtein(w1,w2) for w1 in words] for w2 in words])

affprop = sklearn.cluster.AffinityPropagation(affinity="precomputed", damping=0.5)
affprop.fit(lev_similarity)
for cluster_id in np.unique(affprop.labels_):
    exemplar = words[affprop.cluster_centers_indices_[cluster_id]]
    cluster = np.unique(words[np.nonzero(affprop.labels_==cluster_id)])
    cluster_str = ", ".join(cluster)
    print(" - *%s:* %s" % (exemplar, cluster_str))

เอาต์พุตคือ (ตัวอย่างในตัวเอียงทางด้านซ้ายของคลัสเตอร์ที่เป็นแบบอย่าง):

• มี:โอกาส, แก้ไข, มือ, มี, สูง
• ต่อไปนี้ต่อไป
• ปัญหา:ปัญหา
• I: I, a, at, etc, in, list, of
• อาจจะเป็น:อาจจะเป็น
• คลัสเตอร์:คลัสเตอร์
• คำ:สำหรับ, และ, สำหรับ, ยาว, ต้องการ, ควร, มาก, คำ, คำ
• คล้ายกัน:คล้ายกัน
• Levenshtein: Levenshtein
• ระยะทาง:ระยะทาง
• :นั่น, สิ่งนี้, กับ, ด้วย
• เดียวกัน:ตัวอย่างรายการชื่อชื่อเดียวกันเช่นเดียวกัน
• อัลกอริทึม:อัลกอริทึม, alogrithm
• ปรากฏ:ปรากฏขึ้นปรากฏขึ้น

เรียกใช้บนรายการ50 ชื่อแรกแบบสุ่ม :

• ไดแอน: Deana, Diane, Dionne, Gerald, Irina, Lisette, Minna, Nicki, Ricki
• Jani: Clair, Jani, Jason, Jc, Kimi, Lang, Marcus, Maxima, Randi, Raul
• Verline: Destiny, Kellye, Marylin, Mercedes, Sterling, Verline
• Glenn: Elenor, Glenn, Gwenda
• Armandina: Armandina, Augustina
• Shiela: Ahmed, Estella, Milissa, Shiela, Thresa, Wynell
• Laureen:ฤดูใบไม้ร่วง, Haydee, Laureen, Lauren
• Alberto: Albertha, Alberto, Robert
• ตำนาน: Ammie, Doreen, Eura, Josef, ตำนาน, Lori, Porter

ดูดีมากสำหรับฉัน (สนุกมาก)

ใช้อัลกอริทึมการจัดกลุ่มกราฟเช่นการทำคลัสเตอร์ Louvain, Clustering ย่านการค้นหาที่ จำกัด (RNSC), Clustering Affinity Propgation (APC) หรืออัลกอริทึม Markov Clustering (MCL)

คุณสามารถลองแบบจำลองปริภูมิเวกเตอร์ด้วย n-g ของคำเป็นรายการปริภูมิเวกเตอร์ ฉันคิดว่าคุณจะต้องใช้การวัดเช่นความคล้ายคลึงโคไซน์ในกรณีนี้แทนที่จะแก้ไขระยะทาง