Set Similarity - คำนวณดัชนี Jaccard โดยไม่มีความซับซ้อนเป็นกำลังสอง

ฉันมีกลุ่มของชุด n ชุดซึ่งฉันต้องการคำนวณค่าของ "ไม่เหมือนใคร" หรือ "ความคล้ายคลึงกัน" ฉันตัดสินดัชนี Jaccardเป็นตัวชี้วัดที่เหมาะสม น่าเสียดายที่ดัชนี Jaccard ทำงานได้ครั้งละสองชุดเท่านั้น ในการคำนวณความคล้ายคลึงกันระหว่างชุดทั้งหมดชุดจะต้องมีการคำนวณตามลำดับ Jaccard$n$$n^2$

(ถ้าช่วยได้มักจะอยู่ระหว่าง 10 ถึง 10,000 และแต่ละชุดมีองค์ประกอบโดยเฉลี่ย 500 ชุดในท้ายที่สุดฉันไม่สนใจว่าชุดสองชุดใดที่คล้ายกัน - แต่ฉันสนใจสิ่งที่มีความคล้ายคลึงกันภายใน ของกลุ่มทั้งหมดของชุดคือ (กล่าวอีกนัยหนึ่งคือค่าเฉลี่ย (หรืออย่างน้อยก็ประมาณค่าความถูกต้องที่เพียงพอเพียงพอของดัชนี Jaccard ทั้งหมดในกลุ่ม))$n$

สองคำถาม:

1. มีวิธีที่จะใช้ดัชนี Jaccard โดยไม่มีความซับซ้อนหรือไม่?$n^2$
2. มีวิธีที่ดีกว่าในการคำนวณความเหมือน / ไม่เหมือนกันของชุดในกลุ่มของชุดกว่าวิธีที่ฉันแนะนำข้างต้นหรือไม่

ตัวเลือกที่จะใช้ Scheme ลายเซ็นของ [1] กรองตามขนาด : รูปแบบที่ใช้ข้อมูลขนาดเพื่อลดจำนวนคู่ชุดที่ต้องพิจารณา

พวกเขายังทำการทดสอบด้วยแบบถ่วงน้ำหนัก ที่ซึ่งน้ำหนักขึ้นกับ IDF

[1] Arasu, Arvind, Venkatesh Ganti และ Raghav Kaushik “ การเข้าร่วมชุดที่มีความคล้ายคลึงกันอย่างมีประสิทธิภาพ” ในการประชุมนานาชาติครั้งที่ 32 เรื่องฐานข้อมูลขนาดใหญ่มาก, 918–929. VLDB '06 VLDB เอ็นดาวเม้นท์, 2549

อีกทางเลือกหนึ่งคือใช้การเชื่อมโยง wikiความไวในเครื่อง ผมเคยเห็นมันถูกนำมาใช้ในการตรวจสอบความคล้ายคลึงกันกับชุมชนโดยวูและ Zou ( วิธีการตรวจสอบชุมชนที่เพิ่มขึ้นสำหรับระบบการติดแท็กทางสังคมโดยใช้ท้องที่ที่มีความอ่อนไหวคร่ำเครียด , โครงข่ายประสาท 58: 14-28; ACM DL ) ซึ่งเป็นพื้นการตรวจสอบความคล้ายคลึงกันระหว่างจำนวนเต็มหรือ ชุดสตริง