การทำคลัสเตอร์เมทริกซ์ไบนารี

ฉันมีเมทริกซ์กึ่งกึ่งกลางของคุณสมบัติไบนารีของมิติ 250k x 100 แต่ละแถวเป็นผู้ใช้และคอลัมน์เป็น "แท็ก" แบบไบนารีของพฤติกรรมผู้ใช้บางอย่างเช่น "Likes_cats"

user  1   2   3   4   5  ...
-------------------------
A     1   0   1   0   1
B     0   1   0   1   0
C     1   0   0   1   0

ฉันต้องการให้ผู้ใช้พอดีกับ 5-10 คลัสเตอร์และวิเคราะห์การโหลดเพื่อดูว่าฉันสามารถตีความกลุ่มพฤติกรรมของผู้ใช้ได้หรือไม่ ดูเหมือนจะมีวิธีการค่อนข้างน้อยในการปรับคลัสเตอร์ให้เหมาะสมกับข้อมูลไบนารี - เราคิดว่าอะไรอาจเป็นกลยุทธ์ที่ดีที่สุดสำหรับข้อมูลนี้

• PCA

• การสร้างเมทริกซ์ความคล้ายคลึงกันของ Jaccardติดตั้งคลัสเตอร์แบบลำดับขั้นจากนั้นใช้ "โหนด" ด้านบน

• K-มีเดีย

• K-medoids

• พร็อกซิมัส ?

• แอกเนส

จนถึงตอนนี้ฉันประสบความสำเร็จในการใช้การจัดกลุ่มแบบลำดับชั้น แต่ฉันไม่แน่ใจว่าเป็นวิธีที่ดีที่สุดที่จะไป ..

tags = read.csv("~/tags.csv")
d = dist(tags, method = "binary")
hc = hclust(d, method="ward")
plot(hc)
cluster.means = aggregate(tags,by=list(cutree(hc, k = 6)), mean)

การวิเคราะห์ระดับแฝงเป็นวิธีหนึ่งที่เป็นไปได้

รับการแจกแจงความน่าจะเป็นดังต่อไปนี้โดยที่ A, B และ C สามารถใช้กับค่า 1 หรือ 0

$P(A_i, B_j, C_k)$

หากสิ่งเหล่านี้เป็นอิสระจากกันเราก็คาดหวังที่จะเห็น:

$P(A_i, B_j, C_k)=P(A_i)P(B_j)P(C_k)$

เมื่อความเป็นไปได้นี้ถูกกำจัดไปแล้วเราอาจตั้งสมมติฐานว่าการพึ่งพาใด ๆ ที่สังเกตได้นั้นเกิดจากการจัดกลุ่มค่าภายในกลุ่มย่อยที่ไม่ได้สังเกตเห็น เพื่อทดสอบแนวคิดนี้เราสามารถประเมินโมเดลต่อไปนี้:

$P(A_i, B_j, C_k)=P(X_n)P(A_i|X_n)P(B_j|X_n)P(C_k|X_n)$

$X$$n$$n$

$5 \le n \le 10$และ "เลือก" แบบจำลองที่ดีที่สุดตามทฤษฎีความน่าจะเป็นแบบดัชนีและคุณภาพการจัดหมวดหมู่ (ซึ่งสามารถประเมินได้โดยการคำนวณความน่าจะเป็นด้านหลังของสมาชิกชั้นเรียน )

อย่างไรก็ตามการพยายามระบุรูปแบบที่มีความหมายในตัวแปร 100 ตัวกับกลุ่ม 5-10 อาจจะต้องลดรายชื่อนั้นลงก่อนที่จะประเมินโมเดลซึ่งเป็นหัวข้อที่ยุ่งยากพอสมควรในสิทธิของตนเอง ( REF )

ที่จริงแล้วการขุดชุดไอเท็มบ่อยครั้งอาจเป็นทางเลือกที่ดีกว่าการทำคลัสเตอร์กับข้อมูลดังกล่าว

ชุดอัลกอริทึมที่เน้นเวกเตอร์ตามปกติไม่สมเหตุสมผล ยกตัวอย่างเช่นค่า K จะสร้างค่าเฉลี่ยที่ไม่ใช่เลขฐานสองอีกต่อไป