การวิเคราะห์กลุ่มใน R: พิจารณาจำนวนที่เหมาะสมของกลุ่ม

การเป็นมือใหม่ใน R ฉันไม่แน่ใจว่าจะเลือกกลุ่มที่ดีที่สุดเพื่อทำการวิเคราะห์ค่า k ได้อย่างไร หลังจากพล็อตชุดย่อยของข้อมูลด้านล่างแล้วมีกี่กลุ่มที่เหมาะสม ฉันจะทำการวิเคราะห์ dendro ของคลัสเตอร์ได้อย่างไร

n = 1000
kk = 10    
x1 = runif(kk)
y1 = runif(kk)
z1 = runif(kk)    
x4 = sample(x1,length(x1))
y4 = sample(y1,length(y1)) 
randObs <- function()
{
  ix = sample( 1:length(x4), 1 )
  iy = sample( 1:length(y4), 1 )
  rx = rnorm( 1, x4[ix], runif(1)/8 )
  ry = rnorm( 1, y4[ix], runif(1)/8 )
  return( c(rx,ry) )
}  
x = c()
y = c()
for ( k in 1:n )
{
  rPair  =  randObs()
  x  =  c( x, rPair[1] )
  y  =  c( y, rPair[2] )
}
z <- rnorm(n)
d <- data.frame( x, y, z )

หากคำถามของคุณอยู่how can I determine how many clusters are appropriate for a kmeans analysis of my data?นี่คือตัวเลือกบางส่วน บทความวิกิพีเดียเกี่ยวกับการกำหนดตัวเลขของกลุ่มมีความคิดเห็นที่ดีของบางส่วนของวิธีการเหล่านี้

ก่อนอื่นข้อมูลที่สามารถทำซ้ำได้ (ข้อมูลใน Q นั้นไม่ชัดเจนสำหรับฉัน):

n = 100
g = 6 
set.seed(g)
d <- data.frame(x = unlist(lapply(1:g, function(i) rnorm(n/g, runif(1)*i^2))), 
                y = unlist(lapply(1:g, function(i) rnorm(n/g, runif(1)*i^2))))
plot(d)

หนึ่ง มองหาโค้งหรือศอกในผลรวมของพล็อตหินกรวดข้อผิดพลาด (SSE) ดูhttp://www.statmethods.net/advstats/cluster.html & http://www.mattpeeples.net/kmeans.htmlสำหรับข้อมูลเพิ่มเติม ตำแหน่งของข้อศอกในพล็อตที่เกิดขึ้นแสดงให้เห็นถึงจำนวนที่เหมาะสมของกลุ่มสำหรับ kmeans:

mydata <- d
wss <- (nrow(mydata)-1)*sum(apply(mydata,2,var))
  for (i in 2:15) wss[i] <- sum(kmeans(mydata,
                                       centers=i)$withinss)
plot(1:15, wss, type="b", xlab="Number of Clusters",
     ylab="Within groups sum of squares")

เราอาจสรุปได้ว่า 4 กลุ่มจะถูกระบุด้วยวิธีนี้:

สอง . คุณสามารถทำการแบ่งรอบ medoids เพื่อประเมินจำนวนกลุ่มโดยใช้pamkฟังก์ชันในแพ็คเกจ fpc

library(fpc)
pamk.best <- pamk(d)
cat("number of clusters estimated by optimum average silhouette width:", pamk.best$nc, "\n")
plot(pam(d, pamk.best$nc))

# we could also do:
library(fpc)
asw <- numeric(20)
for (k in 2:20)
  asw[[k]] <- pam(d, k) $ silinfo $ avg.width
k.best <- which.max(asw)
cat("silhouette-optimal number of clusters:", k.best, "\n")
# still 4

สาม . เกณฑ์ของ Calinsky: อีกวิธีในการวิเคราะห์ว่ามีกี่คลัสเตอร์ที่เหมาะสมกับข้อมูล ในกรณีนี้เราลอง 1 ถึง 10 กลุ่ม

require(vegan)
fit <- cascadeKM(scale(d, center = TRUE,  scale = TRUE), 1, 10, iter = 1000)
plot(fit, sortg = TRUE, grpmts.plot = TRUE)
calinski.best <- as.numeric(which.max(fit$results[2,]))
cat("Calinski criterion optimal number of clusters:", calinski.best, "\n")
# 5 clusters!

สี่ . กำหนดรูปแบบที่ดีที่สุดและจำนวนของกลุ่มตามเกณฑ์ข้อมูล Bayesian สำหรับความคาดหวัง - สูงสุดเริ่มต้นโดยการจัดกลุ่มแบบลำดับชั้นสำหรับรูปแบบผสมแบบเกาส์พารามิเตอร์

# See http://www.jstatsoft.org/v18/i06/paper
# http://www.stat.washington.edu/research/reports/2006/tr504.pdf
#
library(mclust)
# Run the function to see how many clusters
# it finds to be optimal, set it to search for
# at least 1 model and up 20.
d_clust <- Mclust(as.matrix(d), G=1:20)
m.best <- dim(d_clust$z)[2]
cat("model-based optimal number of clusters:", m.best, "\n")
# 4 clusters
plot(d_clust)

ห้า . การจัดกลุ่ม Affinity propagation (AP) ดูที่http://dx.doi.org/10.1126/science.1136800

library(apcluster)
d.apclus <- apcluster(negDistMat(r=2), d)
cat("affinity propogation optimal number of clusters:", length(d.apclus@clusters), "\n")
# 4
heatmap(d.apclus)
plot(d.apclus, d)

หก . สถิติช่องว่างสำหรับการประมาณจำนวนกลุ่ม ดูเพิ่มเติมรหัสบางอย่างสำหรับผลกราฟิกที่ดี ลอง 2-10 กลุ่มที่นี่:

library(cluster)
clusGap(d, kmeans, 10, B = 100, verbose = interactive())

Clustering k = 1,2,..., K.max (= 10): .. done
Bootstrapping, b = 1,2,..., B (= 100)  [one "." per sample]:
.................................................. 50 
.................................................. 100 
Clustering Gap statistic ["clusGap"].
B=100 simulated reference sets, k = 1..10
 --> Number of clusters (method 'firstSEmax', SE.factor=1): 4
          logW   E.logW        gap     SE.sim
 [1,] 5.991701 5.970454 -0.0212471 0.04388506
 [2,] 5.152666 5.367256  0.2145907 0.04057451
 [3,] 4.557779 5.069601  0.5118225 0.03215540
 [4,] 3.928959 4.880453  0.9514943 0.04630399
 [5,] 3.789319 4.766903  0.9775842 0.04826191
 [6,] 3.747539 4.670100  0.9225607 0.03898850
 [7,] 3.582373 4.590136  1.0077628 0.04892236
 [8,] 3.528791 4.509247  0.9804556 0.04701930
 [9,] 3.442481 4.433200  0.9907197 0.04935647
[10,] 3.445291 4.369232  0.9239414 0.05055486

นี่คือผลลัพธ์จากการใช้ Edwin Chen เกี่ยวกับสถิติช่องว่าง:

เจ็ด คุณอาจพบว่ามีประโยชน์ในการสำรวจข้อมูลของคุณด้วย clustergrams เพื่อให้เห็นภาพการกำหนดคลัสเตอร์ดูที่http://www.r-statistics.com/2010/06/clustergram-visualization-and-diagnostics-for-cluster-analysis-r- รหัส /รายละเอียดเพิ่มเติม

แปด แพคเกจ NbClustให้ 30 ดัชนีการกำหนดจำนวนของกลุ่มในชุดข้อมูล

library(NbClust)
nb <- NbClust(d, diss=NULL, distance = "euclidean",
        method = "kmeans", min.nc=2, max.nc=15, 
        index = "alllong", alphaBeale = 0.1)
hist(nb$Best.nc[1,], breaks = max(na.omit(nb$Best.nc[1,])))
# Looks like 3 is the most frequently determined number of clusters
# and curiously, four clusters is not in the output at all!

หากคำถามของคุณคือhow can I produce a dendrogram to visualize the results of my cluster analysisคุณควรเริ่มต้นด้วยสิ่งเหล่านี้: http://www.statmethods.net/advstats/cluster.html http://www.r-tutor.com/gpu-computing/clustering/hierarchical-cluster-analysis http://gastonsanchez.wordpress.com/2012/10/03/7-ways-to-plot-dendrograms-in-r/และดูวิธีการแปลกใหม่เพิ่มเติมได้ที่นี่: http://cran.r-project.org/ เว็บ / views / Cluster.html

นี่คือตัวอย่างบางส่วน:

d_dist <- dist(as.matrix(d))   # find distance matrix 
plot(hclust(d_dist))           # apply hirarchical clustering and plot

# a Bayesian clustering method, good for high-dimension data, more details:
# http://vahid.probstat.ca/paper/2012-bclust.pdf
install.packages("bclust")
library(bclust)
x <- as.matrix(d)
d.bclus <- bclust(x, transformed.par = c(0, -50, log(16), 0, 0, 0))
viplot(imp(d.bclus)$var); plot(d.bclus); ditplot(d.bclus)
dptplot(d.bclus, scale = 20, horizbar.plot = TRUE,varimp = imp(d.bclus)$var, horizbar.distance = 0, dendrogram.lwd = 2)
# I just include the dendrogram here

นอกจากนี้สำหรับข้อมูลมิติสูงคือpvclustไลบรารีที่คำนวณค่า p สำหรับการจัดกลุ่มแบบลำดับชั้นผ่าน resampling bootstrap แบบหลายส่วน นี่คือตัวอย่างจากเอกสาร (จะไม่ทำงานกับข้อมูลมิติต่ำเช่นในตัวอย่างของฉัน):

library(pvclust)
library(MASS)
data(Boston)
boston.pv <- pvclust(Boston)
plot(boston.pv)

มีสิ่งใดบ้างที่ช่วยได้บ้าง

เป็นการยากที่จะเพิ่มบางสิ่งเช่นคำตอบที่ซับซ้อน แม้ว่าฉันจะรู้สึกว่าเราควรพูดถึงidentifyที่นี่โดยเฉพาะอย่างยิ่งเนื่องจาก @Ben แสดงตัวอย่าง dendrogram จำนวนมาก

d_dist <- dist(as.matrix(d))   # find distance matrix 
plot(hclust(d_dist)) 
clusters <- identify(hclust(d_dist))

identifyให้คุณเลือกกลุ่มจาก dendrogram และเก็บตัวเลือกของคุณไว้ในรายการ กดปุ่ม Esc เพื่อออกจากโหมดโต้ตอบและกลับไปที่คอนโซล R โปรดทราบว่ารายการมีดัชนีไม่ใช่ชื่อแถว (ตรงข้ามกับcutree)

เพื่อกำหนด k-cluster ที่ดีที่สุดในวิธีการจัดกลุ่ม ฉันมักจะใช้Elbowวิธีการที่มาพร้อมกับการประมวลผลแบบขนานเพื่อหลีกเลี่ยงเวลาที่เกิดขึ้น รหัสนี้สามารถตัวอย่างเช่นนี้:

วิธีข้อศอก

elbow.k <- function(mydata){
dist.obj <- dist(mydata)
hclust.obj <- hclust(dist.obj)
css.obj <- css.hclust(dist.obj,hclust.obj)
elbow.obj <- elbow.batch(css.obj)
k <- elbow.obj$k
return(k)
}

วิ่งศอกขนาน

no_cores <- detectCores()
    cl<-makeCluster(no_cores)
    clusterEvalQ(cl, library(GMD))
    clusterExport(cl, list("data.clustering", "data.convert", "elbow.k", "clustering.kmeans"))
 start.time <- Sys.time()
 elbow.k.handle(data.clustering))
 k.clusters <- parSapply(cl, 1, function(x) elbow.k(data.clustering))
    end.time <- Sys.time()
    cat('Time to find k using Elbow method is',(end.time - start.time),'seconds with k value:', k.clusters)

มันใช้งานได้ดี

คำตอบที่ยอดเยี่ยมจากเบ็น อย่างไรก็ตามฉันประหลาดใจที่แนะนำให้ใช้วิธี Affinity Propagation (AP) เพียงเพื่อค้นหาจำนวนของคลัสเตอร์สำหรับวิธี k-mean ซึ่งโดยทั่วไป AP ทำหน้าที่จัดกลุ่มข้อมูลได้ดีขึ้น โปรดดูรายงานทางวิทยาศาสตร์ที่สนับสนุนวิธีการนี้ในสาขาวิทยาศาสตร์ที่นี่:

Frey, Brendan J. และ Delbert Dueck "การทำคลัสเตอร์โดยส่งข้อความระหว่างจุดข้อมูล" วิทยาศาสตร์ 315.5814 (2007): 972-976

ดังนั้นถ้าคุณไม่เอนเอียงไปทาง k-หมายความว่าฉันแนะนำให้ใช้ AP โดยตรงซึ่งจะทำการจัดกลุ่มข้อมูลโดยไม่ต้องรู้จำนวนกลุ่ม:

library(apcluster)
apclus = apcluster(negDistMat(r=2), data)
show(apclus)

หากระยะทางแบบยุคลิดเชิงลบไม่เหมาะสมคุณสามารถใช้มาตรการความคล้ายคลึงกันอื่นที่ให้ไว้ในแพ็คเกจเดียวกันได้ ตัวอย่างเช่นสำหรับความคล้ายคลึงกันตาม Spearman correlations นี่คือสิ่งที่คุณต้องการ:

sim = corSimMat(data, method="spearman")
apclus = apcluster(s=sim)

โปรดทราบว่าฟังก์ชั่นเหล่านั้นสำหรับความคล้ายคลึงกันในแพ็คเกจ AP นั้นมีให้เพื่อความเรียบง่าย ที่จริงแล้วฟังก์ชัน apcluster () ใน R จะยอมรับเมทริกซ์ของความสัมพันธ์ใด ๆ ก่อนหน้านี้ด้วย corSimMat () สามารถทำได้ด้วย:

sim = cor(data, method="spearman")

หรือ

sim = cor(t(data), method="spearman")

ขึ้นอยู่กับสิ่งที่คุณต้องการทำคลัสเตอร์ในเมทริกซ์ของคุณ (แถวหรือคอลัมน์)

วิธีการเหล่านี้ยอดเยี่ยม แต่เมื่อพยายามค้นหา k สำหรับชุดข้อมูลที่ใหญ่กว่ามากสิ่งเหล่านี้อาจช้ามากในอาร์

ทางออกที่ดีที่ฉันได้พบคือแพ็คเกจ "RWeka" ซึ่งมีการใช้งานอัลกอริทึม X-Means อย่างมีประสิทธิภาพ - K-Means เวอร์ชันขยายที่ปรับขนาดได้ดีขึ้นและจะกำหนดจำนวนที่เหมาะสมสำหรับคุณ

ก่อนอื่นคุณต้องแน่ใจว่าติดตั้ง Weka บนระบบของคุณและติดตั้ง XMeans ผ่านเครื่องมือจัดการแพ็คเกจของ Weka

library(RWeka)

# Print a list of available options for the X-Means algorithm
WOW("XMeans")

# Create a Weka_control object which will specify our parameters
weka_ctrl <- Weka_control(
    I = 1000,                          # max no. of overall iterations
    M = 1000,                          # max no. of iterations in the kMeans loop
    L = 20,                            # min no. of clusters
    H = 150,                           # max no. of clusters
    D = "weka.core.EuclideanDistance", # distance metric Euclidean
    C = 0.4,                           # cutoff factor ???
    S = 12                             # random number seed (for reproducibility)
)

# Run the algorithm on your data, d
x_means <- XMeans(d, control = weka_ctrl)

# Assign cluster IDs to original data set
d$xmeans.cluster <- x_means$class_ids

factoextraวิธีง่ายๆคือห้องสมุด คุณสามารถเปลี่ยนวิธีการจัดกลุ่มและวิธีการคำนวณจำนวนกลุ่มที่ดีที่สุด ตัวอย่างเช่นหากคุณต้องการทราบจำนวนคลัสเตอร์ที่ดีที่สุดสำหรับ k- หมายถึง:

ข้อมูล: mtcars

library(factoextra)   
fviz_nbclust(mtcars, kmeans, method = "wss") +
      geom_vline(xintercept = 3, linetype = 2)+
      labs(subtitle = "Elbow method")

ในที่สุดเราก็ได้กราฟดังนี้

คำตอบนั้นยอดเยี่ยม หากคุณต้องการให้โอกาสกับวิธีการจัดกลุ่มอื่นคุณสามารถใช้การจัดกลุ่มแบบลำดับชั้นและดูว่าข้อมูลแบ่งเป็นอย่างไร

> set.seed(2)
> x=matrix(rnorm(50*2), ncol=2)
> hc.complete = hclust(dist(x), method="complete")
> plot(hc.complete)

ขึ้นอยู่กับจำนวนคลาสที่คุณต้องการคุณสามารถตัด dendrogram เป็น;

> cutree(hc.complete,k = 2)
 [1] 1 1 1 2 1 1 1 1 1 1 1 1 1 2 1 2 1 1 1 1 1 2 1 1 1
[26] 2 1 1 1 1 1 1 1 1 1 1 2 2 1 1 1 2 1 1 1 1 1 1 1 2

หากคุณพิมพ์?cutreeคุณจะเห็นคำจำกัดความ cutree(hc.complete, k = 3)หากชุดข้อมูลของคุณมีสามชั้นมันจะเป็นเพียงแค่ เทียบเท่าสำหรับมีcutree(hc.complete,k = 2)cutree(hc.complete,h = 4.9)