เหตุใด k- หมายถึงไม่ให้ขั้นต่ำทั่วโลก

ฉันอ่านว่าอัลกอริทึม k-mean จะแปลงเป็นค่าต่ำสุดในท้องถิ่นเท่านั้นและไม่ใช่ระดับต่ำสุดทั่วโลก ทำไมนี้ ฉันสามารถคิดอย่างมีเหตุผลว่าการกำหนดค่าเริ่มต้นอาจส่งผลกระทบต่อการจัดกลุ่มสุดท้ายและมีความเป็นไปได้ของการจัดกลุ่มย่อยที่เหมาะสม แต่ฉันไม่พบสิ่งใดที่จะพิสูจน์ได้ในเชิงคณิตศาสตร์

นอกจากนี้เหตุใด k-หมายถึงกระบวนการวนซ้ำ เราไม่สามารถแยกความแตกต่างของฟังก์ชั่นวัตถุประสงค์เพียงเล็กน้อยกับเซนทรอยด์, แบ่งมันให้เป็นศูนย์เพื่อค้นหาเซนทรอยด์ที่ลดฟังก์ชั่นนี้ได้หรือไม่? เหตุใดเราต้องใช้การไล่ระดับสีเพื่อเข้าถึงขั้นตอนทีละน้อย?

คุณสามารถดู k-mean เป็นอัลกอริทึม EM รุ่นพิเศษซึ่งอาจช่วยได้เล็กน้อย

สมมติว่าคุณกำลังประเมินการแจกแจงปกติหลายตัวแปรสำหรับแต่ละคลัสเตอร์ที่มีเมทริกซ์ความแปรปรวนร่วมคงที่กับเมทริกซ์เอกลักษณ์สำหรับทุกคน แต่ตัวแปรหมายถึงโดยที่iคือดัชนีของคลัสเตอร์ เห็นได้ชัดว่าหากพารามิเตอร์{ μ i }เป็นที่รู้จักกันคุณสามารถกำหนดแต่ละจุดpกลุ่มความน่าจะเป็นสูงสุด (กล่าวคือμ iซึ่งระยะทางถึงpน้อยที่สุด) อัลกอริทึม EM สำหรับปัญหานี้เกือบเทียบเท่ากับ k-mean$\mu_i$$i$$\{\mu_i\}$$p$$\mu_i$$p$

หากคุณรู้ว่าจุดใดเป็นของคลัสเตอร์ใดคุณสามารถประมาณดีที่สุดได้ วิธีการแก้ปัญหาแบบปิดนี้ (ซึ่งพบที่ดีที่สุดทั่วโลก) โดยทั่วไปบอกว่าจะหารูปแบบความน่าจะเป็นสูงสุด{ μฉัน }คุณรวมมากกว่าที่ได้รับมอบหมายเป็นไปได้ทุกจุดกับกลุ่ม แม้จะมีเพียงสามสิบคะแนนและสองกลุ่มก็มีการมอบหมายที่เป็นไปได้ประมาณหนึ่งพันล้านค่านี้เป็นไปไม่ได้ที่จะคำนวณ$\mu_i$$\{\hat\mu_i\}$

แต่เราสามารถเดาได้ว่าพารามิเตอร์ที่ซ่อนอยู่ (หรือพารามิเตอร์โมเดล) และทำซ้ำสองขั้นตอน (โดยมีความเป็นไปได้ที่จะสิ้นสุดในค่าสูงสุดในท้องถิ่น) หากคุณอนุญาตให้แต่ละคลัสเตอร์มีความรับผิดชอบบางส่วนสำหรับจุดหนึ่งคุณจะได้รับ EM หากคุณเพียงกำหนดกลุ่มที่เหมาะสมคุณจะได้รับ k-mean

ดังนั้นบทสรุปผู้บริหาร: ในแง่ความน่าจะเป็นมีวิธีแก้ปัญหาระดับโลก แต่คุณต้องทำซ้ำในทุกการจัดกลุ่มที่เป็นไปได้ เห็นได้ชัดว่าถ้าคุณมีฟังก์ชั่นวัตถุประสงค์เดียวกันก็เป็นจริง คุณสามารถวนซ้ำโซลูชันทั้งหมดและเพิ่มฟังก์ชันวัตถุประสงค์ให้มากที่สุด แต่จำนวนการทำซ้ำนั้นจะเพิ่มขึ้นเป็นเท่าตัวในขนาดข้อมูลของคุณ

นี่คือปัญหาที่คุณต้องการแก้ไข:

$$\begin{align} &\min_{x} \sum_{i=1}^n \sum_{j=1}^k x_{ij} || p_i - c_j||^2\\ &\text{subject to:} \\ &\sum_{j=1}^k x_{ij} = 1 \quad \forall i\\ & c_j\textit{ is the centroid of cluster j}\\ &x_{ij} \in \{0,1\} \quad \forall i, j \\ \end{align}$$

ตัวแปรไบนารีระบุว่ามีการกำหนดpoint iให้กับคลัสเตอร์jหรือไม่ สัญลักษณ์p iและc jแสดงถึงพิกัดของจุดที่iและ centroid ของกลุ่มj th ตามลำดับ ตั้งอยู่ในR dโดยที่dคือมิติข้อมูลของจุดข้อมูล$x_{ij}$$i$$j$$p_i$$c_j$$i$$j$$\mathbb{R}^d$$d$

ข้อ จำกัด กลุ่มแรกบอกว่าควรกำหนดแต่ละจุดให้กับหนึ่งคลัสเตอร์ กลุ่มที่สองของข้อ จำกัด (ซึ่งเรายังไม่ได้กำหนดทางคณิตศาสตร์) บอกว่าพิกัดของ centroid ของกลุ่มจริง ๆ แล้วขึ้นอยู่กับค่าของตัวแปรx i j ตัวอย่างเช่นเราสามารถแสดงข้อ จำกัด นี้ได้ดังนี้: c j = ∑ ฉัน x ฉันj p ฉัน$j$$x_{ij}$

$$\begin{equation} c_j = \frac{\sum_{i} x_{ij} p_{ij}}{\sum_{i} x_{ij}} \end{equation}$$

อย่างไรก็ตามแทนที่จะจัดการกับข้อ จำกัด ที่ไม่ใช่เชิงเส้นในK-หมายถึงเรา (โดยประมาณ) แก้ปัญหาที่แตกต่างซึ่งมีทางออกที่ดีที่สุดเช่นเดียวกับปัญหาดั้งเดิมของเรา:

$$\begin{align} &\min_{x} \sum_{i=1}^n \sum_{j=1}^k x_{ij} || p_i - y_j||^2\\ &\text{subject to:} \\ &\sum_{j=1}^k x_{ij} = 1 \quad \forall i\\ &x_{ij} \in \{0,1\} \quad \forall i, j \\ &y_j \in \mathbb{R}^d \quad \forall j \end{align}$$

Instead of minimizing the distance to centroids, we minimize the distance to just any set of points that will give a better solution. It turns out that these points are exactly the centroids.

Now to solve this problem, we iterate in steps 2-3 of this algorithm, until convergence:

1. Assign some values to $y_j$ variables
2. Fix the values for $y_{j}$ variables and find the optimal values for $x_{ij}$ variables.
3. Fix the values of $x_{ij}$ variables, and find the optimal values for $y_{j}$ variables.

In each step the objective function improves (or remains the same when the algorithm converges), since the solution found in the previous step is in the search space of current step. However, since we are fixing some of the variables in each step, this is a local search procedure which does not guarantee optimality.

Luckily, the optimization problems in steps 2 and 3 can be solved in closed form. If we know $x_{ij}$ (i.e. if we know to which cluster each point is assigned), the best values for $y_j$ variables are the centroids of clusters. If we know values for $y_j$, obviously best choice for $x_{ij}$ variables is to assign each point to the closest $y_j$.

A simple example might help..

Let us define the set of points to be clustered as A = {1,2,3,4}.

Say you're trying to find 2 appropriate clusters for A (2-means). There are (at least) two different settings which satisfy the stationary condition of k-means.

Setting 1:

Center1 = 1, Cluster1 = {1}
Center2 = 3, Cluster1 = {2,3,4}

Here the objective is 2. As a matter of fact this is a saddle point (try center1 = 1 + epsilon and center1 = 1 - epsilon)

Setting 1:

Center1 = 1.5, Cluster1 = {1,2}
Center2 = 3.5, Cluster1 = {3,4}

here the objective is 1/4.

If k-means would be initialized as the first setting then it would be stuck.. and that's by no means a global minimum.

You can use a variant of previous example to create two different local minima. For A = {1,2,3,4,5}, setting cluster1={1,2} and cluster2={3,4,5} would results in the same objective value as cluster1={1,2,3} and cluster2={4,5}

Finally, what would happen if you choose

A = {1,2,3,4,6}
center1={2.5} cluster1={1,2,3,4} and 
center1={6} cluster1={6}

vs

center1={2} cluster1={1,2,3} and 
center1={5} cluster1={4,6}

?

[This was before @Peter answered]
After a small discussion (in the comments section), I feel I have to answer my own question.

I believe that when I partially differentiate the objective function with respect to one centroid, the points in the cluster of another centroid vanish in the derivative. So, the centroid we can get will minimize only the sum of squared distances of only the particular cluster.

@whuber adds:

That's partly it, but does not really explain the behavior. Of more import is the fact that the assignment of points to centroids is the big part of what k-means is doing. (Once the assignment is made, the centroids are easily computed and there's nothing left to do.) That assignment is discrete: it's not something that can be differentiated at all.

It would be awesome if anybody has more to add.

Everybody has explained everything, but I would like to add that if a sample data is not distributed as a Gaussian distribution then it can stuck to a local minima. In the K-means algorithm we are actually trying to get that.