如何使用 Python 實現 kmeans 演算法

k-means 演算法是基於距離的聚類演算法，也稱為 k 均值或 k 平均值，也常稱為勞 埃 德（勞埃德）演算法。 就是將資料集中剩餘的點迭代劃分為最近的聚類，距離是指從資料點到聚類中心的距離。

k-means演算法的思想非常簡單，對於給定的取樣器場聚類，根據樣本之間的距離將樣本劃分為k個聚類。 保持集群中的資料盡可能緊密地連線，並使集群之間的距離盡可能大。

演算法流

1. 選擇資料空間中的k個物件作為初始中心，每個物件代表乙個聚類中心。

2. 對於樣本中的資料物件，根據它們與這些聚類中心的歐幾里得距離。

根據最接近的條件，將它們分配給與它們最近的聚類中心（最相似）相對應的類。

3、更新聚類中心：取各類目中所有物件的平均值作為類目聚類中心，計算目標函式的值。

4.判斷聚類中心和目標函式的值是否發生了變化，如果沒有變化，則輸出結果，如果變化，則返回2）。

kmeans 是一種基於距離的無監督湮滅聚類演算法，其變體包括 kmeans++。

請注意，某些聚類中心可能不會分配給樣本，並且這些聚類將被消除（這意味著最終的類數可能會減少）。

與其他機器學習演算法一樣，k-means也需要評估和最小化聚類的成本，在介紹k-means的成本函式之前，先介紹一下以下定義：

引入成本函式：

5）對雜訊和異常比較的敏感性。

圓形、凸形和聚類在一起的資料在形狀上類似於高斯分布，這些資料是 kmeans 喜歡的資料。

聚類分析是一種靜態資料分析方法，常用於機器學習、模式識別、資料探勘等領域。 聚類通常被認為是一種無監督的機器學習方法，其工作原理如下：在未知樣本類的情況下，通過計算樣本之間的距離（歐幾里得距離、馬利距離、漢明距離、余弦距離等）來估計樣本所屬的類。

在結構上，聚類方法分為自上而下和自下而上兩種方法，前一種演算法是將所有樣本視為乙個類，然後不斷地將子類從這個大類別中分離出來，直到不能再劃分為止; 另一方面，後者首先所有樣本都屬於自己的類別，然後它們不斷成對組合，直到它們最終形成幾個大類。

常用的聚類方法主要有四種： 複製wiki是懶惰的。

基於連通性的聚類（例如，分層聚類）。

基於質心的聚類（例如 kmeans）。

distribution-based clustering

density-based clustering

KMEANS聚類是一種自下而上的聚類方法，具有簡單、快速等優點; 缺點是聚類結果與初始中心的選擇有關，必須提供聚類數。 kmeans 的第二個缺點是致命的，因為在某些情況下，我們不知道樣本集將被聚類到多少個類中，在這種情況下，kmeans 不合適，建議使用分層或均值移位進行聚類。 第乙個缺點可以通過多次聚類來解決，以獲得最佳結果。

kmeans的計算過程大致表示如下。

隨機選擇K個聚類中心。 類別的最終數量 < = k

計算從每個樣本到每個中心的距離。

每個樣本都聚集在離它最近的中心。

重新計算每個新類的中心。

重複上述步驟，直到滿足收斂要求。 （通常中心點不再更改或滿足一定次數的迭代）。

k-means 演算法是一種基於距離的聚類演算法，它結合了簡單性和經典性。

距離作為相似度的評價指標，即兩個物體之間的距離越近，相似度越大。

該演算法認為聚類是由彼此靠近的物體組成的，因此最終目標是獲得緊湊且獨立的聚類。

核心思想。 一種迭代查詢 k 個聚類的劃分方案，使使用 k 個聚類的平均值表示相應型別的樣本時獲得的總誤差最小化。

k 個簇具有以下特徵：簇本身盡可能緊湊，簇盡可能獨立。

k-means演算法基於最小誤差平方和準則，每個聚類中的樣本越相似，它們與類均值之間的誤差平方越小，所有類得到的誤差平方和可以驗證每個聚類劃分為k類時是否最優。

上述方程的成本函式不能通過解析方法最小化，只能迭代使用。

3. 演算法步驟**。

下圖顯示了 n 個取樣點的 k 均值聚類的影響，其中 k 取為 2。

4.演算法實現步驟。

k-means演算法是將樣本聚類成k個簇，其中k由使用者給出，求解過程非常直觀簡單，具體演算法描述如下：

1）隨機抽取k個聚類質心點。

2）重複以下過程，直到收斂