K-means演算法在Python中的實現-Python教學-PHP中文網

K-means是機器學習中一個比較常用的演算法，屬於無監督學習演算法，其常被用於資料的聚類，只需為它指定簇的數量即可自動將資料聚合到多類中，相同簇中的數據相似度較高，不同簇中數據相似度較低。

K-MEANS演算法是輸入聚類個數k，以及包含 n個資料物件的資料庫，輸出滿足方差最小標準k個聚類的一種演算法。 k-means 演算法接受輸入量k ；然後將n個資料物件劃分為k個聚類以便使得所獲得的聚類滿足：同一聚類中的對象相似度較高；而不同聚類中的對象相似度較小。本文將和大家介紹K-means演算法在Python中的實作。

核心思想

透過迭代尋找k個類別簇的一種分割方案，使得用這k個類別簇的平均值來代表對應各類別樣本時所得的總體誤差最小。

k個聚類具有以下特點：各聚類本身盡可能的緊湊，而各聚類之間盡可能的分開。

k-means演算法的基礎是最小誤差平方和準則,K-menas的優缺點：

##優點：

原理簡單

速度快
對大資料集有比較好的伸縮性

#缺點：

需要指定聚類數量K

對異常值敏感
對初始值敏感

K-means的聚類過程
##其聚類過程類似於梯度下降演算法，建立代價函數並透過迭代使得代價函數值越來越小

適當選擇c個類別的初始中心；

在第k次迭代中，對任意一個樣本，求其到c個中心的距離，將該樣本歸到距離最短的中心所在的類別；

利用均值等方法更新該類別的中心值；
對於所有的c個聚類中心，如果利用（2）（3）的迭代法更新後，值保持不變，則迭代結束，否則繼續迭代。

該演算法的最大優勢在於簡潔快速。演算法的關鍵在於初始中心的選擇和距離公式。

K-means 實例展示

python中km的一些參數：

sklearn.cluster.KMeans(
  n_clusters=8,
  init=&#39;k-means++&#39;, 
  n_init=10, 
  max_iter=300, 
  tol=0.0001, 
  precompute_distances=&#39;auto&#39;, 
  verbose=0, 
  random_state=None, 
  copy_x=True, 
  n_jobs=1, 
  algorithm=&#39;auto&#39;
  )
n_clusters: 簇的个数，即你想聚成几类
init: 初始簇中心的获取方法
n_init: 获取初始簇中心的更迭次数，为了弥补初始质心的影响，算法默认会初始10个质心，实现算法，然后返回最好的结果。
max_iter: 最大迭代次数（因为kmeans算法的实现需要迭代）
tol: 容忍度，即kmeans运行准则收敛的条件
precompute_distances:是否需要提前计算距离，这个参数会在空间和时间之间做权衡，如果是True 会把整个距离矩阵都放到内存中，auto 会默认在数据样本大于featurs*samples 的数量大于12e6 的时候False,False 时核心实现的方法是利用Cpython 来实现的
verbose: 冗长模式（不太懂是啥意思，反正一般不去改默认值）
random_state: 随机生成簇中心的状态条件。
copy_x: 对是否修改数据的一个标记，如果True，即复制了就不会修改数据。bool 在scikit-learn 很多接口中都会有这个参数的，就是是否对输入数据继续copy 操作，以便不修改用户的输入数据。这个要理解Python 的内存机制才会比较清楚。
n_jobs: 并行设置
algorithm: kmeans的实现算法，有：&#39;auto&#39;, ‘full&#39;, ‘elkan&#39;, 其中 ‘full&#39;表示用EM方式实现
虽然有很多参数，但是都已经给出了默认值。所以我们一般不需要去传入这些参数,参数的。可以根据实际需要来调用。

登入後複製

#下面展示一個程式碼範例

from sklearn.cluster import KMeans
from sklearn.externals import joblib
from sklearn import cluster
import numpy as np

# 生成10*3的矩阵
data = np.random.rand(10,3)
print data
# 聚类为4类
estimator=KMeans(n_clusters=4)
# fit_predict表示拟合+预测，也可以分开写
res=estimator.fit_predict(data)
# 预测类别标签结果
lable_pred=estimator.labels_
# 各个类别的聚类中心值
centroids=estimator.cluster_centers_
# 聚类中心均值向量的总和
inertia=estimator.inertia_

print lable_pred
print centroids
print inertia

代码执行结果
[0 2 1 0 2 2 0 3 2 0]

[[ 0.3028348  0.25183096 0.62493622]
 [ 0.88481287 0.70891813 0.79463764]
 [ 0.66821961 0.54817207 0.30197415]
 [ 0.11629904 0.85684903 0.7088385 ]]
 
0.570794546829

登入後複製

#為了更直覺的描述，這次在圖上做一個展示，由於圖像上繪製二維比較直觀，所以資料調整到了二維，選取100個點繪製，聚類類別為3類

from sklearn.cluster import KMeans
from sklearn.externals import joblib
from sklearn import cluster
import numpy as np
import matplotlib.pyplot as plt

data = np.random.rand(100,2)
estimator=KMeans(n_clusters=3)
res=estimator.fit_predict(data)
lable_pred=estimator.labels_
centroids=estimator.cluster_centers_
inertia=estimator.inertia_
#print res
print lable_pred
print centroids
print inertia

for i in range(len(data)):
  if int(lable_pred[i])==0:
    plt.scatter(data[i][0],data[i][1],color=&#39;red&#39;)
  if int(lable_pred[i])==1:
    plt.scatter(data[i][0],data[i][1],color=&#39;black&#39;)
  if int(lable_pred[i])==2:
    plt.scatter(data[i][0],data[i][1],color=&#39;blue&#39;)
plt.show()

登入後複製

#可以看到聚類效果還是不錯的，對k-means的聚類效率進行了一個測試，將維度擴寬到50維

資料規模消耗時間資料維度10000條4s50維度#100000條30s50維1000000條4'13s50維#為百萬級的數據，擬合時間還是能夠接受的，可見效率還是不錯，對模型的保存與其它的機器學習演算法模型保存類似

from sklearn.externals import joblib
joblib.dump(km,"model/km_model.m")

登入後複製

以上內容就是K -means演算法在Python中的實現，希望能幫助大家。