Python中的k-means聚类模型详解-Python教程-PHP中文网

Python中的k-means聚类模型详解

王林

发布： 2023-06-10 09:15:19

原创

2007 人浏览过

Python中的k-means聚类模型详解

聚类分析是一种用于发现数据中相似对象的方法。在数据挖掘、机器学习等领域，聚类分析被广泛应用。k-means聚类是其中一种较为常见的聚类方法。它能够将数据集中的样本划分成k个簇，且每个簇的内部差异最小，而簇间差异最大。本文将详细介绍Python中的k-means聚类模型。

k-means聚类的原理

k-means聚类算法是一种迭代的聚类方法。其核心步骤包括：初始化质心、计算距离、更新质心、判定停止条件等。

首先，需要指定聚类数k。然后随机选择k个数据样本作为初始质心，对于剩下的每个样本，将其分配到与其距离最近的质心所在簇中。接下来，计算每个簇中所有数据点与该簇的质心的距离平方和，作为该簇的误差。然后更新每个簇的质心，将其移到该簇所有样本的中心。重复上述步骤直到误差小于某一阈值或达到迭代次数上限。

Python实现k-means聚类

Python中，sklearn库提供了k-means聚类函数，是使用k-means聚类算法的最简单方法。下面以iris数据集为例，展示如何使用Python实现k-means聚类

from sklearn.cluster import KMeans
from sklearn.datasets import load_iris

iris = load_iris()
X = iris.data[:, :2]  # 为了便于可视化，只取前两个特征
y = iris.target

kmeans = KMeans(n_clusters=3)  # 聚成3类
kmeans.fit(X)

centroids = kmeans.cluster_centers_  # 质心
labels = kmeans.labels_  # 样本分类

# 绘制图形
import matplotlib.pyplot as plt

colors = ['red', 'green', 'blue']
for i in range(len(X)):
    plt.scatter(X[i][0], X[i][1], c=colors[labels[i]])
    
for c in centroids:
    plt.scatter(c[0], c[1], marker='x', s=300, linewidths=3, color='black')
    
plt.show()

登录后复制

执行以上代码，即可生成类似以下图像：

图像中，红色、绿色和蓝色点分别代表不同的簇，黑色“x”符号表示每个簇的质心。

如何选择最优的k值

如何确定最优的k值，是k-means聚类算法中比较困难的问题之一。下面介绍两个常见的方法：手肘法和轮廓系数法。

手肘法：首先，将k值设置为较小的整数，计算每个簇的误差平方和（SSE）。随着k值的增加，误差平方和会减少。当k值增加到一定程度后，SSE不再大幅下降。此时，将k值与SSE之间的关系绘制成曲线图，必定呈现出肘部线段，该线段在此处的“肘”的位置，对应的k值即为最优的聚类数。

代码示例：

sse = []
for i in range(1, 11):
    kmeans = KMeans(n_clusters=i).fit(X)
    sse.append(kmeans.inertia_)  # ineria_属性表示模型的误差平方和
 
plt.plot(range(1, 11), sse)
plt.xlabel('K')
plt.ylabel('SSE')
plt.show()

登录后复制

轮廓系数法：轮廓系数综合了簇内不相关性和簇间相似度两个因素。轮廓系数值越大，代表聚类效果越好。轮廓系数法的计算过程如下：

对每个样本，计算其与同簇所有样本的平均距离（称为a），并计算其与最近其他簇的所有样本的平均距离（称为b）。

计算每个样本的轮廓系数s，$s = rac {b-a} {max(a, b)}$。整个模型的轮廓系数为所有样本轮廓系数的平均值。

代码示例：

from sklearn.metrics import silhouette_score

sil_scores = []
for k in range(2, 11):
    kmeans = KMeans(n_clusters=k).fit(X)
    sil_score = silhouette_score(X, kmeans.labels_)  # 计算轮廓系数
    sil_scores.append(sil_score)
    
plt.plot(range(2, 11), sil_scores)
plt.xlabel('K')
plt.ylabel('Silhouette Coefficient')
plt.show()

登录后复制