机器学习:Python实现K-MEANS聚集
k-means聚类是一种矢量量化方法,最初来源于信号处理,在数据挖掘中被广泛应用于聚类分析。k-means聚类的目的是将n个观测值划分为k个观测值,每个观测值都属于最接近均值的聚类,作为聚类的原型。这导致将数据空间划分为Voronoi单元。
这个问题在计算上很难(NP-hard);然而,有有效的启发式算法,通常使用和收敛到局部最优。这通常类似于混合高斯分布的期望最大化算法,通过k-means和高斯混合建模的迭代细化方法。此外,它们都使用 cluster centers来建模数据;然而,k-means聚类倾向于找到空间范围相似的聚类,而期望最大化机制允许聚类具有不同的形状。
该算法与k最近邻分类器有松散的关系,这是一种流行的分类机器学习技术,由于名称中的k,常常与k -means混淆。可以在由k -means 获得的聚类中心上应用1最近邻分类器,以将新数据分类到现有聚类中。这被称为最近的质心分类器或Rocchio算法。
K-means聚类允许您聚类我们的数据,并且当我们需要发现您不了解的聚类时这是一个很好的工具,这就是为什么这个算法属于无监督学习类别的原因。
为了给出一个实际的例子,我们有一个散点图,让我们想象我们的数据集中有2个变量:
k均值算法的作用是从识别最佳拟合类别的过程中去除复杂性,并选择最佳clusters数。
首先我们需要定义k:
然后我们选择2个随机点,我们称之为质心,并将每个数据点分配给最后的质心:
所以这是我们的散点图,我们可以看到我们无法清楚地看到我们的2个聚类,因此我们选择k个随机点,并将每个质心分配给最近的数据点并通过一条线连接它们:
从几何学我们知道蓝线的任何点都是等距的,因此我们可以开始聚类我们的数据点。
接下来,我们将2个新质心指定为新的重心:
因此,我们必须将每个数据点重新分配给新的质心,并创建一个新的聚类,我们调整质心,将质心放置到这些位置并绘制一条新线:
....我们迭代过程直到我们不需要重新分配新点,我们可以继续完成我们的算法。
这是我们的最终结果:
然而,在某些情况下,事情并非如此简单,我们可能会陷入所谓的随机初始化陷阱。为了解释inizialization trapp,让我们再次考虑我们的散点图:
在这种情况下,我们将选择3个集群。但是会发生什么呢?我们有一个糟糕的随机原因?在这种情况下,我们将选择我们的质心,并且我们的数据点仍然与每条线等距,因此基于此方法,我们应该有3个类别。现在我们移动质心,所以我们将质心调整到新位置:
正如我们从图表中看到的那样,没有任何变化,算法会收敛。现在这与我们在开始时看到的情况不同!
发生这种情况是因为质心的选择可以决定算法的结果,但是对算法的修改有额外的选择,允许我们选择最佳的cetroids,这确实是K均值算法。这是一种复杂的方法,所有这些都发生在后台,所以你不需要实现它。只是我们知道有一个最好的质心,并且K-means方法在这个初始化中实现,它找到了最佳的簇数。为了低估如果更多或更少的集群会更好,我们需要有一个参数来比较,那就是WCSS,它由这个公式给出:
在这里,我们取custer 2中的每一点,将每一点到质心到各自质心的距离求和,得到的结果是距离之和:
现在考虑:如果我们只选择了一个类别而不是3个custers,我们将得到更大的值!
如果我们将clusters数增加到2,那么距离的总和肯定会更少。现在我们再次增加到3个,距离将比前2个更接近质心,因此总和正在减少。它会减少多远?我们可以拥有与数据点数量一样多的cluester,因此在这种情况下,WCSS将如何表现?它肯定等于0,因为每个点都对应于质心。WCSS是一个很好的指标,但同时它不断下降,那么我们如何找到最佳呢?让我们看一下图表:
在这里WCSS从一个非常大的数字开始,你可以看到从8跳到1K,然后它稳定下来。前两个改进在WCSS中产生了一些巨大的下降,这是我们的暗示,这一点将是最佳的!
为了在Python上实现k-means算法,我们需要使用我们想要执行聚类的变量进行分段。我们将通过elbow模型找出最佳簇数,因此我们首先需要导入sklearn.cluster库和Kmeans类来为我们完成工作,并创建一个名为wcss的for循环。接下来,我们创建ak表示对象,其中我们输入簇的数量并选择k-means ++参数以避免inizialization陷阱,最大迭代次数300和不同初始化的次数。接下来,我们将对象与我们的数据相匹配,并通过惯性方法将其附加到我们的wcss列表中。然后我们使用10个聚类和wcss指标绘制我们的值,以选择最佳聚类数:
# Data Preprocessing
# Importing the Library
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
# Importing the dataset
dataset= pd.read_csv('Data.csv')
X = dataset.iloc[: , [3, 4]].values
#Using the elbow method to find the optimal number of clusters
from sklear.cluster import KMeans
wcss = []
for i in range[1, 11]:
kmeans = KMeans(n_clusters = i, init = 'k-means++', max_iter = 300, n_init = 10, random_state = 0)
kmeans.fit(x)
wcss.append (kmeans.inertia_)
plt.plot(range(1, 11), wcss)
plt.title('The Elbow Method')
plt.xlabel('Number of clusters')
plt.ylabel('WCSS')
plt.show()
接下来,我们应用k均值算法并输入我们找到的最佳clusters数,并通过fit.predict方法预测我们的类别。Python代码如下:
# Data Preprocessing
# Importing the Library
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
# Importing the dataset
dataset= pd.read_csv('Data.csv')
X = dataset.iloc[: , [3, 4]].values
#Using the elbow method to find the optimal number of clusters
from sklear.cluster import KMeans
wcss = []
for i in range[1, 11]:
kmeans = KMeans(n_clusters = i, init = 'k-means++', max_iter = 300, n_init = 10, random_state = 0)
kmeans.fit(x)
wcss.append (kmeans.inertia_)
plt.plot(range(1, 11), wcss)
plt.title('The Elbow Method')
plt.xlabel('Number of clusters')
plt.ylabel('WCSS')
plt.show()
# Applying k-means to the dataset
kmeans = KMeans(n_clusters = 5, init = 'k-means++', max_iter = 300, n_init = 10, random_state = 0)
# Visualising the clusters
plt.scatter(X[y_kmeans == 0, 0], X[y_means == 0, 1], s= 100, c = 'red', label = 'Careful')
plt.scatter(X[y_kmeans == 1, 0], X[y_means == 1, 1], s= 100, c = 'bkue', label = 'Standard')
plt.scatter(X[y_kmeans == 2, 0], X[y_means == 2, 1], s= 100, c = 'green', label = 'Cluster 3')
plt.scatter(X[y_kmeans == 3, 0], X[y_means == 3, 1], s= 100, c = 'cyan', label = 'Cluster 4')
plt.scatter(X[y_kmeans == 4, 0], X[y_means == 4, 1], s= 100, c = 'magenta', label = 'Cluster 5')
plt.scatter(kmeans.cluster_centers_[:, 0], kmeans.cluster_centers_[:, 1], s = 300, c = 'yellow', label = 'Centroids')
plt.title('Clusters of clients')
plt.xlabel('Annual Income')
plt.ylabel('Spending Score(1-100)')
plt.legend()
plt.show()
最后,我们将可视化我们的结果并绘制每个cluster的数量,我们的独立变量和预测的因变量y,并使用cluster_center方法可视化我们的质心: