k-means的k值该如何确定?
的有关信息介绍如下:
确定K-means聚类算法中的K值是一个重要的步骤,以下是一些常用的方法:
肘部法是最常见的确定K值的方法。其基本思想是通过绘制不同K值对应的误差平方和(SSE)曲线,观察曲线的“肘部”位置。随着K值的增加,SSE会逐渐减小,但在某个点后,SSE的下降幅度会显著减缓,这个点即为最佳K值。
轮廓系数衡量每个样本与同簇样本的相似度与与最近簇样本的相似度之间的差异。轮廓系数的值范围从-1到1,越接近1表示聚类效果越好。
间隔统计量通过比较真实数据的群内平方和与随机数据的群内平方和来确定K值。该方法可以帮助判断所选K值是否具有统计学意义。
除了上述方法外,结合领域知识和实际需求也很重要。例如,如果您知道数据集中的潜在类别数量,可以作为选择K值的参考。此外,考虑聚类目的和应用场景也能帮助确定合适的K值。
接下来介绍K-means聚类的原理以及案例分析。
K-means聚类也称为快速聚类法,是无监督学习中最常见的一种,它适合样本量较大的数据集,要求参与聚类的指标变量为定量数据,用于对样本进行分类处理。
K-means聚类的K指的是聚类的类别个数,可以根据行业知识、经验来自行给定,也可以遍历多个聚类方案进行优选探究,比如说在3~6类之间进行遍历,即依次选择聚为3类、4类、5类、6类,然后对聚类结果进行比较,选择最佳聚类结果。就聚类分析而言,通常情况下,建议用户设置聚类数量介于2~6个之间,不宜过多。
K-means聚类是典型的基于距离的聚类算法,采用距离作为相似性的评价指标,即认为两个对象的距离越近,其相似度就越大。
K-means聚类的基本思想是,在指定聚类个数K的情况下,从数据集中随机化选取K个个案作为起始的聚类中心点,计算其他个案所代表的点与初始聚类中心点的欧式距离,将个案分到距离聚类中心最近的那个类,所有数据个案划分类别后,形成了K个数据集(K个簇), 重新计算每个簇中数据个案的均值,将均值作为新的聚类中心。因此聚类中心处于变化中,这个过程不断重复,直到聚类中心点不再变化为止。
有两点需要注意,第一是K个初始聚类中心的选择具有随机性;第二是计算距离通常使用标准化欧式距离,不同量纲单位的聚类数据应提前进行数据标准化处理。
使用K-means法对样本进行聚类时,一般分析步骤见图 6-21。
K-means聚类效果的好坏直接取决于聚类依据的选择,一般是以专业经验角度,从能反映研究对象的不同方面选择有代表性的指标作为聚类依据,且要求这些指标数据为定量数据资料。在开始聚类前,对不同层面的数据统一进行标准化处理。
从理论依据、专业经验入手,确定聚类个数K值。可以唯一指定一个K值,也可以指定K值的范围,然后采用遍历的形式进行聚类,最后结合误差平方和SSE与聚类特征,对多套聚类方案对比后判断合适的K。
聚类过程迭代完成后,首先了解每个类的规模。通常来说各类的规模比例应契合实际,对于一个样本构成一类、各类规模比例悬殊的情况建议谨慎解释分析。然后对聚类指标进行排序,了解聚类指标的重要性。
聚类的好坏取决于类的特征或含义是否明确,因此需要对聚类结果进行总结归纳,理清各类的特征或含义,如果类特征模糊,则说明聚类不够好,可返回第一步重新聚类。
在此过程中,可利用一些类的评价指标,比如误差平方和SSE,对多个聚类方案进行比较,结合专业经验以及类特征总结的情况综合决定最终聚类结果。
【例6-7】英国统计学家Fisher提供的鸢尾花数据被广泛用来作为聚类和判别分析的例子。花的原始种类为:1=刚毛鸢尾花、2=变色鸢尾花、3=佛吉尼亚鸢尾花,4个属性依次为sepallen(花萼长) 、sepalwid(花萼宽) 、petallen(花瓣长) 、petalwid(花瓣宽) ,它们的单位统一为mm。此数据集从3种不同的鸢尾花中各取50个样本,部分数据见表 6-25。假设我们现在不知道每一株鸢尾花归属于哪一类,试根据萼片长、宽,花瓣长、宽四个性状数据对150株鸢尾花进行聚类。案例数据来源于董大钧(2014),数据文档为“例6-7.xls”。
本例数据包括“编号”1~150表示150株鸢尾花,“原始分类”为150株鸢尾花的真实分类类型,专业上可利用“花萼长”、“花萼宽”、“花瓣长”、“花瓣宽”四个性状属性对鸢尾花进行分类。4个性状数据均为连续型定量数据资料,本例将采用K-means聚类方法尝试对150株鸢尾花进行聚类。
数据读入平台后,在仪表盘中依次选择【进阶方法】→【聚类】模块,如果聚类变量均为定量数据,则进行K-means聚类,如果聚类变量均为定类变量或定量与定类变量混合,则进行K-prototype聚类。本例聚类变量均为定量数据,将“花萼长”、“花萼宽”、“花瓣长”、“花瓣宽”拖拽至【分析项(定量)】,见图 6-22。
勾选【标准化】,因为研究者往往会从多个方面选择聚类变量,多数情况下它们的单位量纲不同,在计算距离时应当取标准化数据。勾选【标准化】选项,平台会自动对原始聚类变量进行标准化处理。应当注意到,【标准化】命令只针对定量数据有效。
对于鸢尾花的种类,经验上已经明确是有刚毛、变色、佛吉尼亚三个类型,本例的150株鸢尾花样本,即取自这三种类型。因此,此处K-means聚类的K=3。
本例聚类个数K明确是聚为3类,因此在操作界面中的【聚类个数】下拉框内选择【聚类个数(默认3)】,平台最大允许的聚类个数为6类,多数情况下是适用的。
建议勾选【保存类别】,默认将聚类生成的类别保存起来,命名格式为:Cluster_Kmeans_xxxx,并且结合聚类类别与聚类变量进行方差分析。操作界面如图 6-22所示,最后单击【开始分析】。
如表6-26所示,本例将150株鸢尾花聚成3类,依次为cluster_1、cluster_2和cluster_3,各类的规模(类中样本容量) 依次为56株、44株和50株,占比分别是37.33%, 29.33%, 33.33%。整体来看3类鸢尾花分布较为均匀,没有过大的类也没有过小的类。
前面我们是以鸢尾花的花瓣长宽、花萼长宽属性将150株鸢尾花分成3类,4个聚类变量对聚类过程的贡献不同,各聚类变量对聚类的重要性排序如图 623所示。它默认将最重要的变量重要性设定为1,其他变量与之相比换算成不同的比例实现重要性的排序。本例中,花瓣长第1重要,花瓣宽是第2重要的,可见花瓣的尺寸对于聚类有重要的贡献。
如果发现哪一个聚类变量的重要性明显很低,可考虑将其移除后重新进行聚类分析。
聚类完成后,平台会自动保存出聚类结果变量“Cluster_Kmeans_xxxx”,具体分析时可将此变量作为分组依据,对研究对象的所有指标进分组的描述统计,了解各指标在各类的分布情况,以及进行单因素方差分析进一步分析聚类变量在各组别间的差异性。
各类在聚类指标上的平均值以及差异检验,结果见表6-27。各聚类变量的p值均小于0.01,表明花萼长、宽,花瓣长、宽4个性状属性在3个类别间具有显著差异。通俗来说,即3个类在4个属性指标上具有区分度。
各类在指标上的平均水平,可以用于归纳类的特征。可视化图形在视觉表达上更具有优势,在总结归纳类特征时,使用平台保存出的聚类结果变量“Cluster_Kmeans_xxxx”,通过【可视化】→【箱线图】模块绘制箱线图,方便对各类进行分析,本例见图 6-24。
根据上图中各类在4个属性上分布情况,结合专业上对3种鸢尾花实际特征的经验知识,对聚类类别进行特征的总结和合理命名。
初始聚类中心指算法从现有数据集中随机选定的初始聚类中心值,最终聚类中心是指算法多次迭代后最终确定的聚类中心,本例结果见表6-28,该结果一般了解一下即可。
重点是该表底部注释的误差平方和SSE,如果我们一开始对K值没有明确预期值,当需要采取遍历K值的聚类方案时,可以通过比较SSE的大小来评价聚成几个类更合适,即评价K值,一般认为更小的SSE表明聚类效果更佳。因此多个聚类方案中,可以选SSE最小的聚类个数作为最终结果。当然最重要的是,聚类结果应当符合实际情况或能解释样本的实际表现。
以上内容摘自《SPSSAU科研数据分析方法与应用》第6章——信息浓缩及聚类研究,书中不仅涵盖了数据清理、统计分析和模型构建等内容,还提供了丰富的案例,以便于读者在实际研究中应用。



