扣丁学堂大数据培训简述数据挖掘的聚类算法和优势
数据挖掘对于学习大数据开发技术或者是已经工作了的大数据开发工程师来说并不陌生,但是数据挖掘的聚类算法和优势还有不少的小伙伴不是很清楚,本篇文章扣丁学堂小编就和大家分享一下数据挖掘的聚类算法和优势,想要了解的小伙伴就随小编一起来看一下吧。
数据挖掘的聚类算法和优势
比较分类算法的话,大概考虑这几个维度:时间空间复杂度,鲁棒性,参数敏感性,处理不规则形状,适合的类数量,类间差异(范围大小,样本个数,形状差异)。
除了这些聚类方法以外一些传统的聚类方法,归属于系统聚类的范畴,先定义观测间的距离和类之间的距离计算方法,然后按照距离把最接近的两个观测(类)合并,直到合并成一个大类为止。
最短距离法:
类间距为两类中最近观测的距离。
不限制类形状,对拉长的分布效果好,会删除边缘的观测点
最长距离法:
类间距为两类中最远观测的距离。
倾向于产生直径相等的类,易受异常值影响。
中间距离法:
类间距为最长距、最短距、类内距离的加权。
重心法:
类间距为两类重心之间的距离
对奇异值稳健
类平均法:
类间距为两类观测之间距离的平均值。
倾向于先合并方差小的类,偏向于产生方差相同的类。
离差平方和法:
将合并后类内方差最小的两类合并
倾向于产生数量相等的两类,对异常值敏感
密度估计:
较远的距离设为无穷。较近的两个样本,距离与局部密度成反比。
适用于不规则形状类,不适用样本数太少。
两阶段密度估计:
用密度估计计算距离,再用最短距离法聚类。
普适性较强
除了以上这些常见方法,值得一提的还有science上的算法 fast search and find of density peaks. 这个方法克服了DBSCAN中不同类的密度差别大,邻域范围难以设定的问题,看起来棒棒的。
以上就是扣丁学堂大数据在线学习小编给大家分享的数据挖掘的聚类算法和优势,希望对小伙伴们能有所帮助,想要了解更多内容的小伙伴可以登录扣丁学堂官网咨询。