初识机器学习——吴恩达《Machine Learning》学习笔记(十三)

无监督学习(Unsupervised learning) 无监督学习介绍(Unsupervised learning introdution)

无监督学习:数据并没有任何的标签,通过算法,找出隐含在这些数据中的结构。聚类算法是一种无监督学习算法。

聚类(clustering)分析将数据划分成有意义或有用的簇。聚类分析是一种分类的多元统计分析方法。按照个体或样品的特征将它们分类,使同一类别内的个体具有尽可能高的同质性(homogeneity),而类别之间则应具有尽可能高的异质性(heterogeneity)。

聚类的应用:市场划分(Market segmentation)、社交网络分析(Social network analysis)、组织计算机集群(Organize computing clusters)、天文学数据分析(astronomical data analysis)等

K-means算法

K-means算法是目前最热门的、应用最广泛的一共聚类算法。K-means算法是一种迭代算法。

随机初始化K个聚类中心。
重复:
1、聚类样本分配。把各样本x分配到最近的聚类中心。
2、移动族类中心。每个中心分配各x之后,对每个中心k分配的各x求平均,然后赋值给μ(k),相当于更新了聚类中心。

直到聚类中心不再改变。

如果遇到没有点的聚类中心,怎么办?最直接的做法是,把那个聚类中心移除掉!实际上很少会出现这种情况。大写的K表示簇类中心的个数,而小写的k则表示簇类中心的下标。

初识机器学习——吴恩达《Machine Learning》学习笔记(十三)

 

优化目标(Optimization objective)

K-means代价函数也叫失真代价函数,K-means算法的失真。

先最小化训练集到聚类中心的距离,再最小化聚类中心。

初识机器学习——吴恩达《Machine Learning》学习笔记(十三)

 

随机初始化(Random initialization)

首先,要求聚类中心K值小于训练集m值,然后,随机选择K个训练集元素作为K个聚类中心。

初识机器学习——吴恩达《Machine Learning》学习笔记(十三)

 

为了找到最优解,或者说,避免区部最优解,应该尝试进行多次初始化聚类中心,然后选择畸变最小的,即代价函数最小的,一般次数为50-1000次。

当K比较小时(2-10),多次初始化效果可能比较明显,当K比较大时,多次初始化效果可能不是很明显。

初识机器学习——吴恩达《Machine Learning》学习笔记(十三)

选择聚类数量(Choosing the number of clusters)

肘部方法(肘部法则),K数量选择在肘部,但J对K数量的下降曲线很平滑,就会遇到难以选择K的问题。

初识机器学习——吴恩达《Machine Learning》学习笔记(十三)

 

另一种选择聚类中心的方法是根据接下来的用途目的来作选择,哪个表现更好,就选哪个。例如,T恤尺寸的例子。

初识机器学习——吴恩达《Machine Learning》学习笔记(十三)

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zzfyzw.html