磨染的初心——计算机视觉的现状（3.1）：图像分割
为了通过材质、形状、结构识别目标，对图像进行分割应该是必然的选择。在这一点上计算机视觉研究者们算是勉强达成了共识，图像分割甚至被很多研究者列为计算机视觉的基本任务之一了。很多图像分割算法被提了出来，归纳起来可以分为基于阈值的方法、基于聚类的方法、基于区域的方法、基于图割的方法、活动边界模型和水平集、基于卷积神经网络的方法。
基于阈值的方法里，有全局一个阈值的，也有对图像不同区域使用不同阈值的。此类方法的关键在于确定阈值，然而对于大多数图像即使遍历所有的取值也无法找到实现合理分割的阈值，因此该算法常用于符号识别、指纹识别和分割遥感领域中的各种指数图像（水体指数、植被指数、干旱指数、热红外影像）。
凡是认真思考或者亲身尝试过的，都会承认基于聚类的方法的分割结果难以令人接受。所有的聚类算法都直接或者间接假设了类别内部的样本密度高于类别边界的样本密度。观察过一些图像的直方图后就会发现，像素在像元值空间的分布形状通常都类似钟型曲线（只有一个凸起），也就是说按照聚类算法的假设应该将全部像素聚为一类。即使同时使用多个图像通道，这种情况也没有什么改观。没有或者难以使用空间信息是基于聚类的方法的直接缺陷，导致分割结果形状复杂、越过显而易见的边界。通常基于聚类的方法都作为其他算法的预处理步骤，在图像处理领域用于压缩颜色数量。
基于聚类的方法中有一个叫做SLIC的超像素分割算法与基本的聚类算法有较大的不同，首先在图像上均匀的撒上种子点，然后以一定的半径执行KMeans聚类，所使用的距离度量方法考虑到了空间信息。该算法与方格网形划分超像素相比有很大的优势，但是由于聚类算法的用于分割的天然缺陷仍然会导致超像素越过显而易见的边界。如果目标是为了保持形状的准确性，SLIC并不是很好的预处理选择。
基于区域的方法目前包含种子区域生长、区域分裂和合并、分水岭。种子区域生长法的关键在于种子点的选择、相似性的度量、生长规则，其中相似性度量最为关键。常用的相似性度量方法有像元值、颜色、纹理，相似性的度量也是区域分裂和合并法的最关键所在。区域分裂和合并的另外一个关键是分裂和合并的机制。分水岭算法通常应用在梯度图上，将梯度值看作高程值，设想从高程值的局部极小值处向外涌水，整幅图上水位升高的速度是一样的，在两处涌水相遇处修建堤坝。当水位上升至最高点后，所有像素点都被淹没，所有的堤坝形成对图像的分割。分水岭算法对微弱的边缘也有很好的响应，因而也会导致过分割。对于保持形状来说，分水岭加区域分裂和合并应该还有较大的提升空间。
基于图割的方法是将图像分割转换为图的最小割问题，关键在于设置边的权重，这只不过是相似性度量的另一个称呼。因此基于图割的全图分割方法并不会比种子区域生长、区域分裂和合并更好；此外最小割是NP问题，难以最优求解。基于图割的方法中值得一提的是Graphcut和Grabcut，该算法用于分割前背景，需要人工粗略标注部分背景和前景。这两个算法的直接意义在于图像处理领域的交互式前景提取。
活动边界模型和水平集的用处同样在于交互式前景提取，需要人工提供初始前景范围曲线，然后让范围曲线在根据图像数据得到的能量函数的作用下演化，使其向前景边缘逐渐逼近，最终找到前景的边缘，在达到前景边缘时能量函数的取值最小。活动边界模型直接对范围曲线进行演化，而水平集则根据初始范围曲线及图像数据构造出三维曲面，通过三维曲面的演化以及取等值线的方式间接实现范围曲线的演化。前背景的边缘处一定具有较大的梯度，因此能量函数最重要的构造依据就是图像的梯度，仅依靠梯度会陷入局部最优，一般还会加入曲线的曲率和其它先验知识。活动边界模型和水平集方法不过是希望通过曲线和曲面的传递作用以及其它先验突破梯度的局部极大值，在前景分割上的表现不会比基于图割的方法更好，事实也是如此。
基于卷积神经网络的方法包括语义分割、实例分割、全景分割三种，归根到底都是通过已知的样本数据建立像素及其一定范围内领域的像素到实例或者类别的映射。得益于神经网络能够模拟任意函数的优势，在大量样本数据参与训练的条件下所建立出来的映射模型具有较高的准确性。然而机械的映射模型的缺陷也是显而易见的，迁移能力（只能分割猫的网络不能分割狗）和泛化能力（只能分割白猫的网络分割不了花猫）几乎没有。另外由于映射模型过分复杂，输入数据的轻微改变也会导致无法预料的错误（像素攻击）。