最小距离分类又称最近邻分类，是一种非常简单的分类思想。这种基于匹配的分类技术通过以一种原型模式向量代表每一个类别，识别时一个未知模式被赋予一个按照预先定义的相似性度量与其距离最近的类别，常用的距离度量有欧氏距离、马氏距离等。
人工神经网络 人工神经网络简介人工神经网络（Artificial Neural Networks, ANN）也简称为神经网络（NN），是对人脑或生物神经网络（Natural Neural Network）若干基本特性的抽象和模拟。它为从样本中学习值为实数、离散值或向量的函数提供了一种健壮性很强的解决方案，已经在诸如汽车自动驾驶、光学字符识别（OCR）和人脸识别等很多实际问题中取得了惊人的成功。
对于一个分类问题，本书的目标就是学习决策函数h (x )，该函数的输出为离散值（类标签）或者向量（经过编码的类标签），ANN自然能够胜任这一任务；此外，由于可学习实值函数，ANN也是函数拟合的利器。
仿生学动机1．生物神经网络
众所周知，生物大脑由大量的神经细胞（神经元 ，Neuron）组成，这些神经元相互连接成十分复杂的网络。每个神经元由3部分组成：树突、细胞体和轴突，如图15.1所示。树突是树状的神经纤维接受网络，它将输入的电信号传递给细胞体；轴突 是单根长纤维，它把细胞体的输出信号导向其他神经元。大量这样的神经元广泛地连接从而形成了网络。神经元的数目、排列拓扑结构以及突触的连接强度决定了生物神经网络的功能。
神经元之间利用电化学过程传递信号。一个神经元的输入信号来自另一些神经元的输出，这些神经元的轴突末梢与该神经元树突相遇形成突触。大脑神经元有两种状态：兴奋和抑制。细胞体对这些输入信号进行整合并进行阈值处理。如果整合后的刺激值超过某一阈值，神经元被激活而进入兴奋状态，此时就会有一个电信号通过轴突传递给其他神经元；否则神经元就处于抑制状态。
生物大脑具有超强的学习能力。相关研究表明，如果一个神经元在一段时间内频繁受到激励，则它与连接至输入的神经元之间的连接强度就会相应地改变，从而使得该神经元细胞再次受到激励时更易兴奋；相反，一个某段时间内不被激励的神经元的连接有效性会慢慢地衰减。这一现象说明神经元之间的连接具有某种可塑性（可训练性）。
一个训练生物神经网络的例子如人类学习下棋。起初在没有接受过任何下棋训练时，可以理解为大脑神经元网络处于一个随机状态，对于某一个棋局（输入），产生一个随机的应对策略（网络的实际输出）；接下来，这一应对策略会从指导教师（教下棋的人或者是一本棋谱）那里得到相应的反馈（这一步下得好还是不好，或者正确的走法是什么，相当于训练样本的目标输出），并以此反馈作为调整网络神经元之间连接（这些连接具有可训练性）的依据；随着这种训练和调整过程的进行，网络对于新的棋局（输入）的决策越来越接近于最优决策（实际输出更加接近于目标输出），网络处于一种善于对某个棋局做出正确反映的状态。这就是我们在学习下棋时从一个初学者到高手的过程。
2．人工神经网络
人工神经网络（ANN，以下简称网络或神经网络）的研究在相当程度上受到了生物大脑的仿生学启发，它由一系列简单的人工神经元相互密集连接构成，其中每个神经元同样由3部分组成：输入、人工神经细胞体和输出。每个神经元具有一定数量的实数值输入，并产生一个实数值的输出。
一个人工神经元的输入信号来自另一些神经元的输出，其输出又可以作为另一些神经元的输入。一种称为感知器的人工神经元同样具有2种状态：1和-1。人工神经细胞对这些输入信号进行整合并进行阈值处理。如果整合后的刺激值超过某一阈值神经元被激活而进入1状态；否则神经元就处于-1状态。
正如大脑可以通过不断调节神经元之间的连接而达到不断学习进步的目的。ANN也可以通过不断调整输入连接上的权值以使得网络更加适应训练集合。