在ANN的训练过程中，训练样本特征向量是ANN的输入，训练样本的目标输出（在分类问题中为类别信息）是网络的输出。初始情况下，网络权值被初始化为一种随机状态，当把某个训练样本输入网络时，由此产生的网络输出与训练样本目标输出之间的差异称为训练误差；接下来，ANN将根据某种机制调节权值w ，使得训练误差逐步减小；随着这种训练和调整过程的进行，网络对于训练样本的实际输出将越来越接近于目标输出。
人工神经网络（ANN） 生物神经网络输入 树突
输出 轴突
人工神经细胞 生物神经细胞体
人工神经元的1、-1两种状态 生物神经元的兴奋和抑制状态
ANN的训练 大脑的学习
网络权值的调整 生物神经细胞之间连接的调节
ANN对于特定输入样本的输出 大脑对于特定输入情况的决策
人工神经网络的理论基础 训练线性单元的梯度下降算法
1．感知器（Perceptron）
TODO.
2．线性单元（Linear Unit）
TODO.
3．误差准则
TODO.
4．梯度下降法（Gradient Descent）的推导
TODO.
5．增量梯度下降（Incremental Gradient Descent）
TODO.
TODO.
参考链接：
https://book.douban.com/subject/26201921/
https://blog.csdn.net/Hanghang_/article/details/87064184