那什么又是ICS呢？在神经网络的设计往往都是含有多个隐藏层，而像之前说的当前隐藏层的输出是下一个隐藏层的输入，把这个输入当作一个分布来看的话，而由于为了使训练收敛参数不断处于更新之中，当前隐藏层的参数更新之后会影响下一个隐藏层的输入，也就是说由于参数的改变，输入改变了（也就是分布改变了），这个跟基于IID的假设是相违背的，出现这种现象则称之为ICS（可通过设置小一点的学习率可以改善，但是小的学习率影响训练速度因为步长变短了）。
2.2 Batch Normalization
为了降低ICS所带来的影响，BN就被提出来了。这里我们来看下通常神经网络结构是如何设计的: x with feature scaling -> layer1 -> a1(feature scaling?) -> layer2 -> a2(feature scaling?) 。那既然是叫Batch Normalization，那么就意味着这个normalization是针对一个Batch一个batch的。这里再复习下Batch训练的一些基本原理，batch的意思是训练网络的时候一次性拿几个样本并行的做计算，比如batch=4，那么就是四个样本作为输入一起乘上同一个参数（如下图3所示）。
图3 Batch Training
实际运算中，batch=4的四个样本会被拼成一整个matrix，这里从编程的角度想想会更好理解，例如要对1万张图片进行训练，选取batch=4，假设每个图片的高和宽为224和224，通道数为3，那么他们的shape就是（4，224，224，3），这个用numpy或者PyTorch或者TensorFlow来在电脑上展示出来都是一个矩阵。Batch normalization是如何作用在batch上的呢？一般是先BN后activation，如果先做activation再做BN的话，input就有可能落在saturation值域上（tanh和sigmoid都容易存在这个问题），那么就会产生gradient vanishing（梯度消失）的问题。接下来看看Batch Normalization的计算，一般是基于batch计算μ和σ的（均值和标准差），由于整个数据集量很大，如果是针对整个数据集计算μ和σ的话，那么计算开销很大，所以BN是作用在batch上的数据，这也由此引申出一个问题，那就是在使用BN的时候，batch应该尽量设置比较大（batch < n where n is the number of samples），BN的计算演示图如下图所示：
图4 引入BN的神经网络结构图
那么使用BN的话怎么进行训练呢？使用BN的时候，在做BP的时候也同样需要去更新计算出来的batch的μ和σ，因为μ和σ也会影像training loss。在经过BN之后，数据的值的分布是服从mean为0，方差为1的。但是有时候并不是服从这样子的分布才是网络更robust，所以此时希望对做了BN之后的数值做一个scale和偏移。这也就是论文中的β和γ存在的因素。但是仔细的人应该可以看出来，最后一个公式是计算μ和σ的来normalize输入的逆过程，如果当μ、σ（calculated from batch）和γ、β一样的话，就等于BN没有任何作用。但是此时需要注意的是，μ和σ是受到每一层的输入的影响的，但是γ和β是独立的，不受输入的影响，并且γ和β是整个网络的参数。通过上面的讲述，可以清楚看到BN在训练神经网络模型的过程中引入了四个新的需要被训练的参数：μ、σ、γ和β。下图是来自论文的上述参数的每个计算公示：
图5 原论文中的计算公式
使用BN在测试阶段同样会遇到一个问题，因为我们知道在training的时候是一个Batch一个Batch进行训练的，但是测试的时候（做预测时）是没有所谓的batch之说的。这个时候一个比较实用的操作就是计算在训练过程μ和σ的moving average，并且让在靠近训练结束的位置占比较大的权重，而刚开始训练的时候占比较小的权重。
最后，来看看使用BN所带来的好处都有哪些：
减少训练时间，这是因为ICS所带来的的影响减小了，由此可以使用较大的学习率；
避免梯度爆炸或者梯度消失（尤其在使用sigmoid和tanh这类激活函数的时候）；
学习率受参数初始化的影响减小；
让训练的模型不那么容易过拟合（overfitting）；
减少对正则化的依赖（如减少使用dropout）；