停更博客好长一段时间了，其实并不是没写了，而是转而做笔记了，但是发现做笔记其实印象无法更深刻，因此决定继续以写博客来记录或者复习巩固所学的知识，与此同时跟大家分享下自己对深度学习或者机器学习相关的知识点，当然浅薄之见如有说错表达错误的，欢迎大家指出来。废话不多说，进入今天的主题：Batch Normalization。
Batch Normalization（BN）是由Sergey Ioffe和Christian Szegedy在2015年的时候提出的，后者同时是Inception的提出者（深度学习领域的大牛），截止至动手写这篇博客的时候Batch Normalization的论文被引用了12304次，这也足以说明BN被使用地有多广泛。在正式介绍BN之前，有必要了解下feature scaling（特征归一化），这是不论做传统机器学习也好或者现在深度学习也好，预处理阶段可以说是必不可少的一步也是确保模型能够正常学习非常重要的一步。
1、为什么需要使用feature scaling？
Feature scaling指的是对输入的数据特征进行归一化操作（一般有min-max normalization或者min-max standardization两种）以确保所有特征的值处于同一维度。假设现在有x1和x2是两个特征，从公式a = Sigmoid(WTX + b)计算loss可以知道，如果x1和x2的特征值差别很大的话但是假设他们对结果的影响力一致的话（如下图所示），那么意味着w1的数值维度会比较大, w2的数值维度则会比较小，而如果要使w1和w2有一个同等的变化（如果这样子需要设置不同的learning rate进行更新，针对w2的步长要设置编辑哦大而w1比较小来更新，以此来使模型的loss达到收敛，参照图2来理解，这里要稍微想象一下，我最开始也比较困惑为什么使如此），那么意味着x1w1的结果就比较小，而x2w2的结果会比较大（根据个人建模的经验来说，如果特征数值维度差别很大的话，一般模型很难训练，直白点说就是loss几乎不收敛，可能刚开始收敛，后面就乱串了，有其他经历的朋友可以留言告知下）。由此可以影响训练速度和精度，因为针对不同的特征，需要不同的学习率来调整，由此拖慢了训练速度。
图1 简单的神经元计算流程
图2 特征值差异较大时的训练过程（左）和特征值大小处于同一维度的训练过程（右）
一般的feature scaling是如何做呢？计算每个dimension的mean和每个dimension的std（feature scaling之后的每一维的值的均值为0，方差为1），做feature scaling之后梯度下降收敛会快点。当对输入的特征做完feature scaling之后，不免会引起一定困惑，那就是在神经网络中由于网络结构含有多层隐藏层，每一层隐藏层的输入时下一层的输入，那么这些隐藏层的输入（下面统一用这种说辞，避免混淆）是否需要也进行feature scaling呢？经过Sergey Ioffe和Christian Szegedy的验证答案是肯定的。
2、神经网络中隐藏层为什么要做feature scaling?
2.1 Internal Covariate Shift
在正式进入正题之前，同样十分有必要解释下Internal Covariate shift（ICS）是什么以及对深度学习训练模型的影响？在此之前，又得再先确认一个概念，那就是：深度学习和机器学习在进行模型训练的时候都是基于数据IID（Independently identically distribution，独立同分布）的情况。那什么是独立同分布呢？独立（两个事件没有关联）意味着数据之间（一般指训练数据和测试数据，测试数据一般又指未见过的数据）是相互独立的，同分布则指明数据具有相同分布形状并且具有相同分布的参数（这里可以想象下为为什么针对采样自统一分布的数据进行模型训练和学习，例如想象下参数的变化，数据集拆分符合分布规律等等，也就能明白IID是如何影响深度学习模型和机器学习模型的），更直观点说就是选取用于训练的数据要具有全局代表性，以便可以对未知的数据进行预测。