MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
MobileNetV2: Inverted Residuals and Linear Bottlenecks
自从AlexNet在2012年赢得ImageNet大赛的冠军一来，卷积神经网络就在计算机视觉领域变得越来越流行，一个主要趋势就是为了提高准确率就要做更深和更复杂的网络模型，然而这样的模型在规模和速度方面显得捉襟见肘，在许多真实场景，比如机器人、自动驾驶、增强现实等识别任务及时地在一个计算力有限的平台上完成，这是我们的大模型的局限性所在。
目前针对这一问题的研究主要是从两个方面来进行的：
对复杂模型采取剪枝、量化、权重共享等方法，压缩模型得到小模型；
直接设计小模型进行训练。
MobileNet系列就属于第二种情况。
MobileNet V1核心在于使用深度可分离卷积取代了常规的卷积。
MobileNet V2在MobileNet V1的基础山进行了如下改进：
去掉了bottleneck的非线性激活层
使用Inverted residual block
深度可分离卷积深度可分离卷积可分为两部分：
深度卷积（depthwise convolution）
逐点卷积（pointwise convolution）
在进行深度卷积的时候，每个卷积核只关注单个通道的信息，而在逐点卷积中，每个卷积核可以联合多个通道的信息。以下我们通过一个具体的例子说明常规卷积与深度可分离卷积的区别。
以下讨论均基于padding=same的情况。
常规卷积操作如下图：
假设输入层为一个大小为64×64像素、三通道彩色图片。经过一个包含4个卷积核的卷积层，卷积核尺寸为3×3×3。最终则会输出4个Feature Map，且尺寸与输入图像尺寸相同。
深度可分离卷积操作中深度卷积如下图：
图中深度卷积使用的是3个尺寸为3×3的卷积核，经过该操作之后，输出的特征图尺寸为64×64×3。
深度可分离卷积操作中逐点卷积如下图：
图中逐点卷积使用的是4个尺寸为1×1×3的卷积核，经过该操作之后，输出的特征图尺寸就为64×64×4。
那么可分离卷积相对于常规卷积计算量有多少降低呢？
假设输入图像尺寸为\(D_F * D_F * M\)，标准卷积核尺寸为\(D_K * D_K * M * N\)，其中\(M\)为通道数，\(N\)为卷积核个数。
采用标准卷积核进行卷积时，输出尺寸为\(D_F * D_F * N\)，计算量为\(D_K * D_K * M * N * D_F * D_F\)。
采用可分离卷积的计算量为：
\(D_K * D_K * M * D_F * D_F + M * N * D_F * D_F\)
前半部分为尺寸为\(D_F * D_F * M\)的原图经过\(M\)个\(D_K * D_K\)的卷积核的计算量，后半部分为尺寸为\(D_F * D_F * M\)的特征图经过\(N\)个\(1 * 1 * M\)的卷积核的计算量。
则，可分离卷积相对常规卷积的计算量对比为：
\(\frac{D_K * D_K * M * D_F * D_F + M * N * D_F * D_F}{D_K * D_K * M * N * D_F * D_F} = \frac{1}{N} + \frac{1}{D_K^2}\)
卷积核的个数一般比较大，在此可以忽略，而最常使用的卷积核尺寸为\(3 * 3\)，这样，可分离卷积相对常规卷积，计算量就降为了\(\frac{1}{9}\)。
V2版本相对于V1版本，主要是针对激活函数进行了思考，并且引入了残差连接。
使用如\(ReLU\)之类的激活函数能够给神经网络带来如下好处：1. 压缩模型参数，这可有效地使得模型计算量变小；2. 给神经网络引入非线性变化，使得模型能够拟合任意复杂的函数。
作者首先使用矩阵\(T\)将原始数据\(X_m\)映射到高维空间，之后使用\(ReLU\)函数将高维数据进行压缩，然后使用矩阵\(T\)的逆矩阵\(T^{-1}\)将高维数据映射回原空间，变化函数如下：
\[
Y = ReLU(T * X_m)
\\
X_m^{-1} = T^{-1} * Y
\]
下图展示了原始数据特征以及将原始数据映射到高维空间之后再映射回来之后的特征。