[2014.09]inception v1: https://arxiv.org/pdf/1409.4842.pdf
[2015.02]inception v2: https://arxiv.org/pdf/1502.03167.pdf
[2015.12]inception v3: https://arxiv.org/pdf/1512.00567.pdf
[2016.02]inception v4: https://arxiv.org/pdf/1602.07261.pdf
【microsoft】
[2015.12]resnet : https://arxiv.org/pdf/1512.03385v1.pdf
【Facebook】
[2016.11]resnext : https://arxiv.org/pdf/1611.05431.pdf
【CORNELL & Tsinghua & Facebook】
[2016.08]DenseNet : https://arxiv.org/pdf/1608.06993.pdf
【momenta】
[2017.09]SEnet : https://arxiv.org/pdf/1709.01507.pdf
Inception v1【主要贡献】
在传统网络中，神经网络都是通过增加深度来扩展的。Inception结构的最大特点是从网络的宽度上进行改进，通过concat操作将经过不同kernel尺度处理的feature map进行拼接。
【其他贡献】
使用global average pooling代替全连接层，减小参数数量；使用1*1卷积层来缩减通道数量
【主要贡献】
首次提出BN层，减少Internal Covariate Shift。
【主要贡献】
提出卷积分解，用两个3*3卷积核代替5*5的卷积，用三个3*3卷积核代替7*7卷积核，后来提出用1*n,n*1的卷积核代替n*n
【主要贡献】
基于inception v3的基础上，引入残差结构，提出了inception-resnet-v1和inception-resnet-v2，并修改inception模块提出了inception v4结构。
【值得一提的是】
基于inception v4的网络实验发现在不引入残差结构的基础上也能达到和inception-resnet-v2结构相似的结果，从而认为何凯明等人认为的：“要想得到深度卷积网络必须使用残差结构”这一观点是不完全正确的。
感觉到Inception v4，结构就有点诡异而复杂了，有点魔改的味道。
就是有一个残差结构，其他部分也是跟inception v4类似。
与incpetion-resnet-v1差别不大，在通道数上做了修改。
在inception-resnet-v1与inception v3的对比中，inception-resnet-v1虽然训练速度更快，不过最后结果有那么一丢丢的差于inception v3；
在inception-resnet-v2与inception v4的对比中，inception-resnet-v2的训练速度更块，而且结果比inception v4也更好一点。所以最后胜出的就是inception-resnet-v2。
【个人建议把重点放在inceptionv1-v3上，对v4了解一下即可】
Resnetresnet提出是在Inception v3和inception v4中间，这样时间线就连上了。
【主要贡献】
残差结构提出解决了梯度消失的问题。
左边是基本的结构，右边是使用1*1卷积核来降低参数。
下图是VGG网络，plain网络和残差网络的对比，重点就是体现残差网络的残差结构的跳跃的感觉。
增加网络的深度depth是改进网络的一种思路，GoogLeNet增加网络的宽度width是另一种思路，ResNext提出了一种新的方式叫做cardinality，基数。