过拟合
导致样本属于某个类别的概率非常的大，模型太过于自信自己的判断。
所以，使用了一种平滑方法，可以使得类别概率之间的差别没有那么大.
《Deep Residual Learning for Image Recognition》
《Identity Mappings in Deep Residual Networks》
何凯名大神的主页
解决深度网络的退化问题，常规的网络的堆叠（plain network）在网络很深的时候，效果却越来越差了。其中的原因之一即是网络越深，梯度消失的现象就越来越明显，网络的训练效果也不会很好。
但是现在浅层的网络（shallower network）又无法明显提升网络的识别效果了，所以现在要解决的问题就是怎样在加深网络的情况下又解决梯度消失的问题。
作者提出了Residual的结构：
即增加一个identity mapping（恒等映射），将原始所需要学的函数H(x)转换成F(x)+x，而作者认为这两种表达的效果相同，但是优化的难度却并不相同，作者假设F(x)的优化 会比H(x)简单的多。这一想法也是源于图像处理中的残差向量编码，通过一个reformulation，将一个问题分解成多个尺度直接的残差问题，能够很好的起到优化训练的效果。
这个Residual block通过shortcut connection实现，通过shortcut将这个block的输入和输出进行一个element-wise的加叠，这个简单的加法并不会给网络增加额外的参数和计算量，同时却可以大大增加模型的训练速度、提高训练效果，并且当模型的层数加深时，这个简单的结构能够很好的解决退化问题。
接下来，作者就设计实验来证明自己的观点。
首先构建了一个18层和一个34层的plain网络，即将所有层进行简单的铺叠，然后构建了一个18层和一个34层的residual网络，仅仅是在plain上插入了shortcut，而且这两个网络的参数量、计算量相同，并且和之前有很好效果的VGG-19相比，计算量要小很多。这也是作者反复强调的地方，也是这个模型最大的优势所在。
模型构建好后进行实验，在plain上观测到明显的退化现象，而且ResNet上不仅没有退化，34层网络的效果反而比18层的更好，而且不仅如此，ResNet的收敛速度比plain的要快得多。
对于shortcut的方式，作者提出了三个选项：
使用恒等映射，如果residual block的输入输出维度不一致，对增加的维度用0来填充；
在block输入输出维度一致时使用恒等映射，不一致时使用线性投影以保证维度一致；
对于所有的block均使用线性投影。
对这三个选项都进行了实验，发现虽然3的效果好于2的效果好于1的效果，但是差距很小，因此线性投影并不是必需的，而使用0填充时，可以保证模型的复杂度最低，这对于更深的网络是更加有利的。另外，shortcut过程中，stride是2可以保证feature map的大小一致。
进一步实验，作者又提出了deeper的residual block：
这相当于对于相同数量的层又减少了参数量，因此可以拓展成更深的模型。于是作者提出了50、101、152层的ResNet，而且不仅没有出现退化问题，错误率也大大降低，同时计算复杂度也保持在很低的程度。
这个时候ResNet的错误率已经把其他网络落下几条街了，但是似乎还并不满足，于是又搭建了更加变态的1202层的网络，对于这么深的网络，优化依然并不困难，但是出现了过拟合的问题，并且也很容易出现梯度消失或者梯度爆炸问题，这是很正常的，作者也说了以后会对这个1202层的模型进行进一步的改进。
Inception v4 和 Inception -ResNet 在同一篇论文《Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning》中介绍。为清晰起见，我们分成两个部分来介绍。
Inception-ResNet v1 和 v2受 ResNet 的优越性能启发，研究者提出了一种混合 inception 模块。Inception ResNet 有两个子版本：v1 和 v2。在我们分析其显著特征之前，先看看这两个子版本之间的微小差异。
Inception-ResNet v1 的计算成本和 Inception v3 的接近
Inception-ResNetv2 的计算成本和 Inception v4 的接近
它们有不同的 stem，正如 Inception v4 部分所展示的