在CIFAR-10上层响应的标准方差(std)
以标准方差来展示层响应，响应是每一个3*3卷积层的BN之后、非线性层(ReLU/addition)之前的输出，实验表明ResNets的响应比它对应的普通网络的响应要小，即残差函数比非残差函数更接近于0，同时越深的ResNet的响应幅度越小。当使用越多层时，ResNets中单个层对信号的改变越少
总结网络随着深度的增加，训练误差和测试误差非但没有降低，反而变大了，然而这种问题的出现并不是因为过拟合，该现象被称为退化问题(degradation problem)，本文即是为了解决深度神经网络中产生的退化问题
\(x\)作为我们的输入，期望的输出是\(H(x)\)，如果我们直接把输入\(x\)传到输出作为初始结果，那么我们需要学习的目标就变成了\(F(X) = H(x) - x\)。Resnet相当于将学习目标改变了，不再是学习一个完整的输出\(H(x)\)，而是\(H(x)-x\)，即残差，进行这样的改变不会计算量和参数，却能使网络更容易优化。然后，ResNet就是在原来网络的基础上，每隔2层（或者3层，或者更多）的输出\(F(x)\)上再加上之前的输入\(x\)。这样做，整个网络就可以用SGD方法进行端对端的训练，用目前流行的深度学习库（caffe等）也可以很容易地实现
本文提出的深度残差学习架构，其中的构建块为
该结构的思想就是：如果增加的层能够改善恒等映射，更深的网络应该不会比对应的浅层网络的训练误差大。如果恒等映射是最优的，训练会驱使增加的非线性层的权重趋于0以靠近恒等映射
这种网络的优点有
更容易优化
网络越深，准确率越高