深度学习——手动实现残差网络 辛普森一家人物识别 目标
通过深度学习，训练模型识别辛普森一家人动画中的14个角色
最终实现92%-94%的识别准确率。
数据论文地址 https://arxiv.org/pdf/1512.03385.pdf
残差网络(ResNet)是微软亚洲研究院的何恺明、孙剑等人2015年提出的，它解决了深层网络训练困难的问题。利用这样的结构我们很容易训练出上百层甚至上千层的网络。
残差网络的提出，有效地缓解了深度学习两个大问题
梯度消失：当使用深层的网络时（例如> 100）反向传播时会产生梯度消。由于参数初始化一般更靠近0，这样在训练的过程中更新浅层网络的参数时，很容易随着网络的深入而导致梯度消失，浅层的参数无法更新。
退化问题：层数越多，训练错误率与测试错误率反而升高。举个例子，假设已经有了一个最优化的网络结构，是18层。当我们设计网络结构的时候，我们并不知道具体多少层次的网络时最优化的网络结构，假设设计了34层网络结构。那么多出来的16层其实是冗余的，我们希望训练网络的过程中，模型能够自己训练这16层为恒等映射，也就是经过这层时的输入与输出完全一样，这样子最终的结果和18层是一致的最优的。但是往往模型很难将这16层恒等映射的参数学习正确，那么就一定会不比最优化的18层网络结构性能好，所以随着网络深度增加，模型会产生退化现象。它不是由过拟合产生的，而是由冗余的网络层学习了不是恒等映射的参数造成的。
ResNet使用了一个新的思想，ResNet的思想是假设我们的网络，存在最优化的网络层次，那么往往我们设计的深层次网络是有很多网络层为冗余层的。那么我们希望这些冗余层能够完成恒等映射，保证经过该恒等层的输入和输出完全相同。
这是残差网络的基本单元，和普通的网络结构多了一个直接到达输出前的连线（shortcut）。开始输入的X是这个残差块的输入，F(X)是经过第一层线性变化并激活后的输出。在第二层输出值激活前加入X，这条路径称作shortcut连接，然后再进行激活后输出。
这个残差怎么理解呢？大家可以这样理解在线性拟合中的残差说的是数据点距离拟合直线的函数值的差，那么这里我们可以类比，这里的X就是我们的拟合的函数，而H（x）的就是具体的数据点，那么我通过训练使的拟合的值加上F（x）的就得到具体数据点的值，因此这 F（x）的就是残差了，还是画个图吧，如下图：
引用：https://blog.csdn.net/weixin_42398658/article/details/84627628
ResNet就是在网络中添加shortcut，来构成一个个的残差块，从而解决梯度爆炸和网络退化。
ResNet18网络结构这是一个ResNet18的网络结构，在我的实现中，我根据这个结构搭建网络，并根据自己的实际情况进行调整。
引用：https://www.researchgate.net/figure/ResNet-18-model-architecture-10_fig2_342828449 项目思路
首先，ResNets利用恒等映射帮助解决渐变消失的问题。我开始尝试使用简单的MLP模型，例如一个输入层、一个输出层和三个卷积层。但是它的训练表现很差，只有45%的准确率。所以我需要更多的神经网络层，但是如果太多的神经网络层会导致梯度消失的问题。最后我想到了ResNet。
其次，网络深度决定了savedModel.pth(训练好的模型)的文件大小，该数据集总共有15,000张图像和14个类别，并不是很多。所以我选择了ResNet18，因为我们的数据集不是特别大。
而且不需要更深层次的网络模型。
ResNet18是一个卷积神经网络。它的架构有18层。它在图像分类中是非常有用和有效的。首先是一个卷积层，内核大小为3x3，步幅为1。
在标准的ResNet18模型中，这一层使用7*7的内核大小和步幅2。我在这里做了一些改变。