ResNet(2015)
一、背景介绍卷积神经网络(Convolutional Neural Networks，CNN)，CNN可以有效的降低反馈神经网络(传统神经网络)的复杂性，常见的CNN结构有LeNet-5、AlexNet、ZFNet、VGGNet、GoogleNet、ResNet等等，其中在LVSVRC2015冠军ResNet是AlexNet的20多倍，是VGGNet的8倍；从这些结构来讲CNN发展的一个方向就是层次的增加，通过这种方式可以利用增加的非线性得出目标函数的近似结构，同时得出更好的特征表达，但是这种方式导致了网络整体复杂性的增加，使网络更加难以优化，很容易过拟合。
CNN的应用主要是在图像分类和物品识别等应用场景应用比较多
数据输入层：Input Layer
卷积计算层：CONV Layer
ReLU激励层：ReLU Incentive Layer
池化层：Pooling Layer
全连接层：FC Layer
备注：Batch Normalization Layer（可能有）
LeNet：最早用于数字识别的CNN
AlexNet：2012年ILSVRC比赛冠军，远超第二名的CNN，比LeNet更深，用多层小卷积叠加来替换单个的大卷积
ZF Net：2013ILSVRC冠军
GoogleNet：2014ILSVRC冠军
VGGNet：2014ILSVRC比赛中算法模型，效果率低于GoogleNet，但是使用较多，因为简单。
ResNet：2015ILSVRC冠军，结构修正以适应更深层次的CNN训练
模型名 AlexNet ZFNet VGG GoogLeNet ResNet 年份 2012 2013 2014 2014 2015 层数 8 8 19 22 152 Top-5错误 16.4% 11.2% 7.3% 6.7% 3.57% Data Augmentation + + + + + Inception(NIN) – – – + – 卷积层数 5 5 16 21 151 卷积核大小 11,5,3 7,5,3 3 7,1,3,5 7,1,3,5 全连接层数 3 3 3 1 1 全连接层大小 4096,4096,1000 4096,4096,1000 4096,4096,1000 1000 1000 Dropout + + + + + Local Response Normalization + + – + – Batch Normalization