本文根据最近学习TensorFlow书籍网络文章的情况,特将一些学习心得做了总结,详情如下.如有不当之处,请各位大拿多多指点,在此谢过。
1、卷积神经网络（ConvolutionNeural Network，CNN）
19世纪60年代科学家最早提出感受野（ReceptiveField）。当时通过对猫视觉皮层细胞研究，科学家发现每一个视觉神经元只会处理一小块区域的视觉图像，即感受野。20世纪80年代，日本科学家提出神经认知机（Neocognitron）的概念，被视为卷积神经网络最初的实现原型。神经认知机中包含两类神经元：S-cells和C-cells。S-cells用来抽取特征，对应我们现在主流卷积神经网络中的卷积核滤波操作；C-cells用来抗形变，对应现在的激活函数、最大池化（Max-Pooling）等操作。
一般情况下，卷积神经网络由多个卷积层构成，每个卷积层通常会进行如下操作：
(1) 图像通过多个不同的卷积核的滤波，并加偏置（bias），提取出局部特征，每一个卷积核会映射出一个新的2D图像。
(2) 将前面卷积核的滤波处理结果，进行非线性的激活函数处理。目前最常见的是使用ReLU函数，之前Sigmoid函数应用较多。
(3)多激活函数处理的结果再进行池化操作（即降采样，例如：将4*4的图片降为1*1的图片），一般会使用最大池化，保留最显著特征，并提升模型畸变容忍能力。
这几个步骤就构成了最常见的卷积层，也可以再加上一个LRN（LocalResponse Normalization，局部响应归一化层）层，现在非常流行的Trick还有BatchNormalization等。
2、池化层
3、卷积核尺寸
4、神经网络算法相关特性
4.1、优点
（1）可以高效提取特征。
当我们面对一个分类任务时，传统的机器学习算法，一般要首先明确feature和label，然后拿数据取“喂”训练模型并保存，最后测试模型的准确性。这就需要我们确定好特征，当特征数目很少就无法精确进行分类而引起欠拟合；当特征数目很多，又会在分类过程中太过于看重某个特征引起分类错误，产生过拟合。而神经网络则不需要做大量的特征工程，可以直接把数据“灌”进去而让其自身训练，自我“修正”，即可达到预期效果。
（2）数据格式更加简易
利用传统的机器学习解决分类问题时，数据不能直接“灌”进去的，需要对数据进行一些处理，譬如量纲的归一化，格式的转化等等，然而在神经网络里却不需要额外对数据做过多的处理。
（3） 参数数目的少量性
同样在面对一个分类问题时，利用传统机器学习SVM来做的话，需要涉及核函数，惩罚因子，松弛变量等等参数，而这些不同的参数组合会对模型效果产生不一样的影响，想要迅速而又准确的得到最适合模型的参数，需要对相关理论知识有深入研究，但对于一个基本的三层神经网络来说(输入-隐含-输出)，只需要初始化时给每一个神经元上随机的赋予一个权重w和偏置项b，在训练过程中，这两个参数就会不断的修正，调整到最优质，使模型的误差最小。所以从这个角度来看，我们的工作效率会更佳。
4.2、缺点