本人弱学校的CS 渣硕一枚，在找工作的时候，发现好多公司都对深度学习有要求，尤其是CNN和RNN，好吧，啥也不说了，拿过来好好看看。以前看习西瓜书的时候神经网络这块就是一个看的很模糊的块，包括台大的视频，上边有AutoEncoder，感觉很乱，所以总和了各种博客，各路大神的知识，总结如果，如有问题，欢迎指出。
1 人工神经网络
1.1 神经元
神经网络由大量的神经元相互连接而成。每个神经元接受线性组合的输入后，最开始只是简单的线性加权，后来给每个神经元加上了非线性的激活函数，从而进行非线性变换后输出。每两个神经元之间的连接代表加权值，称之为权重（weight）。不同的权重和激活函数，则会导致神经网络不同的输出。
举个手写识别的例子，给定一个未知数字，让神经网络识别是什么数字。此时的神经网络的输入由一组被输入图像的像素所激活的输入神经元所定义。在通过非线性激活函数进行非线性变换后，神经元被激活然后被传递到其他神经元。重复这一过程，直到最后一个输出神经元被激活。从而识别当前数字是什么字。
神经网络的每个神经元如下
基本wx + b的形式，其中
b为偏置bias
g(z) 为激活函数
a 为输出
如果只是上面这样一说，估计以前没接触过的十有八九又必定迷糊了。事实上，上述简单模型可以追溯到20世纪50/60年代的感知器，可以把感知器理解为一个根据不同因素、以及各个因素的重要性程度而做决策的模型。
举个例子，这周末北京有一草莓音乐节，那去不去呢？决定你是否去有二个因素，这二个因素可以对应二个输入，分别用x1、x2表示。此外，这二个因素对做决策的影响程度不一样，各自的影响程度用权重w1、w2表示。一般来说，音乐节的演唱嘉宾会非常影响你去不去，唱得好的前提下 即便没人陪同都可忍受，但如果唱得不好还不如你上台唱呢。所以，我们可以如下表示：
这样，咱们的决策模型便建立起来了：g(z) = g(