人工神经网络(英语:Artificial Neural Network,ANN),简称神经网络(Neural Network,NN)或类神经网络,在机器学习和认知科学领域,是一种模仿生物神经网络(动物的中枢神经系统,特别是大脑)的结构和功能的数学模型或计算模型,用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构,是一种自适应系统,通俗的讲就是具备学习功能。现代神经网络是一种非线性统计性数据建模工具。典型的神经网络具有以下三个部分:
结构(Architecture)结构指定了网络中的变量和它们的拓扑关系。例如,神经网络中的变量可以是神经元连接的权重(weights)和神经元的激励值(activities of the neurons)。
激励函数(Activity Rule)大部分神经网络模型具有一个短时间尺度的动力学规则,来定义神经元如何根据其他神经元的活动来改变自己的激励值。一般激励函数依赖于网络中的权重(即该网络的参数)。
学习规则(Learning Rule)学习规则指定了网络中的权重如何随着时间推进而调整。这一般被看做是一种长时间尺度的动力学规则。一般情况下,学习规则依赖于神经元的激励值。它也可能依赖于监督者提供的目标值和当前权重的值。例如,用于手写识别的一个神经网络,有一组输入神经元。输入神经元会被输入图像的数据所激发。在激励值被加权并通过一个函数(由网络的设计者确定)后,这些神经元的激励值被传递到其他神经元。这个过程不断重复,直到输出神经元被激发。最后,输出神经元的激励值决定了识别出来的是哪个字母。
—————来自维基百科
非线性假设(Non-linear hypotheses)神经网络是一种古老的算法。早期的神经网络之所以没有被人关注,因为当时的计算机运行速度不行。现在神经网络可用于处理大规模数据的机器学习。
神经元与大脑(Neurons and the brain)神经网络的起源与发展历程
模型展示1(Model representation)
树突(Dendrite):input作用,接收来自其他神经元的信息。
轴突(Axon):output作用,给其他神经元传递信号或者传递信息。
神经元(Neuron):神经元是一个计算单元,它从输入通道接收一定数目的信息,并做一定的计算,然后结果通过它的轴突传送到其他节点,或者大脑中的其他神经元。
神经网络中,第一层为输入层,最后一层为输出层,中间的层次都叫隐藏层,可以有不止一个隐藏层。
神经网络其实是一组神经元链接在一起的集合。激活项:由一个具体神经元计算并输出的值。
模型展示2(Model representation)前向传播:输入层——隐藏层——输出层
多元分类(Multi-class classfication)
多元分类,即具有多个输出单元