一般在分类应用中,需要分很多类别,那么,神经网络在多分类应用中又是怎么实现的呢?看下图,我们可以清晰地看到,采
用二进制编码式的形式,可以完美地解决这个问题。
那么又是如何求出这些权重值得呢,其实学过线性回归、逻辑回归的童鞋应该知道,对~,使用代价函数。但是神经网络的激
励函数不同,其代价函数也有所不同,为了方便起见,此处与下文的激励函数全部取为S型函数。神经网络的代价函数如下,由于
此处采用的是S型函数,是否会觉得其形式有点像逻辑回归的代价函数呢?(本人看了一下,正则项还是区别很大的~)
BP神经网络
BP(Back Propagation)神经网络是目前神经网络领域最成功的算法之一。它是一种按误差逆传播算法训练的多层前馈网络,
能学习和存贮大量的输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。
BP算法可以求出最佳权值,下面来看看BP算法的基本原理。首先,利用前向传播算法求出各层的激励值,如下图所示: