RBF神经网络

RBF神经网络通常只有三层,即输入层、中间层和输出层。其中中间层主要计算输入x和样本矢量c(记忆样本)之间的欧式距离的Radial Basis Function (RBF)的值,输出层对其做一个线性的组合。

径向基函数:

RBF神经网络

RBF神经网络的训练可以分为两个阶段:
第一阶段为无监督学习,从样本数据中选择记忆样本/中心点;可以使用聚类算法,也可以选择随机给定的方式。

 

RBF神经网络

第二阶段为监督学习,主要计算样本经过RBF转换后,和输出之间的关系/权重;可以使用BP算法计算、也可以使用简单的数学公式计算。

 

RBF神经网络

1. 随机初始化中心点
2. 计算RBF中的激活函数值,每个中心点到样本的距离
3. 计算权重,原函数:Y=GW
4. W = G^-1Y

RBF网络能够逼近任意非线性的函数(因为使用的是一个局部的激活函数。在中心点附
近有最大的反应;越接近中心点则反应最大,远离反应成指数递减;就相当于每个神
经元都对应不同的感知域)。

可以处理系统内难以解析的规律性,具有很好的泛化能力,并且具有较快的学习速度。
有很快的学习收敛速度,已成功应用于非线性函数逼近、时间序列分析、数据分类、
模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。

当网络的一个或多个可调参数(权值或阈值)对任何一个输出都有影响时,这样的网
络称为全局逼近网络。由于对于每次输入,网络上的每一个权值都要调整,从而导致
全局逼近网络的学习速度很慢,比如BP网络。

如果对于输入空间的某个局部区域只有少数几个连接权值影响输出,则该网络称为局
部逼近网络,比如RBF网络。

RBF和BP神经网络的对比

BP神经网络(使用Sigmoid激活函数)是全局逼近;RBF神经网络(使用径向基函数作为激活函数)是局部逼近;
相同点:

1. RBF神经网络中对于权重的求解也可以使用BP算法求解。

不同点:

1. 中间神经元类型不同(RBF:径向基函数;BP:Sigmoid函数)
2. 网络层次数量不同(RBF:3层;BP:不限制)
3. 运行速度的区别(RBF:快;BP:慢)

简单的RBF神经网络代码实现

# norm求模,pinv求逆 from scipy.linalg import norm, pinv import numpy as np from matplotlib import pyplot as plt import matplotlib as mpl mpl.rcParams["font.sans-serif"] = ["SimHei"] np.random.seed(28) class RBF: """ RBF径向基神经网络 """ def __init__(self, input_dim, num_centers, out_dim): """ 初始化函数 :param input_dim: 输入维度数目 :param num_centers: 中间的核数目 :param out_dim:输出维度数目 """ self.input_dim = input_dim self.out_dim = out_dim self.num_centers = num_centers self.centers = [np.random.uniform(-1, 1, input_dim) for i in range(num_centers)] self.beta = 8 self.W = np.random.random((self.num_centers, self.out_dim)) def _basisfunc(self, c, d): return np.exp(-self.beta * norm(c - d) ** 2) def _calcAct(self, X): G = np.zeros((X.shape[0], self.num_centers), float) for ci, c in enumerate(self.centers): for xi, x in enumerate(X): G[xi, ci] = self._basisfunc(c, x) return G def train(self, X, Y): """ 进行模型训练 :param X: 矩阵,x的维度必须是给定的n * input_dim :param Y: 列的向量组合,要求维度必须是n * 1 :return: """ # 随机初始化中心点 rnd_idx = np.random.permutation(X.shape[0])[:self.num_centers] self.centers = [X[i, :] for i in rnd_idx] # 相当于计算RBF中的激活函数值 G = self._calcAct(X) # 计算权重==> Y=GW ==> W = G^-1Y self.W = np.dot(pinv(G), Y) def test(self, X): """ x的维度必须是给定的n * input_dim""" G = self._calcAct(X) Y = np.dot(G, self.W) return Y

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zyfxdy.html