一种基于AutoEncoder的RBF神经网络训练算法

马艳东

一种基于AutoEncoder的RBF神经网络训练算法

马艳东

RBF神经网络中心宽度等参数确定的是否合理将直接影响到RBF网络的学习性能。通过有监督学习的方法来确定RBF神经网络的参数是最一般化的方法。研究表明，参数的初始化问题是该类方法的关键所在。为此，提出了一种利用AutoEncoder初始化RBF神经网络各个参数的新型训练算法。实验仿真表明，与传统RBF神经网络训练算法相比，该新型算法具有更高的训练精度与更强的泛化能力。

径向基函数（Radial Basis Function，RBF）神经网络是一种高效的前馈神经网络，相对于传统BP（Back Propagation）神经网络，不仅具有结构简单、收敛速度快、泛化能力强等特点，而且还具有优异的函数逼近，全局寻优和最佳逼近能力。因此，RBF神经网络广泛应用于模式识别、语言识别、图像处理和工业控制等领域。研究表明，RBF神经网络节点的宽度、中心、权重等参数确定的是否合理将直接影响到RBF神经网络的学习性能。通过有监督学习的方法来确定RBF神经网络的中心等参数是最一般化的方法。而在这类方法中，参数的初始化问题是关键点。而目前采用最普遍的方法是随机初始化各个参数。但是，由于随机选择的各个参数不能够保证距离最优点的距离足够近。因此，该方法也导致RBF神经网络训练不稳定，容易陷入局部最优。为此，不管从学术研究角度，还是从实际应用角度来说，都需要一种方法能够很好地确定RBF神经网络的各个参数，至少是给个合理的初始化参数。

深度学习（Deep Learning）是人工智能领域最前沿技术，通过建立、模拟人脑视觉系统来进行分析学习的神经网络，在图像识别、语音识别、语义识别等领域表现出了强大的从少数样本中学习数据集本质特征的能力。本文提出采用深度学习中的自动编码器（AutoEncoder）改进RBF神经网络训练算法，用无监督数据训练的权重作为RBF网络各参数的初始化值，然后利用有标签数据，采用有导师训练算法调整各个参数的数值。最后利用训练好的网络来分类或拟合。

RBF神经网络

RBF神经网络是一种特殊的三层前馈神经网络，它能够以任意精度逼近任意连续函数。RBF神经网络结构（如图2）包括一个输入层、一个隐含层和一个输出层，隐含层神经元的个数由具体问题的实际情况决定。输入层节点只传输信号到隐含层，负责将网络与外界实际连接起来。隐含层结点由径向基函数构成，其主要作用是输入空间到隐含层空间之间进行非线性变换，在大多数情况下，隐含层空间有较高的维数。而输出层节点通常是由简单的线性函数构成，其作用主要是为输入层信号作出最终响应。

RBF神经网络的函数表达式为：

由于RBF神经网络隐含层结点常用的径向基函数是高斯（Gauss）函数，则RBF神经网络的表达式可以写为：

RBF神经网络的训练算法如下。

Step 1：随机初始化径向基函数的中心、半径与隐含层到输出层的连接权重。

Step 2：通过梯度下降方法来对神经网络中三种参数进行监督训练优化。其代价函数是网络实际输出F（ x）与其期望输出d 的均方误差：

然后，每次迭代，在误差梯度的负方向上，以一定的学习速率调整参数。下面是各个参数的更新函数。

其中，cj为第j个隐含层神经元节点的中心，∆cj为第j个隐含层神经元节点中心的的更新步长。δj为第j个隐含层神经元节点的宽度，∆δj为第j个隐含层神经元节点宽度的的更新步长。wj为第j个隐含层神经元节点与输出层节点的连接权重，∆δj为第j个隐含层神经元节点与输出层节点的连接权重的更新步长。

图1　径向基函数神经网络结构图

图2　AutoEncoder原理图

AutoEncoder自动编码器

AutoEncoder自动编码器是深度学习领域重要算法之一，是利用人工神经网络具有层次结构的特点，假定其输出数据与输入数据相同，即输入数据的类标是其本身。然后，训练调整网络各个参数，得到每一层结点的参数及权重。通常隐含层结点的数目要小于输入层结点的数目。那么，在给定的假定条件下，隐含层结点的直接输出值可以看做从输入数据抽取出来的特征。也就是说可以利用隐含层直接输出的数据恢复输入层的数据。这样AutoEncoder就是一种尽可能复现输入信号的神经网络，其原理图如图2所示，其中输入数据维数为M，隐含节点数目为N，且N〈M。

基于AutoEncoder的RBF神经网络训练算法

针对AutoEncoder自编码器提取的输入特征能够更好地发现样本间的相关性的优点，本算法拟利用AutoEncoder训练结果，来替代随机初始化RBF神经网络各个参数，其后再接着利用梯度下降法进行进一步的调整更新网络的各个参数。

其算法步骤如下：

Step 1 ：设置算法终止条件

（1）条件1：RBF神经网络的训练精度。

（2）条件2：梯度下降更新网络参数的最大迭代次数。

只要满足上述2个条件的任何一条即可结束迭代。

Step 2： 归一化训练样本，这里采用min-max标准化方法，其转换函数如下：

其中，x*为样本数据转换后的标准数据，且有x*∈［0，1］。xmax为样本数据中的最大值。xmin为样本数据中的最小值。x为样本数据的原始值。

Step 3：随机抽取样本数据的70％作为训练集，其余30％为测试集。

Step 4：在训练集上，利用AutoEncoder自编码器进行学习训练。训练结束后得到RBF神经网络NN*。

Step 5：在网络NN*各个参数的基础上，利用梯度下降方法继续调整更新各个参数，直至满足终止条件。

仿真实验

下面对本文提出的算法进行仿真实验，试验数据特选取UCI机器学习数据库中的Iris、Glass、Wine等3个数据集，作为样本集。各个数据集的基本情况参见表1。

表1　Iris、Glass、Wine等数据集基本情况

为验证本算法的可行性与先进性，特采取在第2节描述的采样随机输出宏网络各个参数的传统训练方法作为对比，采用相同的隐含层节点数，分别对上述3个数据集重复进行10仿真实验，取其识别精度的平均值作为其训练与测试能力的评价标准。

仿真实验结果如表2所示。

表2　仿真实验结果

从实验结果可知，在选取相同数目的隐含层结点的前提下，本文提出的算法，无论在训练集的训练精度，还是在测试集上的测试精度上，都比采用传统随机初始化网络各个参数的方法都有较好的表现。

结语

AutoEncoder自动编码器能够采用无监督特征学习算法，模拟人类视觉系统，来对原始样本数据进行分析学习，表现出了强大的从少数样本中学习数据集本质特征的能力，在图像识别、语音识别、语义识别等领域有着广阔的应用前景。本文利用AutoEncoder算法初始化RBF神经网络参数，接着利用梯度下降方法来调整更新网络的参数。经过试验仿真，说明了本文所提的算法具有可行性与先进性，相对于传统方法，具有更好的学习能力与泛化能力。对RBF神经网络的进一步推广应用有着积极的作用。

10.3969/j.issn.1001-8972.2015.09.018