RBF神经网络LM算法的改进

王永辉（哈尔滨石油学院，黑龙江哈尔滨，150027）



RBF神经网络LM算法的改进

王永辉
（哈尔滨石油学院，黑龙江哈尔滨，150027）

摘要：文章对现有的RBF神经网络算法进行改进，改进的基本思想是：采用L-M算法训练RBF网络，并对L-M算法的重要参数提出一种随迭代步数的动态调整方法，从而提高运算的精度和效率，并经过仿真验证了提出改进方案的有效性。

关键词：RBF神经网络；算法；改进

自从1989年多层神经网络被证明是连续函数的一致逼近器以来，人工神经网络研究得到了长足发展，现已被广泛应用于各个研究领域。本文研究的是在已有神经网络算法基础上进行改进优化，使其运算精度和计算效率更高。

1　径向基函数

径向基函数（radial baisi function，RBF），是在高维空间进行插值的一种技术，是由J.moody和C.Darken于20世纪80年代提出的一种神经网络结构类型。径向基函数通常定义为空间中任一点到某一中心之间欧氏距离的单调函数，如式（1）所示。

RBF网络是一种前向网络，它能够以任意精度逼近任意连续函数。它共有三层。信号源结点组成输入层；隐含层为第二层，隐单元数根据将要描述问题的情况进行确定，隐单元采用的是RBF径向基变换函数，第三层为线性输出层。

关于RBF网络模型的确定方法，输入节点和输出节点根据要解决的具体问题确定，输入节点的个数，就是影响因素的数目，而输出节点的个数即为评价结果的等级数。隐层节点通常根据聚类算法或多次试验决定。令输入层由n个节点，隐层有h个节点，输出层有m个节点，网络模型如图1所示。

图1　RBF神经网络模型

2　梯度下降的RBF神经网络算法

此时采用 BP算法同时训练隐层径向基神经元的中心、方差和输出层权值。

具体调整方法为：

3　改进的RBF神经网络算法

本节对现有的RBF神经网络算法进行改进，改进的基本思想是：采用L-M算法训练RBF网络，并对L-M算法的重要参数提出一种随迭代步数的动态调整方法。

3.1L-M 算法概述

Levenberg-Marquardt算法（简称L-M算法）是一种应用广泛的优化算法之一，它能对大规模的参数进行优化处理。

该方法是高斯—牛顿算法和梯度下降法的结合，因此它具有高斯—牛顿算法的局部快速收敛的特性性，又能利用梯度下降法对全局展开搜索，规避了不能有效处理非正定和奇异矩阵的弱点。L-M 算法采用近似二阶求导，因此它比梯度下降法的运算效率快。

雅克比矩阵为

则L-M算法的迭代式为

3.2改进的L-M 算法

图2　L-M算法控制参数随迭代步数的变化

神经网络训练问题，本质上都可归结为优化问题，可统一描述为多元函数求极值问题。众所周知，在优化过程的开始阶段，搜索应该迈大步，从未有利于全局搜索，而在优化过程的后期，搜索应该迈小步，以使算法不至于错过全局最优解。反映到RBF神经网络训练中，在训练初期，应使的取值相对较小，以使算法采用近似高斯牛顿的二阶收敛速度逼近最优解，而在算法后期使的取值相对较大，以使算法采用近似梯度下降法的一阶收敛速度逼近最优解。

3.3算例仿真

训练样本为图3所示四个函数。分别在每条曲线上等间隔采集50个样本点，采用RBF神经网络识别采集的这些点，分别来自那条曲线。

网络结构为：输入层两个节点，隐层10个节点，输出层1个节点。，迭代步数取1000，误差精度取10-3，收敛曲线如图4所示。

图3　样本函数曲线

图4　RBF网络训练的收敛曲线

在传统RBF网络模型和算法的基础上提出了一种基于改进L-M算法的RBF网络训练新算法，仿真实验验证了提出改进方案的有效性。

参考文献

李盼池. 一种量子神经网络模型学习算法及应用［J］. 控制理论与应用， 2009（5）： 531- 534.

Improvement of LM algorithm for RBF neural network

Wang Yonghui
（Harbin Petroleum Institute，Harbin， Heilongjiang，150027）

Abstract：The article on the existing RBF neural network algorithm was improved，improved the basic idea is: using L-M algorithm is used to train the RBF network，and important parameters of L-M algorithm a with iterative dynamic adjusting method for number of walking，so as to improve the computational precision and efficiency，and through simulation verified the effectiveness of the improved scheme are put forward.

Keywords：RBF neural network；algorithm；improvement

作者简介

王永辉（1981），男，讲师，主要从事计算机教学及管理工作