1 小波神经网络
1.1 小波神经网络的基本理论
小波分析是近年来发展起来的数学理论,被认为是Fourier分析以来的重大突破。小波分析的定义为:
子与平移因子。小波神经网络是基于小波分析而构造出的一类前馈网络,可看作是以小波函数为基底的一种新型函数联接神经网络。它以小波空间作为模式识别的特征空间,通过将小波基与信号向量的内积进行加权和来实现信号的特征提取,结合小波变换良好的时频局域化性质及传统神经网络的自学习功能。这种网络在处理复杂非线性函数关系等问题上表现出优于传统神经网络的收敛速度、容错能力、预报效果,具有广泛的应用前景。
1.2 小波网络结构
小波神经网络如图1,其中学习样本经输入层投影压缩后作用于小波神经网络。
图中,输入端有n个节点,隐层有j个节点,输出层有m个节点,给定P组输入输出样本,Xp=[xp1,xp2,…,xpn]为网络输入,Yp=[yp1,yp2,…,ypn]为网络输出。隐层选取的小波为Morlet小波h(t)=cos(1.75t)e(-t2/2),对网络的输出也并不是进行简单的加权求和,而是先对网络隐层小波节点的输出加权求和,经Sigrnoid函数变换后,得到最终的网络输出。这样做有利于处理分类问题,同时减少训练过程中发散的可能性。
2 小波神经网络的改进
2.1 输出层函数的改进
在一般的小波神经网络中,总是应用Sigmoid函数作为输出层的激励函数。Sigmoid函数的输出值是0和1之间的数。当输出值接近于0或1时,网络输出几乎对网络出入失去敏感性。也就是说,改变权重已经几乎不起作用(这被称为函数饱和)。如果网络的实际输出值远离期望值,就很难对网络进行矫正了,从而使收敛速度变得很慢。因此本文用如(3)式所示的函数代替传统的Sigmoid函数。
在(2)式中τ是一个小数,调整参数τ将会自动的调节函数饱和区从而加速收敛。
2.2 代价函数的改进
本文对小波神经网络代价函数进行了改进,用“熵函数”代替传统的均方误差函数作为代价函数。使用熵函数E(d,y)=dlny+(1一d)]n(1一y)作为神经网络的代价函数,可使网络的各参数调整量在局部最小点附近不为零,即网络不会陷入局部最小点。因此可以使用“熵函数”代替均方误差函数作为网络的代价函数。
2.3 改进的网络学习算法
1)首先约定ωh0是第h个隐层节点阈值,ωωmo是第m个输出节点阈值(即x0=-1)。算法从输入层到输出层的顺序。
隐含层第h个节点的输入为