模糊多分辨率神经网络：原理、算法与应用

### 模糊多分辨率神经网络：原理、算法与应用 #### 1. 引言 在当今的工程问题、模式识别以及非线性系统控制等众多领域，人工神经网络（ANN）和小波理论已成为备受青睐的工具。早期，Zhang和Benveniste将ANN与小波理论相结合，提出了小波神经网络（WNN），用于逼近非线性函数。WNN是具有一个隐藏层的前馈神经网络，它用小波函数替代了传统的Sigmoid函数作为隐藏神经元的激活函数。凭借小波理论的优良特性和ANN的自适应学习能力，WNN在复杂非线性系统的控制和识别方面取得了显著的改进，因此受到了广泛关注。 受模糊模型的启发，Daniel提出了模糊小波模型（FWN）。该模型由一组模糊规则组成，每条规则对应一个由单一固定尺度小波构成的子小波神经网络，其中平移参数是可变的。不同分辨率级别的子WNN能够捕捉被逼近函数的不同行为，模糊集的作用是确定函数不同分辨率对整体逼近的贡献。然而，这种FWNN需要复杂的初始化和训练算法，在初始化阶段，其尺度值需通过经验预先固定，并且需要通过分析训练样本提供一个小波候选库。 我们知道，尺度函数对应原始函数的全局行为（低频信息），而小波对应局部行为（高频信息）。但Daniel提出的FWNN忽略了低频信息，尽管这些低频信息可以用小波函数逼近，但根据多分辨率分析（MRA）理论，这将需要更多的小波节点。 为了解决这些问题，我们将FWNN的思想与预小波相结合，提出了一种模糊预小波神经网络，即模糊多分辨率神经网络（FMRANN）。FMRANN的隐藏层不仅包含尺度函数节点，还包含小波函数节点，其结构包括子尺度函数神经网络和子小波神经网络，这些子神经网络的贡献由模糊规则决定。 在人工神经网络的学习中，Rumelhart、Hinton和Williams提出的反向传播算法是一个里程碑事件。但随着实际问题复杂度的增加，基于单一梯度的标准反向传播算法逐渐力不从心，这促使许多研究人员开发更高效的训练方法。基于二阶导数信息的训练方法表现出更好的效率和前景，主要的二阶方法包括基于拟牛顿、Levenburg - Marquardt和共轭梯度技术的反向传播算法。然而，这些方法往往会陷入局部最优，部分原因是训练过程中缺乏随机成分。粒子群优化（PSO）是一种基于随机种群的优化技术，因其实现简单且对优化模型的依赖性较弱，成为解决各种优化问题的常用工具。 本文提出了一种基于改进粒子群算法的模糊多分辨率神经网络（FMRANN），用于逼近任意非线性函数。接下来，我们将详细介绍多分辨率分析的基本概念、FMRANN的结构、训练算法以及仿真实验结果。 #### 2. 多分辨率分析（MRA） 小波的主要特性是其出色的时频局部化和多分辨率特性。小波变换可以捕捉高频（局部）行为，并通过调节尺度参数聚焦于观测对象的任何细节，而尺度函数则捕捉低频（全局行为）。从这个意义上说，小波可以被视为一种数学显微镜。 下面我们对L2(R)的小波和多分辨率分析进行简要回顾。如果满足以下条件，L2(R)中的一系列闭子空间Vj（j∈Z）被称为多分辨率分析（MRA）： 1. · · · ⊂Vj ⊂Vj+1 · · · ； 2. f(·) ∈Vj当且仅当f(2·) ∈Vj+1； 3. ⋂j∈Z Vj = {0}，⋃j∈Z Vj = L2(R)； 4. 存在一个函数φ ∈V0，使得其整数平移{φ(· −k), k ∈Z}构成V0的Riesz基。 这里的函数φ是尺度函数，它满足以下细化方程： \[φ(x) = \sqrt{2} \sum_{n} h_n φ(2x - n)\] 其中{hn}是低频滤波器（尺度滤波器）。对于j∈Z，k∈Z，记 \[φ_{j,k}(·) = 2^{j/2} φ(2^j · - k)\] 对于j∈Z，{φj,k, k∈Z}构成Vj的Riesz基。相关的小波函数ψ(x)满足以下方程： \[ψ(x) = \sqrt{2} \sum_{n} g_n φ(2x - n)\] 其中{gn}是高频滤波器（小波滤波器）。对于j, k∈Z，记 \[ψ_{j,k}(·) = 2^{j/2} ψ(2^j · - k)\] 则{ψj,k, k∈Z}构成Wj的Riesz基，其中Wj是Vj在Vj+1中的正交补，即 \[V_{j + 1} = V_j ⊕ W_j\] 其中Vj是尺度函数空间，Wj表示由不同尺度的尺度函数张成的空间之间的差异，称为细节空间或小波函数空间。显然， \[L^2(R) = V_J \oplus \sum_{j = J}^{\infty} W_j\] \[L^2(R) = \sum_{j = -\infty}^{\infty} \oplus W_j\] 对于任何函数f(x) ∈L2(R)，可以写成 \[f(x) = \sum_{k \in Z} c_{J,k} φ_{J,k}(x) + \sum_{j \geq J} \sum_{k \in Z} d_{j,k} ψ_{j,k}(x)\] 作为尺度函数和小波的级数展开，即不同分辨率水平下全局信息和局部信息的组合。另一方面，f(x)也可以表示为 \[f(x) = \sum_{j \in Z} \sum_{k \in Z} d_{j,k} ψ_{j,k}(x)\] 作为不同分辨率水平下小波的线性组合，即不同分辨率水平下所有局部信息的组合。 这些方程体现了多分辨率分析的概念，暗示了分层和逐次逼近的思想，这也是我们工作的主要动机。 常见的小波包括连续小波、Daubechies小波和样条小波等。在WNN中，常用的激活函数是连续小波，如Morlet、墨西哥帽、高斯导数小波等，这些小波不存在尺度函数。 Irigrid Daubechies构造的Daubechies紧支撑正交小波是小波领域的一个里程碑，它使小波从理论迅速推广到几乎所有工程领域。Daubechies小波由滤波器提供，其诞生使得小波的应用更加广泛。然而，遗憾的是，它们没有解析公式，这限制了一些需要解析公式的应用，如WNN。 在这里，我们采用级联算法（即反复进行单级逆小波变换）来逼近相应的尺度函数和小波函数，并将它们作为我们提出的模糊多分辨率神经网络的激活函数。 在普通的WNN中，以Daubechies正交小波作为激活函数，由于正交小波的非冗余性，这种WNN可以为给定函数提供唯一且高效的表示，但它高度依赖于所选的小波，导致鲁棒性较差。在我们的工作中，我们不仅使用Daubechies正交小波，还使用相应的尺度函数来构建我们提出的模糊多分辨率神经网络。显然，模糊机制的采用和尺度函数的引入可以提供更好的鲁棒性。 #### 3. 模糊多分辨率神经网络 在本小节中，我们提出了一种模糊多分辨率神经网络（FMRANN），用于逼近任意非线性函数。FMRANN的激活函数不仅包括小波函数，还包括尺度函数，其平移参数和伸缩参数是可调的。FMRANN包含一组模糊规则，每条规则要么对应一个由尺度函数组成的子集，要么对应一个由具有相同伸缩参数的小波组成的子小波神经网络。结合小波的时频局部化和多分辨率特性以及模糊神经网络的自学习能力，FMRANN的逼近能力可以得到显著提高。 人工神经网络模仿人类大脑神经