基于鸟群算法优化混合核极限学习机(HKELM)的分类问题求解

基于鸟群算法优化混合核极限学习机(HKELM)的分类问题求解

1.HKELM原理

核极限学习机（KELM）是一种单隐含层前馈 神经网络，通过引入核函数改善极限学习机（ELM） 性能，其输出可表示为：
$$\begin{array}{rl}& f(x)=h(x)H^U{\left(\frac{Z}{C}+H{H}^U\right)}^{-1}U\\ & ={\left[\begin{array}{c}K\left(x,x_1\right)\\ ⋮\\ K\left(x,x_N\right)\end{array}\right]}^{\mathrm{U}}{\left(\frac{Z}{C}+W_{\text{ELM }}\right)}^{-1}U\end{array}$$

式中：$x$ —样本数据；$f(x)$ —模型输出；$h(x)$ —隐含层输人；$H$ —特征映射矩阵；$C$ —正则化参数；$Z$ —单位矩阵；$U$ —训练集目标向量；$K(x_0$ ， $x_p)$ 一核函数；$W_{ELM}$ 一核矩阵。

目前常用的核函数主要有线性、多项式、径向基、Sigmoid 等核函数。文章基于局部核函数 $RBF$ 和全局核函数 Poly 构建具有更好性能的混合核函数，使 KELM 拥有全局和局部两方面的优秀性能，RBF 与 Poly 函数描述如下：

$$\begin{array}{c}{K}_{RBF}\left(x_0,x_p\right)=\exp \left(-{\Vert x_0-x_p\Vert }^2/{\sigma }^2\right)\\ K_{\text{Poly }}\left(x_0,x_p\right)={\left(x_0,x_p+c_1\right)}^d\end{array}$$

式中：$s-RBF$ 核函数参数；$c_1、d-Poly$ 核函数参数。
由于 HKELM 是基于不同核函数的 KELM 线性组合，因此，基于 RBF、Poly 线性组合的混合核函数描述为：
$$K_H\left(x_0,x_p\right)=S{K}_{RBF}\left(x_0,x_p\right)+(1-S)K_{Pob}\left(x_0,x_p\right)$$

式中：$K_H\left(x_0,x_p\right)$ 一混合核函数；$s-RBF$ 核函数参数权重系数；$K_{RBF}\left(x_0,x_p\right)$ 、 $K_{\text{Poly }}\left(x_0,x_p\right)$ 一 RBF、Poly核函数。

将 $K_H\left(x_0,x_p\right)$ 代人输出函数可得到 HKELM模型。

2.分类问题求解

本文对乳腺肿瘤数据进行分类。采用随机法产生训练集和测试集，其中训练集包含 500 个样本，测试集包含 69 个样本 。

3.基于鸟群算法优化的HKELM

鸟群算法原理请参考：https://blog.csdn.net/u011835903/article/details/108529990
由前文可知，KHELM参数设置具有满目性。本文利用鸟群算法对HKELM相关参数进行优化。适应度函数设计为训练集的误差的MSE：
$$fitness=2-Accuracy(train)-Accuracy(test)$$

适应度函数为，训练集和测试集（验证集）的分类错误率，分类错误率越低，代表分类正确率越高。

4.实验结果

文对乳腺肿瘤数据进行分类。采用随机法产生训练集和测试集，其中训练集包含 500 个样本，测试集包含 69 个样本 。

%% 导入数据
load data.mat
% 产生训练集/测试集
a = 1:569;
Train = data(a(1:500),:);
Test = data(a(501:end),:);
% 训练数据
P_train = Train(:,3:end);
T_train = Train(:,2);
% 测试数据
P_test = Test(:,3:end);
T_test = Test(:,2);

5.Matlab代码