BP神经网络概述
BP神经网络是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的 输入-输出模式映射关系,而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法,通过反向传播来不断 调整网络的权值和阈值,使网络的误差平方和最小。该网络的主要特点是信号前向传递,误差反向传播。在前向传递中,输入信号从输入层经隐含层逐层处理,直至输出层。每一层的神经网络状态只影响下一层的神经元的状态。如果输出层得不到想要的输出,则转入反向传播,根据预测误差调整网络的权值和阀值,从而使BP神经网络预测输出不断的逼近期望输出。
BP神经网络的拓扑结构
BP神经网络的拓扑结构如图:
其中,X1,X2,…,Xn是BP网络的输入值,Y1,Y2,…,Yn是BP神经网络的预测值,和
为BP神经网络的权值。从图中可以看出,BP神经网络可以看作一个非线性函数,网络输入值和预测值分别是该函数的自变量和因变量。当输入节点数为
n
,输出接点为m
时,BP神经网络就表达了从n
个自变量到m
个自变量的函数映射关系。
BP神经网络的训练过程
BP神经网络预测前首先要训练网络,通过训练使网络具有联想记忆和预测能力。BP神经网络的训练过程包括以下几个步骤:
-
步骤1:网络初始化。根据系统输入输出序列(X,Y)确定网络输入层节点数n、隐含层节点数l,输出层节点数m,初始化输入层、隐含层和输出层神经元之间的连接权值
和
,初始化隐含层阈值a,输出层阈值b,给定学习速率和神经元激励函数。
-
步骤2:隐含层输出计算。根据输入变量X,输入层和隐含层连接权值
以及隐含层阈值a,计算隐含层输出H。
式中,l为隐含层节点数,f为隐含层激励函数,该函数有多种表达形式。使用的函数为sigmoid函数:
-
步骤3:输出层计算。根据隐含层输出H,连接权重
和阈值b,计算BP神经网络预测输出O。
-
步骤4:误差计算。根据网络预测输出O和期望输出Y,计算网络预测误差e。
-
步骤5:权值更新。根据网络预测误差 e更新网络连接权值
,
。
式中,为学习率。
-
步骤6:阈值更新。根据网络预测误差e更新节点阈值a,b。
-
步骤7:迭代。判断算法迭代是否结束,若没有结束,返回步骤2.
语音特征信号识别
语音特征信号识别是语音识别研究领域中的一个重要方面,语音识别的运算过程为:
-
首先,待识别语音转化为电信号后输入识别系统,经过预处理后用数学方法提取语音特征信号,提取出的语音特征信号可以堪称该段语音的模式;
-
然后,将该段语音模型同已知参考模式相比较,获得最佳匹配的参考模式为该段语音的识别结果。
语音识别流程图如下:
数据集选取了民歌、古筝、摇滚和流行四类不同音乐,用BP神经网路实现对这四类音乐的有效分类。每段音乐都用倒谱系数法提取500组24维语音特征信号,提取出的语音特征信号如图所示:
模型建立
基于BP神经网络的语音特征信号分类算法包括BP神经网络构建、BP神经网络训练和BP神经网络分类三步。算法流程如下:
BP神经网路构建根据系统输入输出数据特点确定BP神经网络的结构,由于语音特征输入信号有24维,待分类的语音信号共有四类,所以BP神经网络的结构为24-25-4,即输入层油24个节点,隐含层有25个节点,输出层有4个节点。
BP神经网络用训练数据训练BP神经网络。共有2000组语音特征信号,从中随机选择1500组数据作为训练数据训练网络,500组数据作为测试网络测试网络分类能力。
MATLAB 实现
归一化方法及MATLAB函数
-
数据归一化的方法主要有一下两种:
(1) 最大最小法。函数形式:
式中,xmin为数据序列中的最小数;xmax为序列中的最大数。
(2)平均数方差法。函数形式:
式中,xmean为数据序列的均值;xvar为数据的方差。
-
归一化函数采用matlab自带函数
mapminmax
,常用的方法如下:% input_train,output_train 分别为训练输入、输出数据 [inputn,inputps]=mapminmax(input_train) [outputn,outputps]=mapminmax(output_train)
input_train,output_train
是训练输入、输出原始数据;inputn,outputn
是归一化后的数据;inputps,outputps
为数据归一化得到的结构体,里面包含数据最大值、最小值和平均值等。
数据选择和归一化
首先根据倒谱系数法提取四类音乐语音特征信号,不同的语音信号分别用1,2,3,4标识,提取出的信号存储于数据库文件中。
每组数据为25维,第1维维类别标识,后24维为语音特征信号。然后把四类语音信号何为一组,抽取1500组数据作为训练数据,500组数据作为测试数据,并对数据进行归一化处理。根据语音类别标识设定每组语音信号的期望输出值,如标识类为1时,期望输出向量为[1 0 0 0]。
%% 基于BP网络的语言识别
clc
clear
%% 训练数据预测数据提取及归一化
%下载四类语音信号
load data1 c1
load data2 c2
load data3 c3
load data4 c4
%四个特征信号矩阵合成一个矩阵
data(1:500,:)=c1(1:500,:);
data(501:1000,:)=c2(1:500,:);
data(1001:1500,:)=c3(1:500,:);
data(1501:2000,:)=c4(1:500,:);
%从1到2000间随机排序
k=rand(1,2000);
[m,n]=sort(k);
%输入输出数据
input=data(:,2:25);
output1 =data(:,1);
%把输出从1维变成4维
output=zeros(2000,4);
for i=1:2000
switch output1(i)
case 1
output(i,:)=[1 0 0 0];
case 2
output(i,:)=[0 1 0 0];
case 3
output(i,:)=[0 0 1 0];
case 4
output(i,:)=[0 0 0 1];
end
end
%随机提取1500个样本为训练样本,500个样本为预测样本
input_train=input(n(1:1500),:)';
output_train=output(n(1:1500),:)';
input_test=input(n(1501:2000),:)';
output_test=output(n(1501:2000),:)';
%输入数据归一化
[inputn,inputps]=mapminmax(input_train);
BP神经网络结构初始化
根据语音特征信号特点确定BP神经网络的结构为24-25-4,随机初始化BP神经网络权值和阈值。
%% 网络结构初始化
innum=24;
midnum=25;
outnum=4;
%权值初始化
w1=rands(midnum,innum);
b1=rands(midnum,1);
w2=rands(midnum,outnum);
b2=rands(outnum,1);
w2_1=w2;w2_2=w2_1;
w1_1=w1;w1_2=w1_1;
b1_1=b1;b1_2=b1_1;
b2_1=b2;b2_2=b2_1;
%学习率
xite=0.1;
alfa=0.01;
loopNumber=10;
I=zeros(1,midnum);
Iout=zeros(1,midnum);
FI=zeros(1,midnum);
dw1=zeros(innum,midnum);
db1=zeros(1,midnum);
BP神经网络训练
用训练数据训练BP神经网络,在训练过程中根据网络预测误差调整网络的权值和阈值。
%% 网络训练
E=zeros(1,loopNumber);
for ii=1:loopNumber
E(ii)=0;
for i=1:1:1500
%% 网络预测输出
x=inputn(:,i);
% 隐含层输出
for j=1:1:midnum
I(j)=inputn(:,i)'*w1(j,:)'+b1(j);
Iout(j)=1/(1+exp(-I(j)));
end
% 输出层输出
yn=w2'*Iout'+b2;
%% 权值阀值修正
%计算误差
e=output_train(:,i)-yn;
E(ii)=E(ii)+sum(abs(e));
%计算权值变化率
dw2=e*Iout;
db2=e';
for j=1:1:midnum
S=1/(1+exp(-I(j)));
FI(j)=S*(1-S);
end
for k=1:1:innum
for j=1:1:midnum
dw1(k,j)=FI(j)*x(k)*(e(1)*w2(j,1)+e(2)*w2(j,2)+e(3)*w2(j,3)+e(4)*w2(j,4));
db1(j)=FI(j)*(e(1)*w2(j,1)+e(2)*w2(j,2)+e(3)*w2(j,3)+e(4)*w2(j,4));
end
end
w1=w1_1+xite*dw1';
b1=b1_1+xite*db1';
w2=w2_1+xite*dw2';
b2=b2_1+xite*db2';
w1_2=w1_1;w1_1=w1;
w2_2=w2_1;w2_1=w2;
b1_2=b1_1;b1_1=b1;
b2_2=b2_1;b2_1=b2;
end
end
BP神经网络分类
用训练好的BP神经网络分类语音特征信号,根据分类结果分析BP神经网络分类能力。
%% 语音特征信号分类
inputn_test=mapminmax('apply',input_test,inputps);
fore=zeros(4,500);
for ii=1:1
for i=1:500%1500
%隐含层输出
for j=1:1:midnum
I(j)=inputn_test(:,i)'*w1(j,:)'+b1(j);
Iout(j)=1/(1+exp(-I(j)));
end
fore(:,i)=w2'*Iout'+b2;
end
end
结果分析
分析实验结果。画出误差图。展示准确率。
%% 结果分析
%根据网络输出找出数据属于哪类
output_fore=zeros(1,500);
for i=1:500
output_fore(i)=find(fore(:,i)==max(fore(:,i)));
end
%BP网络预测误差
error=output_fore-output1(n(1501:2000))';
%画出预测语音种类和实际语音种类的分类图
figure(1)
plot(output_fore,'r')
hold on
plot(output1(n(1501:2000))','b')
legend('预测语音类别','实际语音类别')
%画出误差图
figure(2)
plot(error)
title('BP网络分类误差','fontsize',12)
xlabel('语音信号','fontsize',12)
ylabel('分类误差','fontsize',12)
%print -dtiff -r600 1-4
k=zeros(1,4);
%找出判断错误的分类属于哪一类
for i=1:500
if error(i)~=0
[b,c]=max(output_test(:,i));
switch c
case 1
k(1)=k(1)+1;
case 2
k(2)=k(2)+1;
case 3
k(3)=k(3)+1;
case 4
k(4)=k(4)+1;
end
end
end
%找出每类的个体和
kk=zeros(1,4);
for i=1:500
[b,c]=max(output_test(:,i));
switch c
case 1
kk(1)=kk(1)+1;
case 2
kk(2)=kk(2)+1;
case 3
kk(3)=kk(3)+1;
case 4
kk(4)=kk(4)+1;
end
end
%正确率
rightridio=(kk-k)./kk;
disp('正确率')
disp(rightridio);
实验结果
基于带动量项的BP神经网络语音识别
clear; clc;
% 加载四类语音信号
load data1 c1
load data2 c2
load data3 c3
load data4 c4
% 四个特征信号矩阵合成一个矩阵
data(1:500, :) = c1(1:500, :);
data(501:1000, :) = c2(1:500, :);
data(1001:1500, :) = c3(1:500, :);
data(1501:2000, :) = c4(1:500, :);
% 输入输出数据
input = data(:, 2:25); % 输入信号
output1 = data(:, 1); % 类型
output = zeros(2000, 4);
for i = 1 : 2000
switch output1(i)
case 1
output(i, :) = [1 0 0 0];
case 2
output(i, :) = [0 1 0 0];
case 3
output(i, :) = [0 0 1 0];
case 4
output(i, :) = [0 0 0 1];
end
end
% 随机提取1500个样本作为学习样本,剩下500个作为测试样本
n = randperm(2000);
input_train = input(n(1 : 1500), :)';
output_train = output(n(1 : 1500), :)';
input_test = input(n(1501 : 2000), :)';
output_test=output(n(1501 : 2000), :)';
% 输入数据归一化
[inputn, inputps] = mapminmax(input_train);
%% 网络结构初始化
innum = 24; % 输入层
midnum = 20; % 隐含层
outnum = 4; % 输出层
%权值初始化
rng('default'); % 结果可重复
w1 = rands(midnum, innum); % [-1, 1]
b1= rands(midnum,1);
w2 = rands(midnum, outnum);
b2 = rands(outnum, 1);
w2_1 = w2;
w2_2 = w2;
w1_1 = w1;
w1_2 = w1;
b1_1 = b1;
b1_2 = b1;
b2_1 = b2;
b2_2 = b2;
xite = 0.1; %学习率
alfa = 0.01; % 动量学习率
loopNumber = 500; % 越大越准确
I = zeros(1, midnum);
Iout = zeros(1, midnum);
FI = zeros(1, midnum);
dw1 = zeros(innum, midnum);
db1 = zeros(1, midnum);
%% 网络训练
E = zeros(1, loopNumber);
for ii = 1 : loopNumber
E(ii) = 0;
for i = 1 : 1500
% 网络预测输出
x = inputn(:, i);
% 隐含层输出
for j = 1 : midnum
I(j) = inputn(:, i)' * w1(j, :)' + b1(j);
Iout(j) = 1/(1 + exp(-I(j)));
end
% 输出层输出
yn = w2' * Iout' + b2;
% 权值阀值修正
% 计算误差
e = output_train(:, i) - yn;
E(ii) = E(ii) + sum(abs(e));
%计算权值变化率
dw2 = e * Iout;
db2 = e';
for j = 1 : midnum
S = 1/(1 + exp(-I(j)));
FI(j) = S*(1 - S);
end
for k = 1 : innum
for j = 1 : midnum
dw1(k, j) = FI(j) * x(k) * (e(1)*w2(j, 1) + e(2)*w2(j, 2) + e(3)*w2(j, 3) + e(4)*w2(j,4));
db1(j) = FI(j) * (e(1)*w2(j, 1) + e(2)*w2(j, 2) + e(3)*w2(j, 3) + e(4)*w2(j, 4));
% db1(j) = FI(j) * (e' * w2(j, :)'); % 很慢
end
end
w1 = w1_1 + xite*dw1' + alfa*(w1_1 - w1_2);
b1 = b1_1 + xite*db1' + alfa*(b1_1 - b1_2);
w2 = w2_1 + xite*dw2' + alfa*(w2_1 - w2_2);
b2 = b2_1 + xite*db2' + alfa*(b2_1 - b2_2);
w1_2 = w1_1;
w1_1 = w1;
w2_2 = w2_1;
w2_1 = w2;
b1_2 = b1_1;
b1_1 = b1;
b2_2 = b2_1;
b2_1 = b2;
end
end
%% 语音特征信号分类
inputn_test = mapminmax('apply', input_test, inputps);
fore = zeros(4, 500);
for i = 1 : 500
% 隐含层输出
for j = 1 : midnum
I(j) = inputn_test(:, i)' * w1(j, :)' + b1(j);
Iout(j) = 1/(1 + exp(-I(j)));
end
fore(:, i) = w2' * Iout' + b2;
end
%% 结果分析
% 根据网络输出找出数据属于哪类
output_fore = zeros(1, 500);
for i = 1 : 500
output_fore(i) = find(fore(:, i) == max(fore(:, i)));
end
% BP网络预测误差
error = output_fore - output1(n(1501 : 2000))';
% 画出预测语音种类和实际语音种类的分类图
subplot(2, 1, 1)
plot(output_fore,'r')
hold on
plot(output1(n(1501 : 2000))', 'b');
hold off
legend('预测语音类别', '实际语音类别')
%画出误差图
subplot(2, 1, 2)
plot(error);
title('BP网络分类误差')
xlabel('语音信号')
ylabel('分类误差')
% 找出判断错误的分类属于哪一类
k = zeros(1, 4);
for i = 1 : 500
if error(i) ~= 0
[~, c] = max(output_test(:, i));
switch c
case 1
k(1) = k(1) + 1;
case 2
k(2) = k(2) + 1;
case 3
k(3) = k(3) + 1;
case 4
k(4) = k(4) + 1;
end
end
end
% 找出每类的个体和
kk = zeros(1, 4);
for i = 1 : 500
[~, c] = max(output_test(:,i));
switch c
case 1
kk(1) = kk(1) + 1;
case 2
kk(2) = kk(2) + 1;
case 3
kk(3) = kk(3) + 1;
case 4
kk(4) = kk(4) + 1;
end
end
% 正确率
rightridio = (kk - k) ./ kk;
disp('正确率')
disp(rightridio);
资源传送门
- 关注【做一个柔情的程序猿】公众号
- 在【做一个柔情的程序猿】公众号后台回复 【python资料】【2020秋招】 即可获取相应的惊喜哦!
「❤️ 感谢大家」
- 点赞支持下吧,让更多的人也能看到这篇内容(收藏不点赞,都是耍流氓 -_-)
- 欢迎在留言区与我分享你的想法,也欢迎你在留言区记录你的思考过程