MATLAB_多元线性回归模型_梯度下降与正规方程对比.zip_matlab多元线性回归模型资源-CSDN下载

共4个文件

m：2个

mat：2个

matlab

多元线性回归

梯度下降

正规方程

需积分: 30 127 浏览量 2020-03-03 20:14:01 上传评论 2 收藏 29.87MB ZIP 举报

在本项目中，我们主要探讨的是使用MATLAB编程来实现多元线性回归模型，并通过两种不同的优化算法——梯度下降法和正规方程——来进行对比分析。这些方法在数据分析和机器学习领域中有着广泛的应用，特别是在预测建模时。下面我们将深入理解这两个概念及其在MATLAB中的实现。多元线性回归是一种统计学方法，用于建立一个线性关系模型，以预测一个响应变量（因变量）基于多个解释变量（自变量）。模型通常表示为： \[ y = \beta_0 + \beta_1x_1 + \beta_2x_2 + ... + \beta_nx_n + \epsilon \] 其中，\( y \) 是响应变量，\( x_1, x_2, ..., x_n \) 是自变量，\( \beta_0, \beta_1, \beta_2, ..., \beta_n \) 是模型参数，\( \epsilon \) 表示随机误差项。MATLAB提供了`fitlm`函数方便地构建多元线性回归模型，但在这个项目中，我们将手动实现这一过程。接下来，我们来看梯度下降法。这是一个优化算法，主要用于求解最小化问题，例如寻找上述线性回归模型中最佳的参数值。该方法通过迭代更新参数，每次朝着目标函数梯度的反方向移动一小步，直到达到局部最小值或全局最小值。在MATLAB中，可以自定义梯度下降算法的实现，通常包括初始化参数、设置学习率、迭代次数等步骤。 ```matlab theta = zeros(n+1, 1); % 初始化参数 alpha = 0.01; % 学习率 num_iterations = 1000; % 迭代次数 for i = 1:num_iterations gradients = compute_gradients(X, y, theta); % 计算梯度 theta = theta - alpha * gradients; % 更新参数 end ``` 然后是正规方程，也称为闭式解，它直接求解线性回归模型的参数。正规方程利用矩阵运算找出最佳参数，公式为： \[ \theta = (X^TX)^{-1}X^Ty \] 这种方法不需要迭代，而是通过计算X的转置与X的乘积的逆矩阵，然后乘以X的转置与y，即可得到最优的参数值。在MATLAB中，可以使用`inv`和`*`操作符实现这一过程。 ```matlab X = [ones(m, 1), X_data]; % 添加截距项 theta = inv(X' * X) * X' * y; ``` 项目中包含的文件如下： - `main.m`：这是主脚本，它可能包含了整个流程的控制，包括数据加载、模型训练、结果比较等。 - `liner_regression.m`：这个文件可能是实现线性回归模型的函数，包括梯度下降法和正规方程的代码。 - `label.mat`：这是一个MATLAB的数据文件，很可能存储了实际的标签数据，即y值。 - `Data.mat`：这个文件可能包含了输入数据，即x值，可能包含了多个特征。通过比较梯度下降法和正规方程计算出的模型参数，我们可以观察它们在预测性能上的差异。在某些情况下，梯度下降法可能需要更长的时间来收敛，但在大数据集上可能更有效，而正规方程则适用于小数据集，因为它涉及到矩阵的逆运算，当特征数量很大时可能会变得不切实际。这个项目为我们提供了一个实用的平台，以直观的方式理解并比较了两种重要的线性回归模型求解方法，对于理解和提升MATLAB编程以及数据分析技能都非常有帮助。

资源推荐

资源详情

资源评论

收起资源包目录

Code.zip （4个子文件）

liner_regression.m 1KB

Data.mat 9.94MB

main.m 4KB

label.mat 19.93MB

clc clear load data load label %% 数据处理与异常值剔除对应T1 T2 % 可视化 Example=data(:,11); X1=data(:,1:18); X2=data(:,19:36); for i=1:size(X1,2)%将数据进行归一化，以便于可视化 X1(:,i)=(X1(:,i)-min(X1(:,i)))/(max(X1(:,i))-min(X1(:,i))); X2(:,i)=(X2(:,i)-min(X2(:,i)))/(max(X2(:,i))-min(X2(:,i))); end figure(1); subplot(2,1,1) boxplot(X1,'notch','on','labels',{feat(1:18)'},'whisker',1) % boxplot(X1,'notch','on','whisker',1) subplot(2,1,2) boxplot(X2,'notch','on','labels',{feat(19:36)'},'whisker',1) % boxplot(X2,'notch','on','whisker',1) % 对异常数据进行剔除 temp_QL_QU=[]; for i=1:size(data,2) temp_QL_QU=[temp_QL_QU;quantile(data(:,i),[0.25 0.75]) ];%[L,U] end temp_IQR=temp_QL_QU(:,2)-temp_QL_QU(:,1); Beta=1;% Delete_QL=temp_QL_QU(:,1)-Beta*temp_IQR; Delete_QU=temp_QL_QU(:,2)+Beta*temp_IQR; Delete_loc=[]; Selection=[1:36];%人工选择要处理的变量 for i=Selection Delete_loc=[Delete_loc;find(data(:,i)>Delete_QU(i)|data(:,i)<Delete_QL(i))]; end Delete_loc_final=unique(Delete_loc); data(Delete_loc_final,:)=[]; %对缺失数据进行补充,采用中位数对缺失数据进行补全 for i=1:size(data,2) data(isnan(data(:,i)),i)=prctile(data(:,i),50); end % 处理后图形 figure(2) subplot(2,1,1) plot(Example); ylabel('Sea d.[m]') xlabel('Points') title('Data of Sea depth before processing') subplot(2,1,2) plot(data(:,11)); ylabel('Sea d.[m]') xlabel('Poinst') title('Data of Sea depth after processing') %% 采用pearson相关性系数进行特征选择 for i=1:36 Pearson(i)=corr(data(:,i),data(:,35),'type','Pearson'); end Judgement=abs(Pearson); Feature_selection=find(Judgement>0.5); bar(Pearson) axis([0 37 -0.4 1.1]) xlabel('The number of features') ylabel('Pearson Coefficient') grid on %% 特征数据归一化 for i=1:size(data,2)%将数据进行归一化，以便于可视化 data(:,i)=(data(:,i)-min(data(:,i)))/(max(data(:,i))-min(data(:,i))); end %% 单变量线性回归模型 %梯度下降法 X_Gradient_Descent=data(:,26)'; Y_Gradient_Descent=data(:,35)'; alpha=0.05;%采用自适应的方法，k/exp(k)+0.05 epoch=800; detla=0.006; [Theta_Gradient_Descent,Jcost,epoch]=liner_regression(X_Gradient_Descent,Y_Gradient_Descent,alpha,epoch,detla ); MES_GD=sum((X_Gradient_Descent*Theta_Gradient_Descent(2)+Theta_Gradient_Descent(1)-Y_Gradient_Descent).^2)/size(X_Gradient_Descent,2); R2_GD=1-MES_GD/var(Y_Gradient_Descent) %正规方程法 Y_Normal_Equation=data(:,35); X_Normal_Equation=[ones(size(data(:,26),1),1),data(:,26)]; Theta_Normal_Equation=(X_Normal_Equation'*X_Normal_Equation)^-1*X_Normal_Equation'*Y_Normal_Equation; MES_NE=sum((X_Normal_Equation(:,2)*Theta_Normal_Equation(2)+Theta_Normal_Equation(1)-Y_Normal_Equation).^2)/size(X_Normal_Equation,1); R2_NE=1-MES_NE/var(Y_Normal_Equation) %% 多变量线性回归模型 %梯度下降法 Multi_variable=Feature_selection(1:5); X_Gradient_Descent=data(:,Multi_variable)'; Y_Gradient_Descent=data(:,35)'; alpha=0.2;%采用自适应的方法，k/exp(k)+0.05 epoch=800; detla=0.006; [Theta_Gradient_Descent,Jcost]=liner_regression(X_Gradient_Descent,Y_Gradient_Descent,alpha,epoch,detla ); X_Gradient_Descent_R2=[ones(size(data(:,Multi_variable),1),1),data(:,Multi_variable)]'; MES_GD=sum((Theta_Gradient_Descent*X_Gradient_Descent_R2-Y_Gradient_Descent).^2)/size(X_Gradient_Descent,2); R2_GD=1-MES_GD/var(Y_Gradient_Descent) %正规方程法 Y_Normal_Equation=data(:,35); X_Normal_Equation=[ones(size(data(:,Multi_variable),1),1),data(:,Multi_variable)]; Theta_Normal_Equation=(X_Normal_Equation'*X_Normal_Equation)^-1*X_Normal_Equation'*Y_Normal_Equation; MES_NE=sum((Theta_Normal_Equation'*X_Normal_Equation'-Y_Normal_Equation').^2)/size(X_Normal_Equation,1); R2_NE=1-MES_NE/var(Y_Normal_Equation)

评论收藏

内容反馈