浅谈简单线性回归(Simple linear regression)part1原理推导

最新推荐文章于 2023-09-25 12:30:36 发布
最新推荐文章于 2023-09-25 12:30:36 发布
阅读量794 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 机器学习笔记 线性回归 文章标签： 人工智能 数据分析 机器学习 大数据 统计学
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/CSDNXXCQ/article/details/113431886
本文介绍了如何通过散点图和协方差理解线性回归，重点讲解了皮尔逊相关系数在衡量多维数据关联中的应用，以及残差和最小二乘法在模型拟合中的作用。通过实例演示了如何通过相关性计算确定回归方程的系数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

初等数学➡已知方程求未知数
高等数学→已知未知数，求方程(从数据中获得结论)

那么今天就从里面最简单的线性回归(Simple linear regression)开始学起
最简单的理解就是通过一些列运算的到初中我们学的y=kx+b

第一步，描述数据(数据可视化)
比如我们通过散点图看到整个数据，好像是接近一条线(类似于y=kx+b)那样分布的，我们就可以使用简单线性回归进行预测(图为探寻工作年限与薪水的关系)
在这里插入图片描述

画成热力图
在这里插入图片描述

这里先引入协方差(covariance)的概念
作用:描述多维数据集(标准差和方差一般是用来描述一维数据的，但现实生活我们常常遇到含有多维数据的数据集)
原理:计算两组数据的平均值之间的数据的差距(距离)，再把它们的差距进行相乘，以此达到寻求两组数据之间的联系的目的(Linear correlation)

公式:
在这里插入图片描述
这里面除的不是n而是n-1的问题详见贝塞尔矫正推导那篇博文
拓展:
与期望的联系
在这里插入图片描述

缺陷:只能反应数据是否同向变动(正则同向，负则反向变动)因为当两个数据差距很大比如100与10000它们乘起来数值也会很大，不能说数值越大就代表关联越强

于是，我们这时需要一个新的工具来衡量多维数据之间的联系，这就是相关性，这里我们讨论皮尔逊相关性

这里部分内容源自百度百科
定义:
两个变量之间的皮尔逊相关系数定义为两个变量之间的协方差和标准差的商
公式:
在这里插入图片描述
上式定义了总体相关系数，常用希腊小写字母作为代表符号。估算样本的协方差和标准差，可得到皮尔逊相关系数，常用英文小写字母 代表：

在这里插入图片描述

在这里插入图片描述

观察公式相比协方差，它引入了标准差，标准差公式(后续我会发标准差公式的博文)的意义在于借正态分布公式使得数值在0到1之间和表示事情发生的概率(数据离散程度，联想正态分布的那个图，离中间越远→概率越小→该数据离散)从而达到数据归一化的同时表示数据之间的联系的目的.

为方便说明，我们先假定我们已经有一个模型，y=kx+b，预测值为y1，实际值为ya

这里再明确一个概念，残差
简单来说就是预测值与实际值直接的差值(距离)
即y1-ya
那么模型准确度的评估的方法就是让所有线上的点的残差加起来最小
但是要注意，这个残差的正负不确定，所有不能单纯地对残差进行相加(一般我们不用绝对值，因为这个计算机制要分类讨论会增加电脑的负担，一般直接平方，且分段函数无法求导)

结果越小，拟合效果越好

用python语言就是
E = min(sum((y1-ya)**2))/n(n代表一共有几组数据)→最小二乘法(oridinary least square有时也简称为ols)

回归方程的系数的确定
这里假定我们要求的函数为y=b0+b1x

那么相关系数计算公式就是:
在这里插入图片描述即协方差/方差
把公式套进去就会发现改相关性系数其实就是上面的E即残差的和即预测值与实际值直接的差值(距离)
这个距离的和越小→预测值与实际值的距离越小→改线就越能接近实际值的点→拟合效果越好

b0的话，反推就好了
在这里插入图片描述

simple linear regression详解
只为改变自己
08-25 1万+
简单线性回归
用故事讲清楚统计学一元线性回归
Huangkaihong的博客
06-14 1079
数据类型： 我们主要把数据分为以下三个类别: Cross-sectional data (Micro-data): 同一个体单元(individual unit) 中的不同观察个 体 (observations) 在同一时间点的数据信息。(Observations on one or more variables taken at the same point in time.) Time series data (Macro-data): 在固定时间跨度(time interval)内，同一个个体变 量
rust(25)-皮尔逊相关系数
The research on computer technolog
03-07 566
皮尔逊相关系数( Pearson correlation coefficient），又称皮尔逊积矩相关系数（Pearson product-moment correlation coefficient，简称 PPMCC或PCCs），是用于度量两个变量X和Y之间的相关（线性相关），其值介于-1与1之间。 两个变量之间的皮尔逊相关系数定义为两个变量之间的协方差和标准差的商： 上式定义了总体相关系数，...
Simple Linear Regression
u011868279的博客
06-13 567
Simple Linear Regression
simple linear Regression
一个正在路上的学生
01-09 293
理论看程序就好了：import numpy as np import matplotlib.pyplot as plt def train_number(x,y): n=np.shape(x)[0] number1=0 number2=0 for i in range(n):#简单的线性回归的方程的公式 number1+=(x[i]-np.mean(...
一元线性回归（Simple Linear Regression）
最新发布
M冰的博客
09-25 3332
一元线性回归，是一种统计分析方法，用于研究一个因变量和一个自变量之间的线性关系。一元线性回归模型通常表示为 y = a*x + b，其中a是斜率，b是截距。其表示的含义是，自变量x每增加一个单位，因变量y平均增加a个单位。一元线性回归是一种强大的统计分析工具，可以用来探索和理解两个变量之间的线性关系。然而，对于非线性关系或其他更复杂的关系时就不适用了，需要其他更复杂的模型，如多元线性回归，逻辑回归，等等。
[学习笔记]机器学习——算法及模型（一）：线性回归
xyz的博客
10-01 583
传统算法（一）： 线性回归 一、什么是线性回归 线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。 举一个栗子数据： 工资和年龄（2个特征） 目标：预测银行会贷款给我多少钱（标签） 线性回归考虑：工资和年龄都会影响最终银行贷款的结果那么它们各自有多大的影响呢？（参数） 工资 年龄 额度 4000 25 12000 ...
斯坦福机器学习-第三周（分类，逻辑回归，过度拟合及解决方法）
空字符
06-16 2302
逻辑回归(Logistic Regression) 1. 分类(Classification) The classification problem is just like the regression problem, except that the values we now want to predict take on only a small number of discrete v
高斯过程分类和高斯过程回归_高斯过程回归建模入门
weixin_26752765的博客
08-11 3030
高斯过程分类和高斯过程回归Gaussian processing (GP) is quite a useful technique that enables a non-parametric Bayesian approach to modeling. It has wide applicability in areas such as regression, classification, op...
从FM推演各深度学习CTR预估模型（附代码）
热门推荐
寒小阳
07-13 1万+
作者： 龙心尘 && 寒小阳 时间：2018年7月。 出处：https://blog.csdn.net/longxinchen_ml/article/details/81031736 http://blog.csdn.net/han_xiaoyang/article/details/？ 声明：版权所有，转载请联系作者并注明出处。本文代码部分参考了lambda等同学的tens...
Rust机器学习之Linfa完整项目代码（含数据集）
02-13
本资源是我的博客文章《Rust机器学习之Linfa》https://blog.csdn.net/jarodyv/article/details/128089875 的完整项目代码和数据集，供大家学习参考。 Linfa 是一组Rust高级库的集合，提供了常用的数据处理方法和机器学习算法。Linfa对标Python上的scikit-learn，专注于日常机器学习任务常用的预处理任务和经典机器学习算法，目前Linfa已经实现了scikit-learn中的全部算法。 Rust的机器学习生态已经非常完善，然而社区仍在不断努力，向着Python快速靠近。面向未来，Rust快速、安全的特性会使它成为机器学习领域不可忽视，甚至是主流的编程语言。
【线性回归】Simple Linear Regression
m0_62417631的博客
03-09 541
我们常说的线性回归，也就是SLR，可以用在横向数据和纵向数据上，分别可以去预测一段时间的资产表现、预测影响资产的因素，可以去做归因分析，这是最常用的。 线性回归的本质，也就是在给定X和Y的基础上，让Sum of Squared Error最小，获得截距项和斜率，用这两项就可以预测Y，去使用线性回归模型的前提是你先要看到X和Y的图像像是满足线性关系，同时也要考虑到线性回归的另外三个假设：独立、残差正态分布、残差同方差，如果不满足的话就不能用线性回归，而且你在之后做完线性回归之后的残差项也会有形态，其实这四项
Day2--Simple Linear Regression
abc_138的博客
10-22 297
第二天：简单线性回归  第一步：数据预处理 import pandas as pd import numpy as np import matplotlib.pyplot as plt dataset = pd.read_csv('studentscores.csv') X = dataset.iloc[ : , : 1 ].values Y = dataset.iloc[ : ,...
简单线性回归 (Simple Linear Regression)
foochane
01-18 912
1. 介绍 回归(regression) Y变量为连续数值型(continuous numerical variable)，如：房价，人数，降雨量 分类(Classification): Y变量为类别型(categorical variable)，如：颜色类别，电脑品牌，有无信誉 2. 简单线性回归(Simple Linear Regression) 很...
简单线性回归(Simple Linear Regression)
coffee_fighter的博客
06-18 868
简单线性回归： 有且仅有一个自变量x，一个因变量y，x、y之间有线性关系，并且y是连续型变量。 假设方程为： y=b0+b1xy=b_0+b_1xy=b0​+b1​x 假设有n个样本（即有n个x，n个y） 算法步骤： 求出x‾\overline{x}xx‾=1n∑i=1nxi\overline{x}=\dfrac{1}{n}\sum_{i=1}^nx_ix=n1​i=1∑n​xi​ 求出y‾\o...
进击的机器学习 Third Day——简单线性回归模型（Simple Linear Regression）
weixin_45334770的博客
11-27 928
今天就来学一学简单的线性回归模型（Simple Linear Regession Model)，也就是通常所说的单变量线性回归模型。按照上节的分类，它属于监督模型中的回归算法。线性回归模型可以说是很多机器学习模型的基础(Basic)。更重要的是求解线性回归模型中的一些方法，比如梯度下降(Gradient Desecent)等更是被大家所熟知，被用于各种模型当中来求解。 线性回归模型可以用来干什么呢...
7.1 简单线性回归（Simple Linear Regression）
zxllll8898的博客
12-04 558
属于监督学习（Supervised Learning）；回归（Regression） 前提介绍： 为什么需要统计量？ 统计量：描述数据特征 集中趋势衡量： 均值（平均数，平均值）（mean） {6,2,9,1,2} （6+2+9+1+2）/5 =20/5 = 4 中位数（median）：将数据中的各个数值按照大小顺序排列，居于中间位置的变量 给数据排序：1,2,2,6,9
Day 2_Simple_Linear_Regression
lwycc2333的博客
11-26 281
简单线性回归 第一步 数据预处理 import pandas as pd import numpy as np import matplotlib.pyplot as plt dataset = pd.read_csv('studentscores.csv') X = dataset.iloc[ : , : 1 ].values Y = dataset.iloc[ : , 1 ].value...
简单线性回归（Simple Linear Regression）下
zxllll8898的博客
12-04 1104
1、简单线性回归模型举例： 汽车卖家做电视广告数量与卖出的汽车数量： 如何训练适合简单线性回归模型的最佳回归线？ 使sum of squares最小 计算 分子 = （1-2）(14-20)+(3-2)(24-20)+(2-2)(18-20)+(1-2)(17-20)+(3-2)(27-20)=6+4+0+3+7=20 分母 = (1-2)^2+
线性回归模型 LinearRegression原理
03-12
线性回归模型 LinearRegression 是一种用于建立线性关系的机器学习模型，它通过拟合数据集中的线性函数来预测目标变量。其原理是通过最小化残差平方和来确定最佳拟合直线，从而得到最优的模型参数。该模型常用于解决回归问题，如预测房价、销售额等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

丰。。

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值