逻辑回归实现分类计算

最新推荐文章于 2025-04-04 07:45:29 发布

yihan.z

最新推荐文章于 2025-04-04 07:45:29 发布

阅读量2.2k

点赞数 2

分类专栏：机器学习文章标签：逻辑回归分类算法梯度下降

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_33361618/article/details/83023735

版权

本文介绍了逻辑回归算法在处理分类问题中的应用，特别是针对二分类问题。首先阐述了线性回归的基本原理，然后详细讲解了逻辑回归的sigmoid函数和如何通过梯度下降优化模型。文中以研究生录取为例，展示了数据预处理、模型构建和评估的过程，并讨论了过拟合现象和模型的可解释性问题。最后，通过改进和标准化数据，提高了模型的R方值，但仍然较低，表明仅凭成绩、GPA和排名预测研究生录取存在局限性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、算法原理：

1.线性回归算法

给定由n个属性(维度)描述的示例x=(x1;x2;…;xn),其中xi是x在第i个属性上的取值，线性模型试图学的一个通过属性的线性组合来进行预测的函数，即

$f(x)=w_{1}x_{1}+w_{2}x_{2}+...+w_{n}x_{n}+b$

也可以写成：

$f(x)=w^{T}x+b$

w为回归系数，b为常量。

线性回归通常用来处理连续性变量，当因变量f(x)为离散变量，比如分类变量时，线性回归就显得不那么实用，这时候就需要采用其他方法来处理分类问题。

2.逻辑回归算法

逻辑回归是用于处理因变量为分类变量的回归问题，常见的二分类或二项分布问题。是一种分类方法。又称为sigmoid函数。

假设一个二分类问题：判断一个人是否患病，并且有这些属性：年龄、性别、体质指数、平均血压和疾病指数等。

患病的概率为p，不患病的概率为1-p

那么患病与不患病的比例为： $z=ln(\frac{p}{1-p})$

反过来推导p:

$e^{z}=\frac{p}{1-p}...........................(1)$

公式两边分别乘以 $e^{z}$ 得到：

$e^{z}(1-p) = p........................(2)$

$p=\frac{e^{z}}{1+e^{z}}.............................(3)$

$p=\frac{1}{1+e^{-z}}...........................(4)$

其中z值表示一元多项式，一般默认值域范围为[-6,6]，也可以确定为更高的值。对应的p值也会增加。

基本图像如下：

一般情况在z值是较难确定的，所以引入梯度下降算法，进行线性回归系数的拟合计算。

3.梯度下降算法

梯度下降原理在机器学习和模型优化中有着十分重要的作用。类似于：将一个球从山顶往山脚滚动，先加速，到一定时候减速。与sigmoid函数图像相类似，有的时候也会用sigmoid函数作为梯度下降函数。

线性回归函数公式：

$h(x)=\Theta^{T}X$

其中θ为线性回归系数,梯度下降用

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。