【机器学习】机器学习的基本分类-监督学习-逻辑回归（Logistic Regression）

逻辑回归是一种分类算法，尽管名字中包含“回归”，但其主要用于解决二分类和多分类问题。它通过学习一个逻辑函数，预测输入属于某个类别的概率。

1. 逻辑回归的基本概念

目标

逻辑回归的目标是找到一个函数 h(x)，输出一个概率值 P(y=1|x)，表示输入样本 x 属于正类的概率。

逻辑函数（Sigmoid 函数）

逻辑回归使用 Sigmoid 函数将线性回归的结果映射到 (0, 1) 之间：

其中：

• z 是线性模型的结果。
• h(x) 是预测为正类的概率。

【机器学习】机器学习的基本分类-监督学习-逻辑回归-Sigmoid 函数-CSDN博客

2. 逻辑回归的损失函数

为了优化模型参数 w 和 b，逻辑回归最小化 对数似然损失函数：

其中：

• m 是样本数量。
• 是第 i 个样本的真实标签。

逻辑回归通过梯度下降或其他优化算法最小化该损失函数。<