机器学习 - 逻辑回归

逻辑回归是一种广泛用于分类问题的统计方法，特别是在二分类问题中应用最为普遍。它是监督学习的一种形式，适合于估计离散值（如是/否）之间的关系。

左图是我们的回归问题，输出的是连续数值，右图则是我们的分类问题。

基本原理

逻辑回归的目标是找到一个概率模型，预测给定输入变量的输出类别。虽然名为“回归”，但逻辑回归实际上是一种分类方法。

核心思想是使用逻辑函数（或称sigmoid函数）将线性回归模型的输出值映射到0和1之间，这个映射后的值表示某个类别发生的概率。逻辑函数的公式为：

$\sigma (z)=\frac{1}{1+e^{-z}}$

其中( z )是输入特征的线性组合，形式为：

$z={\beta }_0+{\beta }_1{x}_1+{\beta }_2{x}_2+\cdots +{\beta }_n{x}_n$

参数估计

逻辑回归通常使用最大似然估计（MLE）来确定参数$\beta$系数）。最大似然估计的目的是找到使得观测到的样本数据出现概率最大的参数。在逻辑回归中，这等同于找到一个参数集合，使得模型预测的概率与实际数据匹配得最好。

损失函数

逻辑回归的损失函数

在逻辑回归中，我们使用对数损失（Log Loss），也称为二元交叉熵损失（二分类问题）。这个损失函数用于衡量模型预测概率与实际标签之间的差异。

对于一个二分类问题，逻辑回归模型输出的是一个概率 $\hat{p}$（即属于类别1的概率）。假设我们有 $N$ 个样本，模型的预测概率为 ${\hat{p}}_i$，真实标签为 $y_i$（取值为0或1），则逻辑回归的损失函数（对数损失）定义为：

$L=-\frac{1}{N}{\sum }_{i=1}^N\left[y_i\log ({\hat{p}}_i)+(1-y_i)\log (1-{\hat{p}}_i)\right]$

损失函数的推导

1. 预测概率：
   逻辑回归模型通过逻辑函数（sig