Logistic回归的基本原理(简单介绍)

目录

• LR回归
• 概率解释

LR回归

  Logistic 回归是一种分类器，功能与贝叶斯分类器，SVM等分类器一致，是用于分类的，而不是进行数据回归的。下面简单介绍下整个LR模型的基本原理，主要有两个核心问题，1是LR如何分类，2是如何得到模型内相应的参数。
  首先介绍sigmoid函数，sigmoid函数可以把任意实数域内的元素映射到$(0，1)$之间。表达式如下：

$$y(x)=\frac{1}{1+e^{-x}}\text{\hspace{1em}(1)}$$

  图像如下：

  值得注意的是，$(0,1)$这个区间正好对应了概率的取值，因此sigmoid函数的函数值在某些情况下就可以看成概率。

  LR回归的模型很简单，表达式如下：

$$y_i=\frac{1}{1+e^{-w^T{x}_i-b}}$$

  首先$w^T{x}_i+b$是一个线性分类器（图像表达为一个超平面），为什么呢？考虑最简单的二维情况：

  当数据$x_i$落在直线上时有$w^T{x}_i+b=0$
  当数据$x_i$落在直线上方时有$w^T{x}_i+b>0$
  当数据$x_i$落在直线下方时有$w^T{x}_i+b<0$

  其次$y_i=\frac{1}{1+e^{-w^T{x}_i-b}}$也是一个分类器，为什么呢？也考虑二维最简单的情况：
  当数据$x_i$落在直线上时有$y_i=\frac{1}{1+e^{-w^T{x}_i-b}}=0.5$
  当数据$x_i$落在直线上方时有$y_i=\frac{1}{1+e^{-w^T{x}_i-b}}\in (0.5,1)$
  当数据$x_i$落在直线下方时有$y_i=\frac{1}{1+e^{-w^T{x}_i-b}}\in (0,0.5)$

因此，LR模型可作为二分类的分类器。

概率解释

  已知有数据集X={X1,X2,...,XN}X=\{X_1,X_2,...,X_N\}X={X1​,X2​,...,XN​}，对应的二分类标签为{0,1}\{0,1\}{0,1}，要得到LR模型中的$w,b$，肯定有一个训练的过程，而且是有监督的训练过程。
  对于数据$X_i$，若划分类别为yi(yi∈{0,1})y_i(y_i\in\{0,1\})yi​(yi​∈{0,1})，那么相应的概率如下：

$$p(y_i=0|X_i,w,b)=\frac{1}{1+e^{-w^T{x}_i-b}}$$

$$p(y_i=1|X_i,w,b)=1-\frac{1}{1+e^{-w^T{x}_i-b}}=\frac{e^{-w^T{x}_i-b}}{1+e^{-w^T{x}_i-b}}$$

  记$h(X_i,w,b)=\frac{1}{1+e^{-w^T{x}_i-b}}$,因此$y$的概率分布为：

$$p(y_i|X_i,w,b)=h(X_i,w,b{)}^y(1-h(X_i,w,b){)}^{1-y}\text{\hspace{1em}(2)}$$

  为什么是以上这个形式，可以考虑以下概率论中$(0,1)$分布的知识。

  有了（2）式，如何得到$w,b$？，由$(2)$式可知，这属于参数估计问题，最直接的办法是极大似然，似然函数如下：

$$L(y_i|X_i,w,b)=\prod _{i=1}^{N}h(X_i,w,b{)}_i^y(1-h(X_i,w,b){)}^{1-y_i}$$

  取对数得：
$$J(y_i|X_i,w,b)=\sum _{i=1}^N[y_{i}h(X_i,w,b)+(1-y_i)(1-h(X_i,w,b))]$$

  要得到最优的$w,b$只需优化以下目标函数：

$$max[J(y_i|X_i,w,b)]$$

  其中$X_i$为提取出来的特征向量，$y_i$为标签，为了求解这个优化问题，可以使用梯度上升法等优化方法。