机器学习算法（六）---逻辑回归

常见的机器学习算法：
机器学习算法（一）—决策树
机器学习算法（二）—支持向量机SVM
机器学习算法（三）—K近邻
机器学习算法（四）—集成算法
基于XGBoost的集成学习算法
基于LightGBM的集成学习算法
机器学习算法（五）—聚类
机器学习算法（六）—逻辑回归
机器学习算法（七）—Apriori 关联分析
机器学习算法（八）—朴素贝叶斯
九种降维方法汇总
  机器学习中监督学习模型的任务重点在于根据已有经验知识对未知样本的目标/标记进行预测。根据目标预测变量的类型不同，把监督学习任务大体分为分类学习和回归预测两类。分类学习是最为常见的监督学习问题，其中，最基础的是二分类问题，除此之外还有多分类问题。

一、逻辑回归

1.1 模型介绍

  逻辑回归是在数据服从伯努利分布的假设下，通过极大似然的方法，运用梯度下降法来求解参数，从而达到将数据二分类的目的。
  逻辑回归是一种用于二分类问题的统计方法，引入了一种 S型曲线（Sigmoid函数），它能将输出值压缩到0和1之间，从而解决了线性回归不适用分类问题的问题。
Sigmoid函数：
$$f(z)=\frac{1}{1+e^{-z}}$$
其中，$z=w_0+w_1\ast x_1+w_2\ast x_2+...+(w_n)x_n=w\ast x$，逻辑回归可以将 z 映射为一个 0 到 1 之间的概率。X表示特征向量，W表示模型的参数。

1.2 工作原理

  逻辑回归主要用于估计某个事件发生的概率，核心思想是使用线性回归来计算一个分数（即Z ），然后通过 Sigmoid函数将这个分数转化为概率，再以此概率进行分类。逻辑回归的参数是通过极大似然估计来确定。

1.2.1 对数几率模型

  几率不是概率，而是一个事件发生与不发生的概率的比值。假设某事件发生的概率为p，则该事件不发生的概率为1-p，该事件的几率为：
$$odd(p)=\frac{p}{1-p}$$
  在几率的基础上取（自然底数的）对数，则构成该事件的对数几率（logit）：
$$logit(p)=ln\frac{p}{1-p}$$
  如果我们将对数几率看成是一个函数，并将其作为联系函数，即$g(y)=ln\frac{y}{1-y}$，则该广义线性模型为：
$$g(y)=ln\frac{y}{1-y}={\hat{w}}^T\cdot \hat{x}$$
  此时模型就被称为对数几率回归（logistic regression），也被称为逻辑回归。

1.2.2 逻辑回归与Sigmoid函数

  我们希望将上述对数几率函数“反解”出来，也就是改写为$y=f(x)$形式:
方程左右两端取自然底数：
$$\frac{y}{1-y}=e^{{\hat{w}}^T\cdot \hat{x}}$$
方程左右两端+1可得：
$$\frac{y+(1-y)}{1-y}=\frac{1}{1-y}=e^{{\hat{w}}^T\cdot \hat{x}}+1$$
方程左右两端取倒数可得：
$$1-y=\frac{1}{e^{{\hat{w}}^T\cdot \hat{x}}+1}$$
1-方程左右两端可得：
$$\begin{array}{rl}y& =1-\frac{1}{e^{{\hat{w}}^T\cdot \hat{x}}+1}\\ & =\\ & \end{array}$$