CV学习第三课——机器学习之线性回归与逻辑回归

1机器学习

定义：假设用P来评估计算机程序在某任务类T上的性能，若一个程序通过利用经验E在T中任务上获得了性能改善，则我们就说关于T和P，该程序对E进行了学习。
这也是机器学习目前的困境所在，只能针对单方面的事物进行学习，还不会变通。

1.1机器学习与人工智能关系

其关系可参考阅读链接：
人工智能、机器学习、深度学习、神经网络概念说明
用一张图可表示如下：

1.2机器学习分类

机器学习分类参考
机器学习通常分为四类，每类又细分如下

• A监督学习
  监督学习经典分两类：

  • 1.Regression回归问题（从连续的数据，进行预测）
    如线性回归
  • 2.Classification分类问题（离散的数据）
    如逻辑回归

  监督学习常用算法：

  • Linear Regression（线性回归）
  • Logistic Regression（逻辑回归）
  • Neural networks（神经网络）
  • Support Vector Machines (SVMs)（支持向量机）
  • Back Propagation（BP算法）
  • Regularization（正则化）
  • Decision Trees and Random Forests（决策树 和 随机深林）
  • K-Nearest Neighbors（KNN近邻算法）

• B无监督学习
  常见的无监督学习算法：

  • Clustering（聚类算法）
    K-Means
    Hierarchical Cluster Analysis (HCA)
    Expectation Maximization
  • Visualization and dimensionality reduction
    Principal Component Analysis (PCA)
    Kernel PCA
    Locally-Linear Embedding (LLE)
    t-distributed Stochastic Neighbor Embedding (t-SNE)
  • Association rule learning
    Apriori
    Eclat

• C半监督学习

• D强化学习

2.线性回归与逻辑回归

2.1一元线性回归

线性回归内容参考如下文章：
算法笔记- 线性回归（Linear Regression）
1.一元线性回归假设函数：

2.未知变量：
$w$、$b$
3.损失函数（即目标函数）：


要使损失函数$L(w,b)$最小化
4.求解的两种方法

• A.最小二乘法：
  求解$w$和$b$是使损失函数最小化的过程，在统计中称为线性回归模型的最小二乘“参数估计”(parameter estimation)。我们可以将$L(w,b)$分别对$w$ 和$b$求导，省略了前面系数$1/n$得:
  
  令上述两式为0，可得到$w$和$b$最优解的闭式(closed-form)解：
  
  以上公式具体推到过程参考：最小二乘法求回归直线方程的推导
  -B.梯度下降法(gradient descent)
  梯度下降核心内容是对自变量进行不断的更新（针对$w$和$b$求偏导），使得目标函数不断逼近最小值的过程:
  
  此处的$w$和$b$的梯度求法和最小二乘法一样：
  
  梯度的理解可参考如下文章：
  一元函数的梯度就是一元函数的倒数
  1.梯度
  2.梯度理解

2.2多元线性回归

如下内容参考文章：
1.简单多元线性回归（梯度下降算法与矩阵法）
2.多元线性回归算法学习笔记
3.线性模型

1.假设函数
$h(x)={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+$