第14课：逻辑回归——非线性逻辑函数的由来

逻辑回归

今天我们要讲的模型叫做 Logistic Regression （LR），一般翻译为逻辑回归。

LR 是一种简单、高效的常用分类模型——有点奇怪是吧，为什么名字叫做“回归”却是一个分类模型，这个我们稍后再讲。先来看看这个 LR 本身。

LR 的模型函数记作：$y=h(x)$，具体形式如下：

$h_\theta(x) = \frac{1}{1 + e^{-\theta^Tx }} $

对应到一元自变量的形式为：

$h(x) = \frac{1}{1 + e^{-(a + bx) }} $

设 $z = a + bx$，则：

$h(z) = \frac{1}{1 + e^{-z }} $

这样的一个函数被称为逻辑函数，它在二维坐标中的表现是这样的：

因为表现为 S 形曲线，所以逻辑函数又被称为 Sigmod 函数（S 函数）。

Sigmod 这样一个奇怪而别扭的形式到底是谁、因为什么想出来的呢？又怎么想到用它来做分类的呢？

罗马不是一天建成的，Sigmod 函数也不是一天形成的。

说起来，逻辑回归的历史相当悠久，迄今大概已经有200年。它的前身，则在18世纪就已经出现了。

18世纪，随着工业革命的深入；世界经济、科技的发展；美洲的发现，及随之而来的大移民和北美人口迅猛增长……各个学科对于统计学的工具性需求越