对偶性与KKT条件

在**上一篇文章中，笔者介绍了什么是拉格朗日乘数法以及它的作用。同时在那篇文章中笔者还特意说到，拉格朗日乘数法只能用来求解等式约束条件下**的极值。但是当约束条件为不等式的时候我们又该如何求解呢？

1 广义拉格朗日乘数法

由拉格朗日乘数法可知，对于如下等式条件的约束问题
$$\begin{array}{rl}\underset{w}{\min }f(w)& \\ s.t.h_i(w)& =0,i=1,\cdots ,l.\end{array}\text{\hspace{1em}(1)}$$
其中$w$是一个向量​。

很明显这是一个条件（等式）极值问题，且用拉格朗日乘数法就能解决：
$$\mathcal{L}(w,\beta )=f(w)+\sum _{i=1}^l{\beta }_i{h}_i(w)\text{\hspace{1em}(2)}$$
其中${\beta }_i$是拉格朗日乘子；然后对式子中所有的参数求偏导，令其为0便可求解出所有参数。

接着看如下优化问题

$$\begin{array}{rl}\underset{w}{\min }f(w)& \\ s.t.g_i(w)& \le 0,i=1,\cdots ,k.\\ h_i(w)& =0,i=1,\cdots ,l.\end{array}\text{\hspace{1em}(3)}$$
与之前明显不同的就是在这个问题中多了不等式的约束条件。因此，为了解决这个问题我们就要定义广义的拉格朗日乘数法（Generalized Lagrangian）。
$$\mathcal{L}(w,\alpha ,\beta )=f(w)+\sum _{i=1}^k{\alpha }_i{g}_i(w)+\sum _{i=1}^l{\beta }_i{h}_i(w)\text{\hspace{1em}(4)}$$
其中${\alpha }_i$和${\beta }_i$都是拉格朗日乘子，但接下来的求解过程与之前就大相径庭了。

2 对偶问题优化

2.1 原始优化问题

根据式子$(3)(4)$我们考虑如下定义：
$${\theta }_{\mathcal{P}}(w)=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\mathcal{L}(w,\alpha ,\beta )\text{\hspace{1em}(5)}$$
这个式子表示的含义是：最大化$\mathcal{L}(\omega ,\alpha ,\beta )$时$\alpha ,\beta$的取值，即$\alpha ,\beta$作为自变量与$w$无关，最终求得的结果${\theta }_{\mathcal{P}}$是关于$w$的函数；其中${\alpha }_i\ge 0$是为了在$\mathcal{L}(w,\alpha ,\beta )$中保证约束条件$g_i(w)\le 0$始终成立。

因此，如果原约束条件$g_i(w)\le 0$和$h_i(w)=0$均成立，那么：
$$\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\mathcal{L}(w,\alpha ,\beta )⟺\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\left[\sum _{i=1}^k{\alpha }_i{g}_i(w)+\sum _{i=1}^l{\beta }_i{h}_i(w)\right]\text{\hspace{1em}(6)}$$
则此时有${\theta }_{\mathcal{P}}$