拉格朗日乘子法

最优化基本知识这里就不赘述了，详情可以参考个种最优化书籍，这篇博客主要是帮助回忆优化应用中较常用的方法。

一般情况下，最优化问题会碰到一下三种情况：1. 无约束， 2. 等式约束  3. 不等式约束。对于无约束情况，只要将优化目标对于变量求导，并令其等于0即可，我们主要讨论第二种情况。

设目标函数为f(x)，约束条件为h_k(x) ：

一种方法是消元法，也就是通过等式约束变换，用一部分变量来表示另一部分变量并代入f(x)，以此达到消除等式约束的做法。这个方法有局限性，因为要做到消元有时很麻烦，甚至是不可行的。举个例子，，，那么该处要做消元法的话需要用x和y表示z，这里的变换就比较繁琐，如果是多个等式约束会更加麻烦。下面介绍拉格朗日法，定义拉格朗日函数：

此处，是我们引入的和等式约束数目相等的参数。原问题的求解可以转化为求解方程组：

拉格朗日法的直观解释

举一个二维的例子，

 这里画出z=f(x,y)的登高线图像

绿色的线即为约束方程，我们要求取的点一定是在绿线上的，由图像可见，在该点g(x,y) = c 和 f(x,y)等一条登高线是相切的。所以，我们可以得出：∇(f(x,y) - d)=λ（∇g(x,y) - C) 。变换一下形式我们发现这就是拉格朗日解法。值得注意的是，该方法得到解只是原问题的必要而非充分条件。