浅析凸优化理论学习中的“坑”

相信所有学优化的小朋友，都对凸优化和线性规划有所了解了。

凸优化就是一门寻优技术，找出满足约束的全局最优。如果实在找不到，或者不好找。那就找一个局部最优，近似最优，鞍点等。

翻开凸优化英文版专著，发现理论其实并不好学，反正我的第一感觉是很繁琐。一些很直观的东西，罗里吧嗦证明一大片。后来在做研究的时候发现，一些做优化理论的文章也是反反复复去证明那几个事实，不太明白费那么大劲做这些干什么？

文章看多了，书看细了，慢慢地发现其实我读了这么多年书，并没有攒下所谓的“数学素养”。怎么说呢？我们大学都学过高等代数、解析几何、数学分析。我的感觉就是代数特别好验证，几何特别地直观，数学分析则严谨得有点啰嗦。

我们很多数学源于几何，但是慢慢抽象化后形成了现在包罗万象的数学体系。对于几何，对于大多数人而言应该不会太难，特别是初高中阶段空间想象能力特别强的同学。可是，有没有感觉这样的数学显得有点“单薄”？

我们优化中无非想要知道“最优点”长什么样子？用几何，几句话就定义明白了：在可行域内，x处的函数值小于所有其他点的函数值。简单，直白。但是这有啥意义？很明白这种定义不好验证。数学家是怎么考虑的呢？首先，他们会通过数学分析中的一些概念将“粗糙直白”的几何定义进行规范化，其次通过痛苦漫长的思考，通过一系列地理论工具将这个规范化的几何定理变成一个易于验证的代数版本——这就是数学工作要做的事情。我们可以重新到经典优化专著去反思KKT条件的由来，是不是这么一个过程。一个几何定义找到了一个易于验证的等价代数描述，数学工作就告一段落了。然而，通常情况下可能并不是那么幸运，我们更多的时候是找到一个“更强”的易于验证的代数描述（充分条件）或者“更弱”的易于验证的代数描述（必要条件），然后问这两组描述是不是可以做的更“紧”？

在一本好的优化书中，你可以看到几何图解非常多，通常都是在下几何定义时，考虑如何给一个合适的定义做准备。然后将几何定义用严谨的（啰嗦的）数学分析语言（任意，存在，极限，连续，无穷点列，epsilon，delta，…）将一个重要概念（例如全局最小/局部最小）定义清楚，然后一点点向代数描述上靠，最后我们发现KKT条件是一种全代数描述（因为数学分析底层描述语言消失了），从这一点来看这是一个非常漂亮的数学工作，优化理论工作都可以参照这个版本而展开。

当前凸优化理论是研究得比较透彻的，所有才会出现那么多凸优化的专著。其中，研究得最充分的是凸优化特例——线性规划，其理论体系已经是经典之作了，如果你的工作可以引用线性规划理论结果，可能马上会得到一些漂亮的结论。