凸优化学习-（十五）凸优化问题分析和举例

凸优化学习

今天开始对优化问题进行分析，会先判断一般的优化问题，然后逐渐引入凸优化问题。

学习笔记

一、优化问题的几个例子以及变换

例1：

$$\begin{array}{rlrl}\min & & f_0(x)& =x_1^2+x_2^2\\ \text{s.t.}& & f_i(x)& =\frac{x_1}{1+x_2^2}\le 0\\ & & h_i(x)& =(x_1+x_2{)}^2=0\end{array}$$
显然，这个问题里面，$f_1(x)$非凸，$h_1(x)$非仿射，不是凸问题。但我们可以将其转换为等价的凸问题：
$$\begin{array}{rlrl}\min & & f_0(x)& =x_1^2+x_2^2\\ \text{s.t.}& & f_i(x)& =x_1\le 0\\ & & h_i(x)& =x_1+x_2=0\end{array}$$

例2：

可以将等式约束消除，减少约束的维数。
$$\begin{array}{rlrl}\min & & f_0(Fz+x_0)& \\ \text{s.t.}& & f_i(Fz+x_0)& =0i=1\cdots m\end{array}$$

例3：

$$\begin{array}{rlrl}\min & & f_0(x)& \\ \text{s.t.}& & S_i& \le 0\\ & & f_i(x)-S_i& =0i=1\cdots m\\ & & a_i^{T}x-b_i& =0i=1\cdots p\end{array}$$
松弛变量（增加维数和约束），转换为关于$x$和$S$的函数，变换出特殊结构，变成更容易的问题。

例4：$\text{Quasi convex optimization}$拟凸优化问题

$$\begin{array}{rlrl}\min & & f_0(x)& \\ \text{s.t.}& & f_i(x)& \le 0i=1\cdots m\\ & & h_i(x)& =0i=1\cdots p\end{array}$$
其中目标函数是拟凸函数，约束是凸集。

例5：

$$\begin{array}{rlrl}\max & & f_0(x)& \\ \text{s.t.}& & f_i(x)& \le 0i=1\cdots m\\ & & h_i(x)& =0i=1\cdots p\end{array}$$
若目标函数是凹函数，约束为凸集，那么此形式的问题依然是凸问题。

二、凸优化问题的性质和解几种凸优化问题的例子

1、凸问题的性质

1.局部最优解等于全局最优解。

2
若目标函数可微，由凸函数一阶条件得：
$$f_0(y)\ge f_0(x)+\nabla f_0(x)(y-x)\forall x,y\in \text{dom}f$$
则：
$$x^{\ast }\in X_f最优\iff \nabla f_0^T(x^{\ast })(y-x^{\ast })\ge 0\forall y\in X_f$$

2、一些例子

例1：约束仅为等式约束
$$\begin{array}{rlrl}\min & & f_0(x)& \\ \text{s.t.}& & \text{A}x& =b\end{array}$$
由性质2得：
$$\nabla f_0(x)(y-x)\ge 0\forall y-x^{\ast }=v\in N(\text{A})$$
$N(\text{A})$表示$\text{A}$的化零空间。
可以得到：
①$v=0$，$\text{A}$可逆，$x={\text{A}}^{-1}b$。（可行解空间退化成一个点）
②$\nabla f_0(x)$与$N(\text{A})$正交。

例2；约束仅为非负约束
$$\begin{array}{rlrl}\min & & f_0(x)& \\ \text{s.t.}& & x& \ge 0\end{array}$$
由性质2得：
$$\nabla f_0(x)y-\nabla f_0(x)x\ge 0$$
分析上式得：
①若$\forall i(\nabla f_0(x){)}_i<0$，则$\nabla f_0(x)y$必可以取无穷小，必有$\nabla f_0(x)\ge 0$，因为$y\ge 0$，这个函数是关于$y$线性的。
②根据①进一步分析得$\nabla f_0(x)x\le 0$
③由$x\ge 0$结合①②得$\nabla f_0(x)x=0$
即
$$\{\begin{array}{l}x\ge 0\\ \nabla f_0(x)\ge 0\iff x为最优解\\ \nabla f_0(x)=0\end{array}$$

个人思考

这是第一次接触到解凸函数的问题，需要好好掌握一下这里面的思想。事实上，直接优化一个函数，还是带约束的，是一个比较麻烦的问题，通过找出等价条件直接解是比较好的。

纸质笔记