运筹学 $5约束极值

§5 约束极值

C1 最优性条件

1）非起作用约束：当前可行解不在约束边界的约束

如$g(X_0)>t$满足$g(X_0)\ge t$但不在边界上

2）可行方向：$\exists \lambda :X_0+\lambda D\in R⟺$对于所有起作用约束$\nabla g(X_0{)}^{T}D\ge 0$

3）下降方向：若$\exists \delta \forall \lambda \in [0,\delta ]f(X_0+\lambda D)<f(X_0)⟺\nabla f(X_0{)}^{T}D<0$

4）可行方向法：解$\min \eta \{\begin{array}{l}\nabla f(X_k{)}^{T}D<\eta \\ \nabla g_i(X_k{)}^{T}D>\eta \\ -1⪯D⪯1\end{array}$

• 若$\eta <0$，则对应最优可行下降方向
• 若$|\eta |<ϵ$，可停止计算

5）K-T条件：约束极值点满足$\{\begin{array}{l}\nabla f(X^{\ast })-\sum _{i=1}^m{\gamma }_i\nabla g_i(X^{\ast })=0\\ {\gamma }_i{g}_i(X^{\ast })=0\\ {\gamma }_i^{\ast }\ge 0\end{array}$

• 对于凸规划，是充要条件；对于线性规划，是必要条件
• ${\gamma }_i$称为广义拉格朗日乘子

C2 二次规划

1）二次规划：目标函数为二次形式，且约束条件线性
$$\begin{gathered} \min f(X)=\sum _{j=1}^n{c}_j{x}_j+\frac{1}{2}\sum _{j=1}^n\sum _{k=1}^n{c}_{jk}{x}_j{x}_k,c_{jk}=c_{kj} \\ \{\begin{array}{l}\sum _{j=1}^n{a}_{ij}{x}_j+b_i\ge 0\\ x_j\ge 0\end{array} \end{gathered}$$
2）K-T解法：问题等价于线性规划问题
$$\begin{gathered} \min \varphi (Z)=\sum _{j=1}^n{z}_j \\ \{\begin{array}{l}\sum _{i=1}^m{a}_{ij}{\gamma }_{n+i}+{\gamma }_i-\sum _{k=1}^n{c}_{jk}{x}_k+sgn(c_j)z_j=c_j\\ \sum _{j=1}^n{a}_{ij}{x}_j-x_{n+i}+b_i=0\\ x_j\ge 0,y_j\ge 0,z_j\ge 0\end{array} \end{gathered}$$

• 初始可行解

$$\{\begin{array}{l}{z}_j=sgn(c_j)c_j\\ x_{n+i}=b_i\\ x_j=y_j=0\end{array}$$

C3 制约函数法

1）外点法：

• 令$\varphi (g_i(X))=\{\begin{array}{l}0,t\ge 0\\ t^2,t<0\end{array}$为惩罚函数。$P(X,M)=f(X)+M\sum _{i=1}^l\varphi (g_i(x))$
• 求解无约束极值问题$\min P(X,M_k)$，
• 若某个$g_i(X)<-ϵ$，则增大M，求解$\min P(X,M_{k+1})$。多次迭代直至得到可行解

2）内点法：

• 令$g(X,r)=r_k\sum _{j=1}^l\frac{1}{g_j(X)}$或$g(X,r)=-r_k\sum _{j=1}^l\log (g_j(X))$为障碍函数。$\bar{P}(X,r)=f(X)+g(X,r)$

• 取一可行解$X_0$为初始点，求解无约束极值问题$\min \bar{P}(X,r_k)$

• 若$g(X,r_k)\le ϵ$，则终止。否则减小r，计算$\min \bar{P}(X,r_{k+1})$