判断kkt条件的例题_最优化：二阶条件总结

一、矩阵相关概念

1.1 Def

阶子式(

-th order minor)

设方阵

. 任取

的

行、

列所相交的

个点，保持相对顺序形成新小方阵

. 则称

为

的

阶子式.

1.2 Def

阶主子式(

-th order principle minor)

设方阵

. 任取

的

行. 再取与被取行号相同列号

列所相交的

个点，保持相对顺序形成新小方阵

(即所有点关于主对角线对称). 则称

为

的

阶主子式.

1.3 Def

阶顺序主子式(

-th order leading principle minor)

设方阵

. 取

的前

行, 再取前

列所相交的

个点，保持相对顺序形成新小方阵

(即

到

框定的方阵). 则称

为

的

阶顺序主子式.

以下概念与最优化无直接关系，但为了与上述概念区分，一并列出.

1.4 Def 余子式(Cofactor)

设方阵

. 划去元

所在的第

行与第

列各项，剩下

不改变原来的顺序所构成的

阶

行列式

称为

在

的余子式。

1.5 Def 代数余子式(Algebraic Cofactor)

设方阵

. 称

为

在

的代数余子式.

1.6 Def 伴随矩阵(Adjugate Matrix)

设方阵

. 称同形矩阵

(代数余子式阵的转置)为

的伴随矩阵. 若

可逆，则有

.

二、实对称阵的正负定、不定、半正负定性判别

2.1 Prop 对称阵：正、负定; 不定; 半、正负定矩阵判断

设

为

阶实对称阵，则按如下方法判断:

一、行列式法
充要条件：
(1) 若

的所有

顺序主子式

为正定矩阵；

(2) 若

的

顺序主子式从小到大符号为负、正、负...交替

为负定矩阵；

(3) 若

的

所有主子式

为半正定矩阵；

(4) 若

的

所有奇数阶主子式

, 同时

所有偶数阶主子式

为半负定矩阵

筛选方法：
(1) 先按顺序主子式判断是否满足正定、负定充要条件;
(2) 若顺序主子式被严格违背, 则一定为不定矩阵(一定不是极值)；
(3) 若顺序主子式弱满足，则检查余下主子式是否满足半正、负定充要条件; 不满足则为不定矩阵/满足则为半正、负定矩阵. 二、特征值、主元充要条件
(1) 若

的所有特征值

为正(负)定矩阵；

(2) 若

的所有特征值

为半正(负)定矩阵；

(3) 实对称阵

消元后所有主元(pivot)与特征值符号一致.

三、正定、半正定充要条件
(1) 若存在列满秩矩阵

, 使得

为正定矩阵；

(2) 若存在一般矩阵

, 使得

为半正定矩阵.

三、无约束最优化: 二阶充分条件

3.1 Thm 无约束最优化：内点二阶充分条件(S.O.C)

设

.

则当

为

的驻点(

)且满足:

(1)

为正定矩阵

为极小值点；

(2)

为负定矩阵

为极大值点；

(3)

为不定矩阵

既不是极大值点也不是极小值点(鞍点Saddle Point)

(4)

为半正、负定矩阵

无法判断(需要更高阶条件).

四、约束最优化：二阶充分条件

4.1 Thm 约束最优化：二阶充分条件(S.O.C)

目标函数:

不等条件:

等式条件:

当

满足:

(1) Karush Kuhn Tucker一阶条件；
(2) 记KKT的解中不等条件中binding的条件

, 所有等式条件

的雅可比矩阵堆叠成

. 若

满足

的可行方向上,

,

为极小(大)值点.

4.2 Prop 加边海森矩阵正、负定判别

满足

的可行方向

上, 记

加边海森矩阵(Bordered Hessian)为

. (默认

, 否则等式约束条件过多，自变量无自由度)

(1)

从第

行(包含此行)为第一个顺序主子式的右下角，以此开始检查所有后续顺序主子式符号均为

，共检查

个顺序主子式；

(2)

从第

行(包含此行)为第一个顺序主子式的右下角，以此开始检查所有后续顺序主子式符号为: 以

开始的交替正负，共检查

个顺序主子式.