无约束非线性优化——最速下降法、牛顿法、共轭梯度法_求解非线性方程组最优解的方法-CSDN博客

本章对应的相关例题可见《无约束非线性优化算法例题-CSDN博客》

1 非线性优化问题的相关概念

1.1 迭代问题的结构与格式要求

首先，介绍迭代问题的一般性结构。设非线性规划问题

$eq?min%5C%3B%20%5C%3B%20%5C%3B%20%5C%3B%20%5C%3B%20%5C%3B%20%5C%3B%20f%28x%29$

$eq?s.t.%5C%3B%20%5C%3B%20%5C%3B%20%5C%3B%20%5C%3B%20%5C%3B%20%5C%3B%20%5C%3B%20%5C%3B%20x%5Cin%20F$

其中 $eq?F%5Csubseteq%20R%5E%7Bn%7D$ 。

若 $eq?F%3D%20R%5E%7Bn%7D$ ，即没有约束条件，在函数的整个定义域内寻找最优解，则问题为无约束优化问题；
若 $eq?F%3D%5Cleft%20%5C%7B%20h_%7Bi%7D%28x%29%3D0%2Ci%5Cin%20%5Cvarepsilon%20%3Bg_%7Bj%7D%5Cgeq%200%2Cj%5Cin%20%5Ceta%20%5Cright%20%5C%7D$ ，即表示为约束条件为： $eq?s.t.%5Cbegin%7Bmatrix%7D%20%5C%3B%20%5C%3B%20%5C%3B%20h_%7Bi%7D%28x%29%3D0%2Ci%5Cin%20%5Cvarepsilon%20%5C%5C%20%5C%3B%20%5C%3B%20%5C%3B%20%5C%3B%20g_%7Bj%7D%28x%29%5Cgeq%200%2Cj%5Cin%20%5Ceta%20%5Cend%7Bmatrix%7D$ ，的有约束优化问题。

设 $eq?x%5E%7B%28k%29%7D$ 为迭代算法的第k次迭代点，则第k+1次的迭代点表示为：

$eq?x%5E%7B%28k+1%29%7D%3Dx%5E%7B%28k%29%7D+%5Calpha%20_%7Bk%7Dd%5E%7B%28k%29%7D$

同时要求保证 $eq?f%28x%5E%7B%28k+1%29%7D%29%5Cleq%20f%28x%5E%7B%28k%29%7D%29$ 且迭代点保持可行，这就是求解得非线性最优化问题的基本迭代格式和要求。

$eq?d%5E%7B%28k%29%7D%5Cin%20R%5E%7Bn%7D$	搜索方向
$eq?%5Calpha%20_%7Bk%7D%5Cin%20R$	步长因子

1.2 线性搜索

选取步长因子α的问题称为线性搜索问题，它是一个一维搜索问题，其基本要求在于从 $eq?x%5E%7B%28k%29%7D$ 出发沿给定的搜索方向 $eq?d%5E%7B%28k%29%7D$ 确定 $eq?%5Calpha%20_%7Bk%7D$ 使得

$eq?f%28x%5E%7B%28k+1%29%7D%29%3D%20f%28x%5E%7B%28k%29%7D+%5Calpha%20_%7Bk%7Dd%5E%7B%28k%29%7D%29%20%3C%20f%28x%5E%7B%28k%29%7D%29%5C%3B%20%5C%3B%20%5C%3B%20%5C%3B%5C%3B%20%5C%3B%20%281%29$