LM优化算法

本人非数学专业，且对算法理解可能不到位，详细的算法推导及各个优化算法之间的关系，非常推荐看METHODS FOR NON-LINEAR LEAST SQUARES PROBLEMS ，其介绍更详细也更专业。

以下简要介绍LM算法，然后给出opencv中有关的实现。

本文代码也是来自opencv相关代码，位置在opencv-master\modules\calib3d\src\calibration.cpp\cvFindExtrinsicCameraParams2()。

当然，有关LM算法的实现，在opencv的usac模块中有更为正式的实现，在该模块中，对许多算法进行了集成和优化，后续再进行研究。

理论知识

对于一个最小二乘问题，有：

$$\begin{gathered} F(x)=\frac{1}{2}\sum _{i=1}^m(f_i(x){)}^2 \\ {f}_i(x)为残差 \end{gathered}$$
我们的目的是求解残差f(x)的一组系数，使目标函数（或代价函数）F(x)达到最小值。通常的做法是，给定一个初值x0，优化算法不断的迭代，产生x1,x2,…，最终收敛于X。

因此，在这个收敛的过程中，我们需要两样东西，即方向h和步长α
x k + 1 = x k + α h d h d 即 为 收 敛 的 方 向 α 即 为 收 敛 的 步 长 x_{k+1} = x_k + \alpha h_d \\ h_d即为收敛的方向 \\ \alpha即为收敛的步长 xk+1​=x