L-BFGS算法

前面的文章中，讲述过BFGS算法，它是用来求解最优化问题的，在这个算法中，相对于普通的牛顿迭代法有很大的改进。链接：http://blog.csdn.net/acdreamers/article/details/44664941。在BFGS算法中，仍然有缺

陷，比如当优化问题规模很大时，矩阵的存储和计算将变得不可行。为了解决这个问题，就有了L-BFGS算法。

Contents

   1. L-BFGS算法介绍

   2. L-BFGS算法原理

   3. L-BFGS算法实现

1. L-BFGS算法介绍

   L-BFGS即Limited-memory BFGS，在之前的BFGS算法中，我们可以不存储矩阵，而是存储最近次迭代

   的曲率信息，即和。当完成一次迭代后，最旧的一次曲率的信息将被删除，而最新的曲率将被保存下来，所

   以这样就保证了保存的曲率信息始终都来自最近的次迭代。在实际工程中取3到20之间的值效果比较好。

2. L-BFGS算法原理

   在之前的BFGS算法中，有如下公式

   那么同样有

   将这个式子带入，得到

   整理一下，一直递推次下去，就有

   每次迭代初始值的设定，在实践中常用的方法是

   利用最近一次的曲率信息来估计真实Hessian矩阵的大小，这样使得当前搜索方向较为理想，不至于跑得太偏。

   更多内容可以参考这里。

3. L-BFGS算法实现

   一个Go语言的开源L-BFGS算法实现链接：https://github.com/huichen/lbfgs

   C++的一个经典L-BFGS的开源库为：http://www.chokkan.org/software/liblbfgs/

   源代码：https://github.com/chokkan/liblbfgs

   最后介绍一个第三方库资源：http://blog.csdn.net/jakisou/article/details/38535353