翻译自[1]
翻译如下:
优化理论中包含两种策略:
1.line search
2.trust region
牛顿法(求函数的解集)和二阶牛顿法(求函数最小值)都是用来寻找线搜索中的梯度方向的,换言之,两种牛顿法是line search的子集。‘
下面的Example use就是线搜索的流程。
第3-5 step其实就是牛顿法以及反向传播的流程,只不过在line search上进行修改。
总结:line search其实就是指代某个算法,资料中提到这个的时候,也就是起到一个略装逼的作用。
Reference:
[1]https://en.wikipedia.org/wiki/Line_search