【PaddlePaddle Hackathon】8、在 Paddle 中新增 LBFGS

[TCChenlong]

（此 ISSUE 为 PaddlePaddle Hackathon 活动的任务 ISSUE，更多详见PaddlePaddle Hackathon）

【任务说明】

• 任务标题：在 Paddle 中新增 LBFGS

• 技术标签：深度学习框架，C++，优化算法

• 任务难度：中等

• 详细描述： LBFGS是Limited-memory BFGS的缩写，顾名思义是一种限制内存的BFGS方法。BFGS法是一种拟牛顿法，指用BFGS矩阵作为拟牛顿法中的对称正定迭代矩阵的方法，BFGS法对一维搜索的精度要求不高，并且由迭代产生的BFGS矩阵不易变为奇异矩阵，具有更好的数值稳定性。此任务的目标是在 Paddle 中，实现 LBFGS 优化器。

• 调用路径：paddle.optimizer.LBFGS

【提交内容】

• 任务 PR 到 Paddle

• 相关技术文档

• 任务单测文件

【技术要求】

• 了解 Paddle 动静态图下 Optimize pass过程

• 熟练掌握 C++ 、Python

• 熟悉 LBFGS 优化器算法原理和适用场景