【PaddlePaddle Hackathon】23、在 Paddle 中实现1-bit Lamb 优化器

[TCChenlong]

（此 ISSUE 为 PaddlePaddle Hackathon 活动的任务 ISSUE，更多详见PaddlePaddle Hackathon）

【任务说明】

• 任务标题：在 Paddle 中实现1-bit Lamb 优化器

• 技术标签：深度学习框架，C++，优化算法

• 任务难度：困难

• 详细描述： LAMB 是NLP 任务中常用的大batch 训练优化器，目前Paddle 中已经 有 LAMB的实现。 论文 <1-bit LAMB: Communication Efficient Large-Scale Large-Batch Training with LAMB's Convergence Speed> 提出了对已有LAMB 优化器的改进，减少LAMB 优化器在大规模分布式训练下时的通信量。此任务的目标是实现Paddle 中的 1-bit LAMB 优化器，并在通信量、收敛最大bathc szie、收敛精度三个指标上和论文对齐。

• 调用路径：paddle.optimizer.OneBitLamb

【提交内容】

• 任务提案

• 任务 PR 到 Paddle

• 相关技术文档

• 任务单测文件

【技术要求】

• 了解 Paddle 动静态图下 Optimize pass过程

• 熟练掌握 C++ 、Python

• 熟悉 LAMB 优化器算法原理

• 了解论文中的Compression 原理