【PaddlePaddle Hackathon】22、在 Paddle 中实现1-bit Adam 优化器

[TCChenlong]

（此 ISSUE 为 PaddlePaddle Hackathon 活动的任务 ISSUE，更多详见PaddlePaddle Hackathon）

【任务说明】

• 任务标题：在 Paddle 中实现1-bit Adam 优化器

• 技术标签：深度学习框架，C++，优化算法

• 任务难度：困难

• 详细描述： Adam 是NLP 任务中常用的优化器，目前Paddle 中已经 有Adam的实现。 论文 <Communication Efficient Large-Scale Training with Adam's Convergence Speed> 提出了对已有Adam 优化器的改进，减少Adam 优化器在大规模分布式训练下时的通信量。此任务的目标是实现Paddle 中的 1-bit Adam 优化器，并在通信量、收敛精度两个指标上和论文对齐。

• 调用路径：paddle.optimizer.OneBitAdam

【提交内容】

• 任务提案

• 任务 PR 到 Paddle

• 相关技术文档

• 任务单测文件

【技术要求】

• 了解 Paddle 动静态图下 Optimize pass过程

• 熟练掌握 C++ 、Python

• 熟悉 Adam 优化器算法原理

• 了解论文中的 Compression 原理