-
Notifications
You must be signed in to change notification settings - Fork 5.8k
Closed
Labels
Description
(此 ISSUE 为 PaddlePaddle Hackathon 第二期活动的任务 ISSUE,更多详见 【PaddlePaddle Hackathon 第二期】任务总览)
【任务说明】
任务标题:为 Paddle 新增 OneCycleLR 优化调度器
技术标签:深度学习框架,Python,优化调度算法
任务难度:简单
详细描述: OneCycleLR最早在Super-Convergence: Very Fast Training of Neural Networks Using Large Learning Rates中提出,它在整个训练过程中只有一个周期(OneCycle),即从小学习率上升至最大学习率,然后又下降至低于初始学习率的大小,它的一个特征是每个batch都进行学习率调整。此任务的目标是在 Paddle 框架中,新增 OneCycleLR 优化调度器,调用路径为:paddle.optimizer.lr.OneCycleLR。
【提交流程】
请按 新增API 开发&提交流程中的描述,完成任务提交过程中的相关步骤。
【提交内容】
- API 的设计文档,并提 PR 至 PaddlePaddle/community 的 rfcs/APIs 目录
- Python 实现代码 & 英文 API 文档,在 Paddle repo 的 python/paddle/optimizer/lr.py 目录
- 单测代码,在 Paddle repo 的 python/paddle/fluid/tests/unittests 目录
- 中文API文档,在 docs repo 的 docs/api/paddle/optimizer/lr 目录
【合入标准】
【技术要求】
- 熟悉 OneCycleLR 优化调度算法原理和适用场景
- 熟练掌握 Python
【参考内容】
【答疑交流】
- 如果在开发中对于上述任务有任何问题,欢迎在本 ISSUE 下留言交流。
- 对于开发中的共性问题,在活动过程中,会定期组织答疑,请大家关注官网&QQ群的通知,及时参与。