[Auto Parallel] parallel model and parallel optimizer

[FeixLiu]

PR Category

Auto Parallel

PR Types

New features

Description

Pcard-73145
parallel model and parallel optimizer

• 在PaddleNLP中，model的初始化最晚要在amp的decorate之前，也就是Trainer.__init__方法之前。因为amp decorate会真正的进行参数的cast等操作。
• 在PaddleNLP中，optimizer初始化需要传入lr scheduler，并且lr scheduler的配置的某些分支需要通过checkpoint中的resume step来获取。这就导致optimizer的初始化需要在load checkpoint之后。也就是在trainer.train中完成。
• 这就导致在PaddleNLP目前的框架体系下，model的初始化与optimizer的初始化位置无法统一，所以中层api需要两个接口分别parallelize model与optimizer。
• 未来如果PaddleNLP进行更新，譬如将optimizer与lr scheduler解耦，将optimizer的初始化提前到Trainer.__init__之中，中层api也无需使用两个接口分别parallelize model与optimizer。

[paddle-bot]

你的PR提交成功，感谢你对开源项目的贡献!
请关注后续CI自动化测试结果，详情请参考Paddle-CI手册。
Your PR has been submitted. Thanks for your contribution!
Please wait for the result of CI firstly. See Paddle CI Manual for details.

[jeff41404]

OK, we can provide a demo in this format, and then see how to optimize it later