swift lora多机多卡断点重训失败

[xiaochounikuaixiao]

swift==2.5.2.post
1、命令行如下：

2、直接断点续训会发现从节点缺少trainer_state.json文件

3、当我把主节点的traintrainer_state.json同步到其他几台机器上之后，会出现NCCL超时，（如果从新启动训练是正常
，感觉不是NCCL的问题）

[Winterspringkle]

我也遇到这个问题，多机多卡环境子节点是没有trainer_state.json的，也就无法resume_from_checkpoint。后来我指定model_id_or_path和model_type当作一个本地保存的模型并加载微调可以跑起来，可能会损失梯度状态信息，但是可以加载之前权重并训练。

[xiaochounikuaixiao]

我也遇到这个问题，多机多卡环境子节点是没有trainer_state.json的，也就无法resume_from_checkpoint。后来我指定model_id_or_path和model_type当作一个本地保存的模型并加载微调可以跑起来，可能会损失梯度状态信息，但是可以加载之前权重并训练。

感谢大佬，我在命令行中加上 save_on_each_node true之后，就可以开始断点续训了，并且可以继承之前的梯度优化器状态