你好，怎么让保存的模型能够分片，而不是保存一个几十G的大模型

[459737087]

你好，怎么让保存的模型能够分片，而不是保存一个几十G的大模型。
我看了一遍这里面的参数，但是发现是完整保存的，而不是分片的，这个有办法吗

[KaiLv69]

你好，现在在使用流水线并行时候会按照rank来保存模型到不同文件，其他情况都会保存到同一个文件里

[459737087]

我看到transformer有一个函数是save_pretrained，里面的参数带分片的，但是不知道怎么继承过来比较好
https://github.com/huggingface/transformers/blob/131a528be02e1fa2d27f215920d2fd69e1d246cd/docs/source/en/big_models.md?plain=1#L64
如果直接拿来用肯定有冲突，有什么好的办法吗 @KaiLv69