一、环境配置

（一）Python 版本要求

需使用 Python>=3.10 版本，确保后续依赖库安装与代码运行兼容性。

（二）核心依赖库及指定版本

为保证 MOE 预训练过程稳定，需安装以下指定版本的库，可通过 pip install 库名==版本号 命令逐一安装：

库名称 版本号

transformers 4.51.3

accelerate 1.6.0

tqdm 4.66.5

torch 2.8.0

deepspeed 0.16.7

pandas 2.3.2

datasets 3.6.0

numpy 2.1.3

wandb 0.22.0

（三）数据

可将训练集集地址换成简易版本，内含100条数据，可快速运行代码

简易版本数据集在example文件夹中

二、训练脚本运行命令及参数说明

（一）运行命令

（二）参数说明