Releases: shibing624/MedicalGPT
Releases · shibing624/MedicalGPT
v1.1
1.1版本:
发布中文医疗模型shibing624/ziya-llama-13b-medical-merged,基于Ziya-LLaMA-13B-v1模型,SFT微调了一版医疗模型,医疗问答效果有提升,发布微调后的完整模型权重
Full Changelog: 1.0.0...1.1
v1.0.0
v1.0.0版本:
- 发布中文医疗LoRA模型shibing624/ziya-llama-13b-medical-lora,基于Ziya-LLaMA-13B-v1模型,SFT微调了一版医疗模型,医疗问答效果有提升,发布微调后的LoRA权重
- 提供完整四阶段串起来训练的pipeline:run_training_pipeline.ipynb ,其对应的colab:
Full Changelog: 0.2.0...1.0.0
v0.2
以医疗为例,训练医疗大模型,实现了四阶段训练:包括二次预训练、有监督微调、奖励建模、强化学习训练。
1)各阶段代码已经全部跑通,支持bloom, llama, chatglm等多模型训练;
2)RM奖励建模支持bert, Robert, llama, bloom等模型;
3)支持colab在线训练和测试;
4)支持单Python脚本执行任务;
5)发布了医疗大模型训练数据集shibing624/medical。
Full Changelog: 0.1.0...0.2.0