书生浦语大模型第四课学习笔记

[wade361]

书生浦语大模型第四课笔记
XTuner大模型单卡低成本微调实战

1 XTuner是一个大语言模型微调工具箱。由 MMRazor 和 MMDeploy 联合开发。
特点是
 傻瓜化： 以 配置文件 的形式封装了大部分微调场景，0基础的非专业人员也能一键开始微调。
  轻量级： 对于 7B 参数量的LLM，微调所需的最小显存仅为 8GB

2实战
Ubuntu + Anaconda + CUDA/CUDNN + 8GB nvidia显卡
安装准备在 oasst1 数据集上微调 internlm-7b-chat
微调
模型下载
数据集下载
修改配置文件
开始微调
将得到的 PTH 模型转换为 HuggingFace 模型，即：生成 Adapter 文件夹
部署与测试
将 HuggingFace adapter 合并到大语言模型
与合并后的模型对话

3 自定义微调
基于 InternLM-chat-7B 模型，用 MedQA 数据集进行微调
将数据转为 XTuner 的数据格式
划分训练集和测试集
pth 转 huggingface

4 用 MS-Agent 数据集 赋予 LLM 以 Agent 能力
启动xtuner + agent