1 环境配置
进入 conda 环境之后，使用以下命令从本地克隆一个已有的 pytorch 2.0.1 的环境
bash # 请每次使用 jupyter lab 打开终端时务必先执行 bash 命令进入 bash 中
bash /root/share/install_conda_env_internlm_base.sh internlm # 执行该脚本文件来安装项目实验环境
conda activate InternLM 并在环境中安装运行 demo 所需要的依赖。
python -m pip install --upgrade pip
pip install modelscope==1.9.5
pip install transformers==4.35.2
pip install streamlit==1.24.0
pip install sentencepiece==0.1.99
pip install accelerate==0.24.1
1.2 模型下载
import torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir = snapshot_download('Shanghai_AI_Laboratory/internlm-chat-7b', cache_dir='/root/data/model', revision='v1.0.3')
1.3 LangChain 相关环境配置 使用 huggingface 镜像下载
1.4 下载 NLTK 相关资源
下载 nltk 资源并解压到服务器上
cd /root
git clone https://gitee.com/yzy0612/nltk_data.git --branch gh-pages
cd nltk_data
mv packages/* ./
cd tokenizers
unzip punkt.zip
cd ../taggers
unzip averaged_perceptron_tagger.zip
下载好慢，好慢！！！
1.5 下载本项目代码
2 知识库搭建 2.1 数据收集 将远程开源仓库 Clone 到本地，可以使用以下命令：
cd /root/data
git clone https://gitee.com/open-compass/opencompass.git
git clone https://gitee.com/InternLM/lmdeploy.git
git clone https://gitee.com/InternLM/xtuner.git
git clone https://gitee.com/InternLM/InternLM-XComposer.git
git clone https://gitee.com/InternLM/lagent.git
git clone https://gitee.com/InternLM/InternLM.git
3 InternLM 接入 LangChain
4 构建检索问答链
运行提示的IP又不对。。。
