feat: 为DistributedRAG项目完成基本RAG框架 #64
Conversation
|
测试2 |
test |
There was a problem hiding this comment.
不需要提交这个文件，删掉然后再git commit/push一下
| # 注意：mindnlp可能会依赖特定版本的torch或mindspore，pip会自动处理 | ||
|
|
||
|
|
||
| mindspore~=2.3.0 |
There was a problem hiding this comment.
这个文件夹都不要提交.gitignore文件里面忽略掉这个目录
| 接收一个包含多个文本字符串的列表，返回它们对应的向量列表。 | ||
| """ | ||
| if not embedding_model: | ||
| raise HTTPException(status_code=500, detail="Embedding模型未能成功加载，服务不可用。") |
There was a problem hiding this comment.
报异常和各种流程推荐使用logging而不是单机的print，因为分布式多机可能会有很多重复的或者打印在其他奇奇怪怪的地方，或者是logger的Python库。https://zhuanlan.zhihu.com/p/445411809 。以后的print也整改下。
| # transformers | ||
| # 根据您选择的MiniCPM模型，可能还需要其他特定依赖 | ||
|
|
||
| mindspore~=2.3.0 |
| # 根据您选择的MiniCPM模型，可能还需要其他特定依赖 | ||
|
|
||
| mindspore~=2.3.0 | ||
| mindnlp~=0.4.0 |
There was a problem hiding this comment.
0.4.1多模态支持程度会好一点 https://blog.gitcode.com/4856a319243faca8a93d5177aa776d0e.html
| # --------------------------------------------------- | ||
| # 3. LLM 推理服务 | ||
| # --------------------------------------------------- | ||
| llm-server: |
There was a problem hiding this comment.
除了自行MindNLP自行拉起各种小模型的llm-server，还需要拉起一个正经商用级别推理的vLLM-MindSpore的容器：https://gitee.com/mindspore/vllm-mindspore/blob/master/install_depend_pkgs.sh ， docker命令参考https://gitee.com/wang_hua_2019/cmb/blob/master/dockerfiles/dockerfile_unified , 可以先拉起一个qwen2.5_7bdaa单卡在线推理 https://www.mindspore.cn/vllm_mindspore/docs/zh-CN/master/getting_started/tutorials/qwen2.5_7b_singleNPU/qwen2.5_7b_singleNPU.html ，这个分布式在于充分利用集群内多机多卡，你先拿单机127.0.0.1做IP即可。单机用环境变量区分不同的卡，在创建docker容器时，可以使用命令-e ASCEND_VISIBLE_DEVICES=0,1,2,3,4,5,6,7来指定挂载的NPU卡。 后面算力代金券到手后，我给你录个vllm的教程，现在这个容器可以先不搞，我在这里提一下。
| uvicorn[standard] | ||
|
|
||
| # MindNLP及相关依赖 | ||
| # 注意：mindnlp可能会依赖特定版本的torch或mindspore，pip会自动处理 |
| @@ -0,0 +1 @@ | |||
| summer-ospp/DistributedRAG/volumes/ | |||
No description provided.