本项目旨在提供一个基于 Flask 的轻量级聊天服务器,利用预训练的大型语言模型(LLM)生成响应。通过简单的 RESTful API 接口,客户端可以发送消息并接收模型生成的回复。项目结构清晰,便于扩展和维护。
- 后端框架: Flask
- 模型加载: Transformers
- 日志系统: Python 标准库 logging
-
安装 Python 3.8+: 确保你的系统中安装了 Python 3.8 或更高版本。
-
安装依赖: 项目依赖通过
requirements.txt
管理。首先,克隆此仓库到本地,然后进入项目根目录。
git clone https://github.com/liu673/LLM_Chat_Server.git
cd LLM_Chat_Server
# 创建并激活虚拟环境,然后安装依赖 PS: 可根据需要安装适合你的torch版本
pip install -r requirements.txt
复制 .env.example 文件为 .env,并根据实际情况填写必要的环境变量,例如模型路径、端口号、模型路由等。
cp .env.example .env
目前只是对LLM的chat版本进行了封装,所以需要下载chat版本的模型,使用以下命令下载模型:
python scripts/download_model.py
使用以下命令启动 Flask 应用:
python scripts/run_project.py
python
python services/llm_server.py
curl
curl -X POST \
-H "Content-Type: application/json" \
-d '{"message": [{"role": "user", "content": "你是谁?"}], "history": ''}' \
http://127.0.0.1:3001/generate
# 注意更换成你的路由
- 网络配置:配置合适的防火墙规则,限制不必要访问。
- 资源规划:评估模型对硬件的需求,提前规划服务器资源。
- 安全信息:在生产环境中,请确保使用更安全的方式管理环境变量和敏感信息。
该项目遵循 MIT 许可证。详细条款请见 LICENSE 文件。
对于任何疑问、建议或合作意向,欢迎通过 GitHub Issues 或电子邮件与我们取得联系。