第五节笔记.md

LMDeploy 大模型量化部署实践

大模型部署

LMDeploy

大模型量化

推理引擎Turbomind

大模型的C/S服务架构

学到的几种模型推理方式

• TurboMind 推理+命令行本地对话
• TurboMind推理+API服务
• Gradio 作为前端 Demo，TurboMind 推理作为后端