TaskingAI 是一个 BaaS(后端即服务)平台,用于基于 LLM 的代理开发和部署。它统一了数百个 LLM 模型的集成,并提供了一个直观的用户界面来管理 LLM 应用程序的功能模块,包括工具、RAG 系统、助手、对话历史记录等。
- All-In-One LLM 平台:使用统一的 API 访问数百个 AI 模型。
- 丰富的增强功能:通过数百个可自定义的内置工具和先进的检索增强生成 (RAG) 系统增强 LLM 代理性能
- 受 BaaS 启发的工作流程:将 AI 逻辑(服务器端)与产品开发(客户端)分开,使用 RESTful API 和客户端 SDK 提供从基于控制台的原型设计到可扩展解决方案的清晰路径。
- 一键式生产:只需单击一下即可将 AI 代理部署到生产阶段,并轻松扩展它们。让 TaskingAI 处理剩下的事情。
- 异步效率:利用 Python FastAPI 的异步功能进行高性能、并发计算,从而提高应用程序的响应能力和可扩展性。
- 直观的 UI 控制台:简化项目管理并允许在控制台内进行工作流程测试。
模型: TaskingAI 与来自不同提供商的数百个 LLM 连接,包括 OpenAI、Thropic 等。我们还允许用户通过 Ollama、LM Studio 和 Local AI 集成本地主机模型。
插件: TaskingAI 支持广泛的内置插件来增强您的 AI 代理,包括 Google 搜索、网站阅读器、股票市场检索等。用户还可以创建自定义工具以满足他们的特定需求。
LangChain 是 LLM 应用程序开发的工具框架,但它面临实际限制:
- 无状态:依赖客户端或外部服务进行数据管理。
- 可扩展性挑战:无状态会影响跨会话的一致数据处理。
- 外部依赖项:依赖于模型 SDK 和矢量存储等外部资源。
OpenAI 的 Assistant API 擅长提供类似 GPT 的功能,但也有其自身的限制:
- 捆绑功能:工具和检索等集成与每个助手相关联,不适合多租户应用程序。
- 专有限制: 仅限于 OpenAI 模型,不适合各种需求。
- 自定义限制:用户无法自定义 Agent 配置,例如内存和检索系统。
- 支持有状态和无状态使用:无论是跟踪和管理消息历史记录和代理对话会话,还是只是发出无状态聊天完成请求,TaskingAI 都能满足。
- 解耦的模块化管理:将工具、RAGs 系统、语言模型的管理与代理解耦。并允许这些模块的自由组合来构建强大的 AI 代理。
- 多租户支持:TaskingAI 支持开发后快速部署,可用于多租户场景。无需担心云服务,只需专注于 AI 代理开发。
- 统一 API:TaskingAI 为所有模块提供统一的 API,包括工具、RAG 系统、语言模型等。超级易于管理和更改 AI 代理的配置。
- 交互式应用程序演示
- 提高企业生产力的 AI 代理
- 适用于企业的多租户 AI 原生应用程序
如果您觉得有帮助😇,请给我们一个免费的星星 🌟
启动自托管 TaskingAI 社区版的一种简单方法是通过 Docker。
- 计算机上安装的 Docker 和 Docker Compose。
- 已安装 Git 以克隆存储库。
- 用于运行客户端 SDK 的 Python 环境(Python 3.8 以上)。
首先,从 GitHub 克隆 TaskingAI(社区版)存储库。
git clone https://github.com/taskingai/taskingai.git
cd taskingai
在克隆的存储库中,转到 docker 目录。
cd docker
-
将
.env.example
复制到.env
:cp .env.example .env
-
编辑
.env
文件: 在您喜欢的文本编辑器中打开文件并更新必要的配置。确保正确设置所有必需的环境变量。.env
-
启动 Docker Compose: 执行以下命令以启动所有服务。
docker-compose -p taskingai --env-file .env up -d
服务启动后,通过浏览器使用 URL http://localhost:8080 访问 TaskingAI 控制台。默认用户名和密码为 和 。admin
TaskingAI321
如果您已经安装了具有先前版本的 TaskingAI 并希望升级到最新版本,请先更新存储库。
git pull origin master
然后停止当前的 docker 服务,通过拉取最新的镜像升级到最新版本,最后重启服务。
cd docker
docker-compose -p taskingai down
docker-compose -p taskingai pull
docker-compose -p taskingai --env-file .env up -d
不用担心数据丢失;如果需要,您的数据将自动迁移到最新版本的架构。
单击上面的图片可观看 TaskingAI 控制台演示视频。
控制台启动后,您可以使用 TaskingAI 客户端 SDK 以编程方式与 TaskingAI 服务器交互。
确保您已安装 Python 3.8 或更高版本,并设置虚拟环境(可选但推荐)。 使用 pip 安装 TaskingAI Python 客户端 SDK。
pip install taskingai
下面是一个客户端代码示例:
import taskingaitaskingai.init(api_key='YOUR_API_KEY', host='http://localhost:8080')
# Create a new assistant assistant = taskingai.assistant.create_assistant( model_id="YOUR_MODEL_ID", memory="naive", )
# Create a new chat chat = taskingai.assistant.create_chat( assistant_id=assistant.assistant_id, )
# Send a user message taskingai.assistant.create_message( assistant_id=assistant.assistant_id, chat_id=chat.chat_id, text="Hello!", )
# generate assistant response assistant_message = taskingai.assistant.generate_message( assistant_id=assistant.assistant_id, chat_id=chat.chat_id, )
print(assistant_message)
请注意,应将 and 替换为您在控制台中创建的实际 API 密钥和聊天完成模型 ID。YOUR_API_KEY
YOUR_MODEL_ID
您可以在文档中了解更多信息。
请参阅我们的 贡献指南 了解如何为项目做出贡献。
此外,我们很高兴地宣布,TaskingAI 现在拥有官方 Discord 社区!🎊
• 💬 Engage in discussions about TaskingAI, share ideas, and provide feedback.
• 📚 Get support, tips, and best practices from other users and our team.
• 🚀 Stay updated on the latest news, updates, and feature releases.
• 🤝 Network with like-minded individuals who are passionate about AI and task automation.
TaskingAI 在特定的 TaskingAI 开源许可证下发布。为本项目做出贡献,即表示您同意遵守其条款。
如需支持,请参阅我们的文档或通过 support@tasking.ai 联系我们。