提供比LiteLLM更简洁、范围更广的API,并支持更多的AI模型。
- 增加国内厂商的sdk接入
- 增加embedding/agent等接口
- 简化模型的输入输出信息,方便下游处理
| 厂商 | chat | 流式chat | Image输入 | Image输出 | Embedding | ToolUse | TTS | ASR |
|---|---|---|---|---|---|---|---|---|
| ZhipuAI | ✅ | ✅ | ✅ | ✅ | ✅ | |||
| Qwen | ✅ | ✅ | ✅ | |||||
| OpenAI | ✅ | ✅ | ||||||
| Doubao | ✅ | ✅ | ||||||
| MiniMax | ✅ | ✅ | ✅ | |||||
| Xunfei | ✅ | |||||||
| Ollama | ✅ | ✅ | ||||||
| SiliconFlow | ✅ | ✅ | ||||||
| DeepSeek | ✅ | ✅ | ||||||
| Coze | ✅ | ✅ |
pip install -U liteailiteai batch \
-d liteai/data/batch_test.jsonl \
-m glm-4v \
-w 2 \
--input_column text \
--image_column image \
--image_dir liteai/data \
--system "用英文回答" \
--output_path output/bath_test_glm4v.xlsx具体参数定义使用
bash liteai batch --help查看