为 chatluna 提供 ollama 支持的适配器
- 你需要自搭建 ollama 后端服务,本插件基于此后端服务,请按该项目的说明搭建后端服务(如果有其他人搭建了此后端服务,你也可以使用他人的后端服务)。
- 在插件市场安装本插件(
chatluna-ollama-adapter
),并安装好本插件依赖的前置插件。 - 在插件配置中填写你的后端服务(或者他人搭建的部署在公网)的访问地址,并且填写你的后端服务的访问 Token。
- 如果想默认使用 ollama 服务的话,需要使用命令设置为默认的适配器。
- 现在你可以尝试回复 Bot 一句你好,如果 Bot 响应了你,那么恭喜你,你已经成功接入了 ollama 。
由于该插件的网络请求依然是基于core
插件的代理设置配置的,如果你是本地搭建的后端服务,注意不要让代理给代理了你的后端服务的请求地址(localhost
,局域网)
最低要求含有 2G B显存的消费级显卡(N卡优先),推荐使用 12G 显存的显卡。
对话的历史记录是保存在本地 Client 上的,因此只需要跑上后端服务就行了。