Skip to content

使用LlamaChat图形界面(macOS)

ymcui edited this page Jun 8, 2023 · 11 revisions

⚠️ 由于上游llama.cpp重大更新,目前LlamaChat暂时无法加载新版ggml模型。

LlamaChat: https://github.com/alexrozanski/LlamaChat

LlamaChat提供了一种面向macOS系统的类LLaMA模型的交互图形界面。下面以中文Alpaca 7B模型为例介绍相应的启动步骤。

⚠️ 注意:LlamaChat需要macOS 13 Ventura系统,配备英特尔CPU或者Apple M系列芯片。

第一步:下载最新版本的LlamaChat

选择最新版的.dmg文件即可。

链接:https://github.com/alexrozanski/LlamaChat/releases

第二步:安装LlamaChat

只需将LlamaChat拖入Applications即可(其他文件夹亦可)。

image

第三步:配置模型

按照向导配置模型即可。在本实例中,选择Alpaca模型。 image

给模型取一个名字,头像自行选择,下面的Format下拉列表选择PyToch格式(.pth扩展名)或者GGML格式(.bin扩展名),指定模型路径和模型大小。其中GGML格式就是llama.cpp中转换得到的模型格式,具体参考llama.cpp转换

⚠️ LlamaChat暂不支持最新的量化方法,例如Q5或者Q8。

image

第四步:聊天交互

添加模型成功之后即可和模型进行交互。点击聊天框左侧的图标可以结束当前轮次的对话(清除上下文缓存,但不删除相应的聊天记录)。

(提示:生成第一句话时需要加载模型,之后速度就会恢复正常了)

image

自定义设置

v1.2版本支持了自定义参数,提供了更加灵活的解码方式,可根据实际情况自行修改。

image
Clone this wiki locally