-
Notifications
You must be signed in to change notification settings - Fork 1.9k
使用LlamaChat图形界面(macOS)
ymcui edited this page Jun 8, 2023
·
11 revisions
LlamaChat: https://github.com/alexrozanski/LlamaChat
LlamaChat提供了一种面向macOS系统的类LLaMA模型的交互图形界面。下面以中文Alpaca 7B模型为例介绍相应的启动步骤。
选择最新版的.dmg
文件即可。
链接:https://github.com/alexrozanski/LlamaChat/releases
只需将LlamaChat拖入Applications即可(其他文件夹亦可)。
按照向导配置模型即可。在本实例中,选择Alpaca模型。
给模型取一个名字,头像自行选择,下面的Format
下拉列表选择PyToch格式(.pth
扩展名)或者GGML格式(.bin
扩展名),指定模型路径和模型大小。其中GGML格式就是llama.cpp中转换得到的模型格式,具体参考llama.cpp转换。
添加模型成功之后即可和模型进行交互。点击聊天框左侧的图标可以结束当前轮次的对话(清除上下文缓存,但不删除相应的聊天记录)。
(提示:生成第一句话时需要加载模型,之后速度就会恢复正常了)
v1.2版本支持了自定义参数,提供了更加灵活的解码方式,可根据实际情况自行修改。
- 模型合并与转换
- 模型量化、推理、部署
- 效果与评测
- 训练细节
- 常见问题
- Model Reconstruction
- Model Quantization, Inference and Deployment
- System Performance
- Training Details
- FAQ