对传统座舱系统操作复杂、视觉依赖强、语义理解能力弱等问题,本项目基于RK3588高性能平台,设计并实现了一款面向车载场景的多模态人机交互系统。系统集成疲劳监测、面部解锁等近十项功能模块,支持语音与触觉融合操作,交互自然高效。通过引入大语言模型作为语音中枢,系统具备出色的自然语言理解能力,能够精准响应用户的口语化指令,实现无需视觉干预的智能控制,有效提升驾驶安全性与使用便捷性。同时,系统响应迅速、支持模块化扩展,具备良好的实用价值与推广前景。
- 3rdparty已经上传至百度网盘,编译前需要下载解压至项目根目录
- 创建build文件夹,运行make.sh编译
- 将install文件夹拷贝至开发板,同时将QWen2B的模型也拷入install内的model文件夹
- 进入开发板对应目录,运行start.sh