Skip to content

Commit

Permalink
Fix report
Browse files Browse the repository at this point in the history
  • Loading branch information
AyiStar committed Aug 15, 2024
1 parent 107cab3 commit d412c14
Showing 1 changed file with 1 addition and 1 deletion.
2 changes: 1 addition & 1 deletion README.md
Original file line number Diff line number Diff line change
Expand Up @@ -25,7 +25,7 @@
## 摘要

* **项目目标**:将llama.cpp移植至龙芯处理器3A6000,并进行软硬件协同优化,加速模型的CPU推理速度,使得以Meta LLaMA为代表的流行的大语言模型能够以可接受的速度运行于龙芯平台;
* **完成情况**:本项目的规划和进展情况可见[dev.md](dev.md)。截至本阶段,实现了从2bit到32bit共**7种**数据格式的推理优化加速,并在从1B到30B共**7种**参数规模的LLaMA模型上进行标准测试。较于未经优化的代码,在矩阵乘法和模型推理两项标准任务上均实现可观的性能加速。
* **完成情况**:本项目的规划和进展情况可见[dev.md](dev.md)。截至本阶段,实现了从2bit到32bit共**7种**数据格式的推理优化加速,并在从1B到30B共**4种**参数规模的LLaMA模型上进行标准测试。较于未经优化的代码,在矩阵乘法和模型推理两项标准任务上均实现可观的性能加速。
* **主要创新**:定位和分析了大语言模型推理的主要性能瓶颈;针对龙芯平台进行了**SIMD****Cache**两个方向的计算优化;同时支持**浮点**参数和**量化**参数的运算加速;在3A6000处理器上进行了正确性和性能的标准测试。

本技术报告是对本项目的阶段性总结,也希望为后续工作及其他相关工作提供一些启发,具体包含以下章节:
Expand Down

0 comments on commit d412c14

Please sign in to comment.