From d412c141e4e0f12edbc22664d0100a319828aa9c Mon Sep 17 00:00:00 2001 From: AyiStar Date: Thu, 15 Aug 2024 09:27:39 +0000 Subject: [PATCH] Fix report --- README.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/README.md b/README.md index aa21caf..8a5d2bd 100644 --- a/README.md +++ b/README.md @@ -25,7 +25,7 @@ ## 摘要 * **项目目标**：将llama.cpp移植至龙芯处理器3A6000，并进行软硬件协同优化，加速模型的CPU推理速度，使得以Meta LLaMA为代表的流行的大语言模型能够以可接受的速度运行于龙芯平台； -* **完成情况**：本项目的规划和进展情况可见[dev.md](dev.md)。截至本阶段，实现了从2bit到32bit共**7种**数据格式的推理优化加速，并在从1B到30B共**7种**参数规模的LLaMA模型上进行标准测试。较于未经优化的代码，在矩阵乘法和模型推理两项标准任务上均实现可观的性能加速。 +* **完成情况**：本项目的规划和进展情况可见[dev.md](dev.md)。截至本阶段，实现了从2bit到32bit共**7种**数据格式的推理优化加速，并在从1B到30B共**4种**参数规模的LLaMA模型上进行标准测试。较于未经优化的代码，在矩阵乘法和模型推理两项标准任务上均实现可观的性能加速。 * **主要创新**：定位和分析了大语言模型推理的主要性能瓶颈；针对龙芯平台进行了**SIMD**和**Cache**两个方向的计算优化；同时支持**浮点**参数和**量化**参数的运算加速；在3A6000处理器上进行了正确性和性能的标准测试。 本技术报告是对本项目的阶段性总结，也希望为后续工作及其他相关工作提供一些启发，具体包含以下章节：