add highlight component

docs/01-llm-intro/05-training/01-dataset.md → docs/01-llm-intro/05-training/01-dataset.mdx

@@ -2,8 +2,13 @@
 title: "数据准备"
 ---
 
+import Highlight from '@site/src/components/Highlight';
+
+
 ## 介绍
 
+<Highlight color="red" children="sdsdf" />
+
 在大模型预训练阶段，数据准备是一个至关重要的环节，它涵盖了多个方面的内容，以确保模型能够学习到高质量、多样化的数据特征。具体来说，数据准备包含以下几个关键步骤和内容：
 
 * 数据收集
@@ -146,7 +151,7 @@ title: "数据准备"
 
 在大模型预训练中，通常会使用来自不同数据源的数据进行训练。这些数据源可能包括网页文本、书籍、学术论文、代码等。为了平衡不同数据源对模型的影响，需要设置合适的数据混合比例。例如，LLaMA模型的预训练数据就包括了超过80%的网页数据、6.5%的代码密集型数据、4.5%的书籍数据以及2.5%的科学数据。
 
-* 数据课程（Data Curriculum）
+* 数据课程（**Data Curriculum**）
 
 数据课程指的是在训练过程中，按照一定顺序使用不同难度或不同特性的数据。这种策略有助于模型从简单到复杂逐步学习，提高训练效果。例如，可以先使用较为通用的数据对模型进行初步训练，然后再使用特定领域或高难度的数据进行微调。
 

docs/01-llm-intro/05-training/02-pre-training.md

@@ -306,18 +306,22 @@ OpenAI对人类对齐的相关研究可以追溯到2017年（或更早）：[Lea
 | 方法名称  | 方法详细介绍 |
 | :--: | :--: |
 | GeLU激活  | 在现有的大型语言模型（LLMs）中广泛使用的激活函数。 |
-| SwiGLU变体  | 实践中通常能实现更好的性能。相比GeLU，在前馈网络中需要额外的参数（约50%）。 |
-| GeGLU变体  | 实践中通常能实现更好的性能。相比GeLU，在前馈网络中需要额外的参数（约50%）。 |
+| SwiGLU  | 实践中通常能实现更好的性能。相比GeLU，在前馈网络中需要额外的参数（约50%）。 |
+| GeGLU  | 实践中通常能实现更好的性能。相比GeLU，在前馈网络中需要额外的参数（约50%）。 |
 
 ### 位置编码
 
 为了让模型学习到不同token的位置信息，就需要在模型当中加入位置编码模块：
 
-1. 绝对位置编码
+1. 绝对位置编码（Absolute Position Embedding）
 
 最原始模型中的位置编码方法就是可学习的绝对位置编码方法，此方法有一些很严重的缺点，比如说：难以处理长序列文本、缺乏外推性、占据大量的显存、可解释性比较差等。
 
-2. 相对位置编码
+2. 相对位置编码（Relative Position Embedding）
+
+4. Rotary 位置编码
+
+3. Alibi 位置编码
 
 
 ### 注意力机制

src/components/Highlight.tsx

@@ -0,0 +1,11 @@
+export const Highlight = ({children, color}) => (
+    <span
+      style={{
+        backgroundColor: color,
+        borderRadius: '2px',
+        color: '#fff',
+        padding: '0.2rem',
+      }}>
+      {children}
+    </span>
+  );