Sinusoida 位置编码详解 - Zhang

[giscus[bot]]

Sinusoida 位置编码详解 - Zhang

从事 LLM 推理部署、视觉算法开发、模型压缩部署以及算法SDK开发工作,终身学习践行者。TransformerSinusoida 位置编码也叫三角函数位置编码，由 transformer 论文提出。位置编码的意义是用于表示序列中某个元素的位置，它为每个位置分配一个独特的表示。

https://www.armcvai.cn/2024-10-23/sinusoida.html

[lan0011]

”并且需要获取该序列中第i 个元素的位置“。我认为不对，原论文里写的i是维度（0d中的)，您这句话听起来是0n中的