位置编码：给注意力补上时间感

注意力机制本身对顺序不敏感——打乱句子顺序可能得到同样的结果。位置编码把每个位置的位置信息编码成向量加进去，让模型知道谁在谁前面。

位置编码的存在提醒我们一件容易忽略的事：信息不只是内容，还包括顺序。“狗咬人”和“人咬狗”用词完全相同，意思天差地别。顺序即意义，这一点在语言、在代码、在人生选择中都成立。

## 核心要点

图片来源：Openverse / TargetTrust（https://www.flickr.com/photos/130666521@N07/34225477083）

1. 正弦位置编码可以外推到训练时没见过的长度。

2. 旋转位置编码（RoPE）是当前大模型的主流选择。

3. 相对位置通常比绝对位置更符合语言直觉。

4. 长上下文模型需要在位置编码上做大量优化。

图片来源：Openverse / cesarharada.com（https://www.flickr.com/photos/27703797@N06/7880912598）

## 写在最后

以上是关于「位置编码」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。