自注意力：一个词如何“看见”整句话

自注意力让序列中的每个位置都直接与其他所有位置计算关联强度。读“苹果”这个词时，模型会结合上下文判断它是水果还是手机——这种能力正是语言理解的关键。

自注意力的深刻之处在于：意义不在词里，而在词与词的关系里。一个词孤立看是模糊的，放进语境就清晰了。这其实是语言学早已阐明的道理，而 AI 花了几十年才把它变成可计算的算法。

## 核心要点

图片来源：Openverse / Rain Rabbit（https://www.flickr.com/photos/37996583811@N01/8928972590）

1. 自注意力的输出是所有位置的加权平均，权重由内容相关性决定。

2. 它解决了多义词消解问题，让模型真正“联系上下文”。

3. 计算量随长度平方增长，超长文本需要优化。

4. 注意力权重可视化是窥探模型“想什么”的窗口。

图片来源：Openverse / optikfluffel（https://www.flickr.com/photos/22249371@N06/5300618400）

## 写在最后

以上是关于「自注意力」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。