多头注意力：从多个角度同时看

多头注意力并行运行多组注意力，每组关注不同维度的信息——有的头看语法关系，有的头看语义相似，有的看长距离依赖。多个视角综合起来，理解就更完整。

多头注意力很像一个优秀的团队：每个人带着不同视角看同一份材料，汇总后的理解远超任何单人的视角。多样性带来更完整的认知——这个组织管理学的常识，在神经网络里同样成立。

## 核心要点

图片来源：Openverse / cobalt123（https://www.flickr.com/photos/66606673@N00/6123494085）

1. 不同注意力头确实学到了可区分的模式，不是噱头。

2. 头的数量与模型规模匹配，过多反而冗余。

3. 它让模型同时维护多种关系，是表达能力的倍增器。

4. 分析各头的功能是可解释性研究的热门方向。

图片来源：Openverse / playful.geometer（https://www.flickr.com/photos/24888685@N08/6879671284）

## 写在最后

以上是关于「多头注意力」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。