Vision Transformer：挑战 CNN 的新王

Vision Transformer 把 Transformer 架构搬到图像领域：把图片切成小块当 token 输入。它证明注意力机制不只适用于文本，在大数据量下超越了 CNN。

ViT 的成功是对“归纳偏置”价值的重新思考：CNN 内建了局部性假设，ViT 把一切交给数据去学。当数据足够多时，去掉人为假设反而更强。这背后的规律值得所有领域深思——经验有时是助力，有时是天花板。

## 核心要点

图片来源：Openverse / the_jetboy（https://www.flickr.com/photos/73293344@N08/12741766684）

1. ViT 需要海量数据预训练，小数据上不如 CNN。

2. Swin Transformer 的层级结构让它适配高分辨率。

3. 多模态模型普遍采用 ViT 作为视觉编码器。

4. CNN 与 ViT 的融合成为新的趋势。

图片来源：Openverse / Trey Ratcliff（https://www.flickr.com/photos/95572727@N00/4459639283）

## 写在最后

以上是关于「Vision Transformer」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。