上下文窗口：模型的“工作记忆”

上下文窗口是模型一次对话能记住的最大 token 数。窗口小的模型聊几句就“失忆”，窗口大的模型能处理整本书。它是衡量模型实用能力的重要指标。

一个常见误区：把所有资料塞进上下文就觉得模型“学会了”。实际上模型用完即弃，下次对话仍需重传。真正持久的记忆要么靠微调写入参数，要么靠外部数据库动态检索。

## 核心要点

图片来源：Openverse / brewbooks（https://www.flickr.com/photos/93452909@N00/2312555324）

1. 上下文窗口 ≠ 知识量，它只是单次处理的记忆容量。

2. 模型在长上下文中可能“迷失中间”，对中段信息注意力下降。

3. 长上下文模型成本更高，不是所有任务都需要大窗口。

4. RAG 技术可以在小窗口下实现类似“外挂知识库”的效果。

图片来源：Openverse / tlaukkanen（https://www.flickr.com/photos/14598456@N00/5480093852）

## 写在最后

以上是关于「上下文窗口」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。