什么是大语言模型：它到底大在哪里

大语言模型（LLM）是参数规模达到数十亿到数千亿的语言模型，通过在互联网级文本上预训练，获得了对话、写作、编程、推理等广泛能力。它“大”在参数、数据、算力，也“大”在能力范围。

理解大模型的一个关键：它不是在“查找答案”，而是在“续写文本”。这个区别解释了它的流畅与聪明，也解释了它的幻觉与错误。把它当成一个博览群书但偶尔信口开河的实习生，大概是与它协作最恰当的心态。

## 核心要点

图片来源：Openverse / deltaMike（https://www.flickr.com/photos/86078640@N00/2263161375）

1. “大”带来的质变是通用性：一个模型能做很多事。

2. 预训练赋予语言能力，指令微调赋予服从能力。

3. 它的知识来自训练数据，因此有时效性限制。

4. 大模型不是数据库，它的本质是概率性的语言生成。

图片来源：Openverse / Twechie（https://www.flickr.com/photos/46385325@N06/5233562056）

## 写在最后

以上是关于「什么是大语言模型」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。