预训练数据：模型的“食谱”决定上限

预训练数据的质量直接决定模型上限。Common Crawl、维基百科、论文库、代码库是主要来源，清洗、去重、去毒、配比每一步都是技术活。模型的表现，其实在数据准备阶段就已注定大半。

预训练数据的故事告诉我们：You are what you eat，模型也是如此。一个在优质内容上训练的模型与一个在垃圾内容上训练的模型，差异巨大。这个道理对人类的信息摄入同样成立——精心选择你的“训练数据”。

## 核心要点

图片来源：Openverse / Rain Rabbit（https://www.flickr.com/photos/37996583811@N01/8928981210）

1. 重复数据会让模型记忆而非泛化，去重至关重要。

2. 数据配比（中英比例、代码比例）显著影响模型性格。

3. 高质量数据正在枯竭，合成数据成为必然方向。

4. 数据来源的合法性是未来最大的合规风险。

图片来源：Openverse / Brokentaco（https://www.flickr.com/photos/92024986@N00/3194229814）

## 写在最后

以上是关于「预训练数据」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。