语料库：NLP 研究的数据基石

语料库是按特定标准收集的语言数据集合：维基百科语料、新闻语料、对话语料。没有大规模语料库，就没有统计 NLP 与深度学习 NLP 的今天。

语料库是语言学的“实验室”：关于语言的一切假设，都要在真实数据上验证。它把语言学从思辨学科变成了数据驱动的实证学科。这种转变，是所有传统学科数字化的共同路径。

## 核心要点

图片来源：Openverse / The Magic Tuba Pixie（https://www.flickr.com/photos/34017082@N06/5341070317）

1. 语料库的代表性决定了模型在真实场景的表现。

2. 标注语料（树库、平行语料）价值极高但获取昂贵。

3. 中文语料库的规模与质量长期落后于英文。

4. 网络爬虫语料的质量参差，清洗是核心工作。

图片来源：Openverse / *CQ*（https://www.flickr.com/photos/21066805@N07/2271417377）

## 写在最后

以上是关于「语料库」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。