参数与权重：模型内部的数字海洋

参数是模型内部可学习的数值，权重是参数中最主要的部分。一个 70 亿参数的模型，意味着它内部有 70 亿个数字在共同决定输出结果。参数量常被用来粗略衡量模型规模。

一个直观类比：参数就像大脑中的突触强度。突触越多，能记住的模式越复杂，但如果没有足够的经历（数据）去塑造它们，多出来的突触只是浪费能量。这就是为什么“小模型 + 好数据”有时能打赢“大模型 + 差数据”。

## 核心要点

图片来源：Openverse / The Preiser Project（https://www.flickr.com/photos/113196745@N04/12102280105）

1. 参数不是越多越好，质量与训练数据同样关键。

2. 参数记录了数据中的模式，是模型“记忆”的载体。

3. 参数过多而数据不足会过拟合，模型变成“死记硬背”。

4. 量化技术可以在几乎不损失性能的前提下减少参数占用的显存。

图片来源：Openverse / jpotisch（https://www.flickr.com/photos/19481970@N00/2458526759）

## 写在最后

以上是关于「参数与权重」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。