过参数化：为什么大模型反而更好训

直觉上参数太多应该更容易过拟合，但实践中大模型往往更好训练、泛化更好。这个反直觉的现象被称为“过参数化的悖论”，是深度学习理论最迷人的谜题之一。

过参数化的悖论提醒我们：直觉在复杂系统前常常失效。大自然也喜欢冗余——人脑的突触数量远超必需，却正是这种冗余带来了稳健。有时候，丰裕本身就是一种设计。

## 核心要点

图片来源：Openverse / Rain Rabbit（https://www.flickr.com/photos/37996583811@N01/8916276368）

1. 过参数化让优化更容易：存在大量“好解”而非唯一最优。

2. 隐式正则化让大模型倾向找到简单解。

3. 双重下降现象展示了模型规模的复杂效应。

4. 理解它，才能更好地规划模型规模。

图片来源：Openverse / tedxdcu（https://www.flickr.com/photos/128824368@N06/16324937697）

## 写在最后

以上是关于「过参数化」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。