L1 与 L2 正则化：稀疏与平滑的选择

L1 正则化（绝对值惩罚）倾向产生稀疏解，把不重要的参数直接压到零；L2 正则化（平方惩罚）倾向让所有参数都变小但不为零，解更平滑。选哪个取决于具体需求。

这两种惩罚方式折射出不同的处世哲学：L1 是“断舍离”，看哪些东西其实没用就果断扔掉；L2 是“中庸”，什么都留一点但都别过度。解决问题时，先想清楚自己需要的是决断力还是包容性。

## 核心要点

图片来源：Openverse / michaelseangallagher（https://www.flickr.com/photos/13518023@N03/3985827194）

1. 要做特征选择、想要可解释模型，优先考虑 L1。

2. 要模型稳定平滑、不排斥任何特征，用 L2 更合适。

3. Elastic Net 把两者结合，兼具稀疏性与稳定性。

4. 深度学习中 L2（权重衰减）使用更普遍。

图片来源：Openverse / World Economic Forum（https://www.flickr.com/photos/15237218@N00/21290803126）

## 写在最后

以上是关于「L1 与 L2 正则化」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。