正则化:给模型戴上“紧箍咒”

正则化通过在损失函数里增加惩罚项,阻止模型把参数学得过于极端,从而抑制过拟合。它让模型“别太用力”,在训练数据上的表现略微下降,换来在新数据上更稳定。

正则化的思想充满东方智慧:留有余地,反而走得更远。一个把训练题做到满分的模型,往往是个脆弱的做题家;允许它有些小瑕疵,它反而能应对真实世界的千变万化。

## 核心要点


图片[1]-正则化:给模型戴上“紧箍咒”-子比笔记

图片来源:Openverse / Rain Rabbit(https://www.flickr.com/photos/37996583811@N01/8928406315)

1. L1 正则化会让部分参数归零,天然具有特征选择效果。

2. L2 正则化把参数压小但不归零,模型更平滑。

3. 深度学习中的 Dropout、权重衰减都属于广义正则化。

4. 正则化强度的调节本质是偏差-方差权衡的具体操作。

图片[2]-正则化:给模型戴上“紧箍咒”-子比笔记

图片来源:Openverse / Rain Rabbit(https://www.flickr.com/photos/37996583811@N01/8929003226)

## 写在最后

以上是关于「正则化」的科普介绍。人工智能正在快速发展,相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。

© 版权声明
THE END
喜欢就支持一下吧
点赞13 分享
评论 抢沙发
头像
欢迎您留下宝贵的见解!
提交
头像

昵称

取消
昵称表情代码图片快捷回复

    请登录后查看评论内容