梯度下降共2篇
优化器:Adam 为什么成为主流-子比笔记

优化器:Adam 为什么成为主流

优化器决定了如何根据梯度更新参数。SGD 是最基础的,Adam 引入了动量(累积历史方向)与自适应学习率(每个参数有自己的步长),成为深度学习时代使用最广泛的优化器。 优化器的演进史是一部“...
admin的头像-子比笔记admin10小时前
03810
梯度下降:AI 如何找到最优解-子比笔记

梯度下降:AI 如何找到最优解

梯度下降是模型训练最核心的优化方法:计算当前参数下的误差梯度,然后朝误差下降最快的方向走一小步,反复迭代直到找到最低点。就像蒙眼下山,每一步都往最陡的方向走。 梯度下降的优雅之处在...
admin的头像-子比笔记admin10小时前
03410