深度学习的数据增强进阶
基础增强是翻转裁剪，进阶增强是 MixUp（把两张图混合）、CutMix（拼接图片区域）、RandAugment（随机组合增强操作）。它把有限数据的价值榨干。 数据增强的底层逻辑是“制造困难的多样性”。模...
9小时前
Dropout：训练时随机“摸鱼”
Dropout 在训练时随机让一部分神经元“失活”，强迫网络不要过度依赖任何单个神经元。这种“制造不可靠”的训练方式，反而提升了模型的鲁棒性，是最巧妙的正则化手段之一。 Dropout 的思路极其...
9小时前
残差连接：深层网络能训动的秘密
残差连接把每层的输入直接加到输出上，让网络学习“变化量”而非完整结果。这个看似简单的改动解决了深层网络无法训练的问题，把网络深度从几十层推向了上百层。 残差连接的智慧令人拍案：既然...
9小时前
层归一化：稳定训练的幕后功臣
层归一化对每一层的激活值做标准化，防止数值在深层传递中爆炸或消失。它配合残差连接，让深层 Transformer 能够稳定训练。 层归一化的作用可以类比为社会治理中的“调控”：任由各种信号自由放...
9小时前
Batch Normalization：深度学习训练的里程碑
Batch Normalization 对每个小批量的数据做归一化，有效缓解了内部协变量偏移问题，让训练更快、更稳定，允许使用更大的学习率。它曾把 CNN 的训练效率提升了一个档次。 BN 的灵感来自一个观察...
9小时前
早停法：训练何时该喊停
早停法在验证集误差开始上升时停止训练——虽然训练误差还在下降，但模型已经开始过拟合。它是最简单、最有效的正则化手段，几乎不需要额外计算成本。 早停法教会我们一件重要的事：懂得停下来...
9小时前
数据增强：不增加数据却让模型更强
数据增强通过对现有数据做变换（翻转、旋转、裁剪、加噪声）生成“新”样本，扩大有效训练集。它不需要采集新数据，却能显著提升模型的泛化能力。 数据增强的精髓是“换角度看问题”。同一张图...
9小时前
