Dropout：训练时随机“摸鱼”

Dropout 在训练时随机让一部分神经元“失活”，强迫网络不要过度依赖任何单个神经元。这种“制造不可靠”的训练方式，反而提升了模型的鲁棒性，是最巧妙的正则化手段之一。

Dropout 的思路极其反直觉：故意让团队某些成员随机缺席，团队反而更强了。因为它逼着每个人学会别人的本事，消除了单点依赖。这个道理用在组织建设上，就是著名的“冗余即韧性”。

## 核心要点

图片来源：Openverse / marco_ask（https://www.flickr.com/photos/81277273@N00/12107349526）

1. Dropout 率通常取 0.1-0.5，不同层可以不同。

2. 它强制网络学习冗余表示，相当于隐式集成多个子网络。

3. 推理时关闭 Dropout，或按概率缩放输出。

4. 它与 Batch Norm 的交互较复杂，配合使用需谨慎。

图片来源：Openverse / jared（https://www.flickr.com/photos/35468148654@N01/99991779）

## 写在最后

以上是关于「Dropout」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。