层归一化共1篇
层归一化：稳定训练的幕后功臣-子比笔记

层归一化：稳定训练的幕后功臣

层归一化对每一层的激活值做标准化，防止数值在深层传递中爆炸或消失。它配合残差连接，让深层 Transformer 能够稳定训练。 层归一化的作用可以类比为社会治理中的“调控”：任由各种信号自由放...
深度学习
admin的头像-子比笔记admin10小时前
0397

文章分类

热门标签

Agent (5) AGI (3) AIGC (13) AI伦理 (4) AI历史 (5) AI基础 (3) AI安全 (7) AI应用 (27) AI技能 (4) AI教育 (4) AI编程 (4) CNN (6) NLP (23) Prompt (4) RAG (4) Transformer (6) 人工智能 (3) 企业应用 (4) 优化 (7) 图像处理 (5) 大模型 (22) 大语言模型 (5) 开发工具 (5) 强化学习 (4) 技术前沿 (10) 推理 (4) 提示词 (6) 效率工具 (5) 数据 (4) 数据科学 (5) 机器学习 (15) 模型架构 (6) 模型训练 (3) 模型评估 (8) 模型部署 (4) 深度学习 (24) 神经网络 (8) 科普 (13) 算力 (3) 算法 (15) 计算机视觉 (24) 训练技巧 (7) 语音技术 (5) 过拟合 (3) 采样 (4)

文章归档

关于本站

这是一个使用 Zibll 子比主题搭建的个人站点，分享科技、生活、文化、旅行与健康方面的思考与记录。

欢迎在文章下方留言交流。

功能