知识蒸馏：大模型教小模型

知识蒸馏是用大模型（教师）的输出训练小模型（学生），让小模型在特定任务上逼近大模型的效果，同时保持小体积、低成本。这是“大而强”到“小而美”的转化桥梁。

对企业的实用价值是：不必所有业务都调最贵的大模型 API。把高频、标准化的场景用蒸馏小模型接管，成本能下降一到两个数量级，响应速度也更快。

## 核心要点

图片来源：Openverse / Bob Mical（https://www.flickr.com/photos/51764681@N02/15995555571）

1. 蒸馏常用于垂直场景：把通用大模型的能力固化到专用小模型。

2. 学生模型学的是教师的输出分布，不只是最终答案。

3. 蒸馏 + 量化是端侧 AI 部署的经典组合。

4. 开源生态里很多“小钢炮”模型都是蒸馏产物。

图片来源：Openverse / jiuguangw（https://www.flickr.com/photos/32366606@N00/4981810673）

## 写在最后

以上是关于「知识蒸馏」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。