模型量化：用更少显存跑更大模型

量化是把模型参数从高精度（如 32 位浮点）压缩到低精度（如 8 位、4 位整数）的技术。它以极小的性能损失换取大幅的显存节省，是本地部署大模型的必备手段。

量化的意义在于让 AI 民主化：不是每个人都有 A100 集群，但很多人有一张游戏显卡。量化技术把“跑大模型”的门槛从企业级拉到了消费级，直接催生了繁荣的本地 AI 生态。

## 核心要点

图片来源：Openverse / playful.geometer（https://www.flickr.com/photos/24888685@N08/7025794665）

1. INT8 量化几乎无损，INT4 量化有轻微性能下降。

2. 量化让普通显卡甚至手机也能运行几十亿参数的模型。

3. 量化模型推理更快、能耗更低，对边缘部署尤其重要。

4. 主流框架（llama.cpp、vLLM）都内置了量化支持。

图片来源：Openverse / medul.la（https://www.flickr.com/photos/45758022@N04/5761807471）

## 写在最后

以上是关于「模型量化」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。