模型压缩：让大模型变小巧
模型压缩是一族技术的总称：量化、剪枝、蒸馏、低秩分解，目的都是同一个——用更小的体积、更少的计算，跑到几乎同样的效果。它是 AI 从云端走向终端的桥梁。 模型压缩的艺术是“取舍”：什么...
10小时前
模型量化：用更少显存跑更大模型
量化是把模型参数从高精度（如 32 位浮点）压缩到低精度（如 8 位、4 位整数）的技术。它以极小的性能损失换取大幅的显存节省，是本地部署大模型的必备手段。 量化的意义在于让 AI 民主化：不是...
10小时前10小时前10小时前10小时前10小时前
