预训练:大模型如何“读完整个互联网”
预训练是大模型获得通用能力的阶段:在数万亿 token 的文本上做“下一词预测”训练。这个看似简单的任务,逼迫模型学到了语法、常识、逻辑、世界知识。 下一词预测这个任务设计之精妙,在于它无...
什么是微调:让通用模型变成领域专家
微调(Fine-tuning)是在预训练模型基础上,用领域数据继续训练,让模型适应特定任务或行业风格。它比从零训练便宜几个数量级,是企业落地大模型的主流方案。 微调最常见的误区是把它当万能药。...
训练与推理:AI 的两个阶段
训练是模型从数据中学习、调整参数的过程,耗时长、成本高;推理是模型用学到的知识处理新请求的过程,要求快、成本低。一个 AI 产品的成本结构主要由这两个阶段构成。 对产品经理和创业者,理...




