缩放定律（Scaling Law）揭示：模型性能随着参数量、数据量、算力的增加而可预测地提升，且在对数坐标下近似线性。这条定律是近十年 AI 算力军备竞赛的理论依据。 缩放定律最深远的影响是改变了...

微调（Fine-tuning）是在预训练模型基础上，用领域数据继续训练，让模型适应特定任务或行业风格。它比从零训练便宜几个数量级，是企业落地大模型的主流方案。 微调最常见的误区是把它当万能药。...

RAG（检索增强生成）的思路是：先从知识库检索相关文档，再把文档连同问题一起发给模型，让模型基于检索结果作答。它解决了模型知识过时、无法访问私有数据的问题。 RAG 的优雅之处在于把“记忆...

Agent（智能体）是能感知环境、自主规划、调用工具、持续迭代的 AI 系统。普通对话模型问一句答一句，Agent 则能把复杂目标拆成多步任务并自主执行完成。 从 Chatbot 到 Agent 是 AI 交互方式的...

损失函数衡量模型预测与真实答案的差距，差距越大损失越大。训练的目标就是不断调整参数让损失降到最低——可以说整个机器学习都在“最小化损失函数”。 损失函数像是给模型的评分标准：你定义...

梯度下降是模型训练最核心的优化方法：计算当前参数下的误差梯度，然后朝误差下降最快的方向走一小步，反复迭代直到找到最低点。就像蒙眼下山，每一步都往最陡的方向走。 梯度下降的优雅之处在...

特征是数据中可被模型利用的、有区分度的信息片段。判断一封邮件是否垃圾邮件，“是否含敏感词”“发送频率”都是特征。传统机器学习把大量精力花在特征构造上。 工业界有句老话：“数据决定上...

向量是一组有序的数字，AI 用它来表示万事万物。一张图片可以是一个 2048 维向量，一句话可以是一个 768 维向量。把现实世界转成向量，机器才能计算、比较、检索。 理解向量，就理解了现代 AI ...

嵌入是把离散对象（词、图片、用户）映射到连续向量空间的技术，让语义相近的对象在空间中彼此靠近。它是大模型、推荐系统、语义检索的共同基石。 嵌入的精妙在于它让机器“理解”了关系：不仅...

Token 是大模型处理文本的最小单位，可能是一个字、一个词或一个词根。中文一句话通常被切成多个 token，英文一个单词可能是 1-3 个 token。模型按 token 计费、按 token 计数上下文。 理解 tok...

专家系统是 1980 年代 AI 的主流形态：把领域专家的知识整理成“如果-那么”规则，输入计算机，让机器模仿专家做推理诊断。它在医疗诊断、地质勘探等领域曾大显身手。 专家系统最著名的案例是 M...

符号主义认为智能的本质是符号运算与逻辑推理，AI 应该模拟人的逻辑思维；连接主义认为智能来自神经元之间的连接，AI 应该模拟大脑的网络结构。两条路线缠斗数十年，如今连接主义占据上风。 两...