模型评估共8篇
混淆矩阵:看清模型到底错在哪-子比笔记

混淆矩阵:看清模型到底错在哪

混淆矩阵把模型的预测结果拆成四类:真正例、假正例、真反例、假反例。它不只告诉你“对了多少”,更告诉你“错在哪里”,是诊断模型问题的第一步。 混淆矩阵最深刻的启示是:错误与错误并不等...
admin的头像-子比笔记admin9小时前
0458
精确率、召回率与 F1:评估指标三兄弟-子比笔记

精确率、召回率与 F1:评估指标三兄弟

精确率回答“模型说对的里面有多少是真的”,召回率回答“真正的问题模型抓住了多少”,F1 是二者的调和平均。它们比准确率更精细地刻画了模型表现。 这三个指标本质上是把“做得好不好”拆成了...
admin的头像-子比笔记admin9小时前
04314
ROC 与 AUC:模型排序能力的度量-子比笔记

ROC 与 AUC:模型排序能力的度量

ROC 曲线描绘不同阈值下召回率与误报率的关系,AUC 是其线下面积,衡量模型“把正例排在反例前面”的能力。AUC 越接近 1 越好,0.5 说明模型跟瞎猜差不多。 AUC 的视角很独特:它不关心绝对分数...
admin的头像-子比笔记admin9小时前
04612
类别不平衡:当 1% 的问题掩盖 99% 的正常-子比笔记

类别不平衡:当 1% 的问题掩盖 99% 的正常

类别不平衡指正负样本数量悬殊(如 1% 的欺诈交易)。此时模型只要全猜“正常”就有 99% 准确率,但对业务毫无价值。处理不平衡是工业 AI 的常见挑战。 类别不平衡其实是一个关于“稀有但重要”...
admin的头像-子比笔记admin9小时前
0446
交叉验证:科学评估模型的正确姿势-子比笔记

交叉验证:科学评估模型的正确姿势

交叉验证把数据分成多份,轮流用其中一份做测试、其余做训练,综合多次结果评估模型。它能有效避免“恰巧碰到简单测试集”的评估偏差,是判断模型好坏的基本功。 交叉验证的本质是“不要用一次...
admin的头像-子比笔记admin9小时前
0399
训练集、验证集、测试集:各司其职的三兄弟-子比笔记

训练集、验证集、测试集:各司其职的三兄弟

训练集用来训练模型,验证集用来调参和选模型,测试集只在最后用一次,评估真实表现。三者的严格分离是防止“模型作弊”的基本规范,也是机器学习工程化的底线。 三兄弟的分工像一场严谨的科研...
admin的头像-子比笔记admin9小时前
04410
偏差与方差:模型误差的两副面孔-子比笔记

偏差与方差:模型误差的两副面孔

偏差是模型本身的系统性误差(如用直线拟合曲线),方差是模型对训练数据波动的敏感程度。二者像跷跷板,降低一个往往抬高另一个,找到平衡点是建模的核心艺术。 偏差与方差的权衡在生活中也随...
admin的头像-子比笔记admin9小时前
03614
什么是过拟合:为什么模型会“死记硬背”-子比笔记

什么是过拟合:为什么模型会“死记硬背”

过拟合指模型把训练数据学得太死,连噪声一起记住,导致在新数据上表现反而变差。就像学生背下了答案却不懂原理,换道题就出错。它是机器学习最常见的陷阱之一。 过拟合的本质是模型容量与数据...
admin的头像-子比笔记admin9小时前
0297