梯度提升树：Kaggle 竞赛的常胜将军

梯度提升树通过串联很多棵弱决策树来强化模型：每棵新树专门纠正前面所有树犯的错误，一步步逼近最优解。XGBoost、LightGBM 是其集大成者，长期称霸数据科学竞赛。

梯度提升树的策略很励志：不追求一步到位，而是坦然面对自己的错误，每次只改进一点点。无数棵平庸的树串联起来，竟然能达到惊人的精度。这大概就是“持续迭代”力量的最佳算法隐喻。

## 核心要点

图片来源：Openverse / brewbooks（https://www.flickr.com/photos/93452909@N00/2354758874）

1. 梯度提升的核心是“用错误驱动学习”，每次迭代都针对残差。

2. XGBoost/LightGBM 在结构化数据上常常优于深度学习。

3. 调参空间大，但熟悉后有成熟的经验套路。

4. 它对类别型特征和缺失值处理良好，工业落地成本低。

图片来源：Openverse / Yu. Samoilov（https://www.flickr.com/photos/110751683@N02/14011462899）

## 写在最后

以上是关于「梯度提升树」的科普介绍。人工智能正在快速发展，相关概念和方法也在不断演进。希望本文能帮你建立对这一主题的基本认识。