Ch.07

XGBoost、LightGBM、CatBoost：表数据实战三强

面对像电子表格一样的 结构化/表格式数据 ，有一类方法常常比复杂深度学习更省事、更稳： 梯度提升（Boosting） 。它让一排“普通学生”（弱学习器）按顺序上阵，每个人专门补上一位同学还 没答对的残差 ，最后合成一个 很强的预测器 。 本章拆解 XGBoost、LightGBM、CatBoost 三者的差异，并给出 如何按数据特点选型 的清晰标准（同样适用于 Kaggle 与业务落地）。

选择章节后，下方图示会切换为该章节内容。可一览机器学习脉络。

三者扩展树的策略不同：按层扩展、按叶扩展、对称（oblivious）扩展。请看各面板的动画演示。

CH07 Boosting 三强：用一棵棵树吃掉残差

F_t(x)=F_{t-1}(x)+\eta h_t(x)

2. XGBoost：带正则的稳健主力 概念： 把现代梯度提升带向大众的经典实现。目标函数显式包含 正则/复杂度惩罚 ，训练往往更可预期、更抗噪一些。 直觉： 像既抓进度、又抓基础的严师——模型开始“死记硬背”时会用惩罚把曲线拉回来。

3. LightGBM：大规模下的速度型选手 概念： 为 海量样本 优化：用 直方图分箱 减少计算，并常以 按叶（leaf-wise） 策略生长——优先分裂 带来最大损失下降 的那片叶子，而不是先齐整地铺满一层（level-wise）。 直觉： 会跳过已掌握的章节，把精力砸在最可能考的重点上—— 效率极高 ，但在 小数据 上更容易“钻牛角尖”过拟合。 注意： 务必配合 `max_depth`、`min_data_in_leaf` 等约束。

4. CatBoost：类别特征友好 概念： 来自 Yandex，名字拆自 Cat egory + Boost 。对 高基数类别 （城市、职业、商品 ID）往往能减少手工编码负担。 直觉： 表数据要警惕 泄露 ：不小心把未来信息混进训练，分数会虚高。 有序统计（ordered statistics） 等设计有助于降低这类风险； 默认参数 常常也很好用。

F_t(x)=F_{t-1}(x)+\eta h_t(x)

2^{\text{max\_depth}}

表数据的“默认强者” 处理 数据库表/CSV 时，Boosting 经常是 又快又准 的首选基线；很多团队在做重型神经网络之前，会先把它跑通。

按数据选兵器 - 要 稳定 、中等规模：倾向 XGBoost - 要 速度/内存 、超大规模： LightGBM - 类别列 多、想少折腾预处理： CatBoost

超参数就是方向盘 `learning_rate`、树的深度/叶子数、`n_estimators`、early stopping 共同决定 偏差-方差 与算力消耗；理解它们如何联动，调参就不再全靠试错。

\rightarrow

② 早停（Early Stopping） 树不是越多越好——继续加会走向 背答案 。验证集损失 不再提升甚至变差 时，应及时停止，保留最优轮次。

③ 指标对齐业务目标 - 分类（流失、欺诈）： 别只看准确率，结合 AUC 、 F1 等。 - 回归（销量、价格）： 用 RMSE / MAE 与真实尺度对话。

CH07 Boosting 三强：用一棵棵树吃掉残差

F_t(x)=F_{t-1}(x)+\eta h_t(x)

2. XGBoost：带正则的稳健主力 概念： 把现代梯度提升带向大众的经典实现。目标函数显式包含 正则/复杂度惩罚 ，训练往往更可预期、更抗噪一些。 直觉： 像既抓进度、又抓基础的严师——模型开始“死记硬背”时会用惩罚把曲线拉回来。

3. LightGBM：大规模下的速度型选手 概念： 为 海量样本 优化：用 直方图分箱 减少计算，并常以 按叶（leaf-wise） 策略生长——优先分裂 带来最大损失下降 的那片叶子，而不是先齐整地铺满一层（level-wise）。 直觉： 会跳过已掌握的章节，把精力砸在最可能考的重点上—— 效率极高 ，但在 小数据 上更容易“钻牛角尖”过拟合。 注意： 务必配合 `max_depth`、`min_data_in_leaf` 等约束。

4. CatBoost：类别特征友好 概念： 来自 Yandex，名字拆自 Cat egory + Boost 。对 高基数类别 （城市、职业、商品 ID）往往能减少手工编码负担。 直觉： 表数据要警惕 泄露 ：不小心把未来信息混进训练，分数会虚高。 有序统计（ordered statistics） 等设计有助于降低这类风险； 默认参数 常常也很好用。

F_t(x)=F_{t-1}(x)+\eta h_t(x)

2^{\text{max\_depth}}

表数据的“默认强者” 处理 数据库表/CSV 时，Boosting 经常是 又快又准 的首选基线；很多团队在做重型神经网络之前，会先把它跑通。

按数据选兵器 - 要 稳定 、中等规模：倾向 XGBoost - 要 速度/内存 、超大规模： LightGBM - 类别列 多、想少折腾预处理： CatBoost

超参数就是方向盘 `learning_rate`、树的深度/叶子数、`n_estimators`、early stopping 共同决定 偏差-方差 与算力消耗；理解它们如何联动，调参就不再全靠试错。

\rightarrow

② 早停（Early Stopping） 树不是越多越好——继续加会走向 背答案 。验证集损失 不再提升甚至变差 时，应及时停止，保留最优轮次。

③ 指标对齐业务目标 - 分类（流失、欺诈）： 别只看准确率，结合 AUC 、 F1 等。 - 回归（销量、价格）： 用 RMSE / MAE 与真实尺度对话。