学ぶ

Ch.07

XGBoost, LightGBM, CatBoost — 表形式データの最強格

スプレッドシートのような 表形式（構造化）データ では、ときに深層学習を上回る存在が 勾配ブースティング です。弱い学習器を順番に重ね、前段の 誤差（残差） を次が埋めていく—そんな 協調的な学習器の列 が、実務とKaggleの現場を支えています。 本章では XGBoost / LightGBM / CatBoost の違いを整理し、 自分のデータにどれを選ぶか の基準をはっきりさせます。

チャプター別機械学習図

チャプターを選ぶと、下の図がそのチャプターの内容に切り替わります。機械学習の流れを一覧で確認できます。

ライブラリごとに木の伸ばし方が違います。レベルワイズ／リーフワイズ／対称（オブリビアス）成長を順にアニメーションで見比べます。

CH07 ブースティング三本柱 — 残差を木で埋める技法

F_t(x)=F_{t-1}(x)+\eta h_t(x)

2. XGBoost: 正則化込みの安定枠 概念: 近代的ブースティング普及の中心。損失に加え 複雑さペナルティ を明示的に入れた設計で、挙動が読みやすく安定しやすい場面が多いです。 直感: 「進度」も大事だが、 丸暗記（過学習） には厳しくペナルティを課す先生のイメージです。

3. LightGBM: 大規模データのスピード枠 概念: 数百万行を超えると学習が重い問題への回答。 ヒストグラム（ビン） で計算を圧縮し、木は多くの場合 リーフワイズ —損失が最も減る葉から分割を深掘りします。 直感: 既にわかっている章は飛ばし、試験に出そうな章だけ徹底する 効率特化 の勉強スタイル。ただし 小規模データ では掘りすぎて過学習しやすいです。 注意: `max_depth` や `min_data_in_leaf` などで深掘りを制御しましょう。

4. CatBoost: カテゴリ変数の扱いに強い 概念: Yandex 由来で、名前は Cat egory + Boost 。 高カーディナリティのカテゴリ （職種、地域コードなど）を上手に扱うことに強みがあります。 直感: 検証すべきは過去情報だけなのに、うっかり未来情報が混ざると リーク でスコアが水増しされます。Ordered statistics などの設計は、そのリスクを抑える助けになります。 デフォルト だけでも強いことがあります。

F_t(x)=F_{t-1}(x)+\eta h_t(x)

2^{\text{max\_depth}}

実務表データの「安定受け」 画像・生テキストではない DBテーブル/CSV では、深層学習よりブースティングの方が 速くて十分当たる ことがよくあります。巨大モデルを設計する前の 第一ベースライン に選ばれます。

データの性格に合わせて選ぶ - 安定性 と中規模なら XGBoost - 規模と速度・メモリ が最重なら LightGBM - カテゴリ列が多く 前処理を減らしたいなら CatBoost

ハイパラはハンドル `learning_rate`、深さ/葉、`n_estimators`、early stopping は、 性能とコスト のバランスを決めます。関係を押さえると当てずっぽうが減ります。

\rightarrow

② アーリーストッピング 木を増やし続けると 暗記 に寄ります。検証損失が頭打ち/悪化したら そこで止める のが実務の常識です。

③ ビジネス指標に合わせる - 分類: 精度だけでなく AUC や F1 も。 - 回帰: RMSE / MAE を金額・件数の感覚で追う。