30秒でわかる要点
弱い学習器（主に決定木）を順番に作り、前のモデルの誤差を次のモデルで補うアンサンブル手法。XGBoostやLightGBMが代表的で、表形式データで高い精度を出しやすい。
「勾配ブースティング」の練習問題
当サイトの練習問題から、この用語に関係する問題をピックアップしました。
Q1勾配ブースティング（Gradient Boosting）がアンサンブル学習で強力な理由として最も適切なものはどれか。
- 前の学習器の残差（誤り）に焦点を当て、段階的に補正することで非常に複雑な関数を近似できること
- 単一のモデルのみを使用し、複数モデルは不要
- ランダムに複数モデルを組み合わせるだけ
- 計算量は常に小さく、大規模データには不適切
答えと解説を見る
正解：A
勾配ブースティング（XGBoost、LightGBMなど）は、各段階で前のモデルの残差を新しいモデルが予測。反復的に誤りを補正し、複雑なパターンを捉える。Kaggleなど競技会で高精度を実現。B、C、Dは誤り。
Q2勾配ブースティング（Gradient Boosting）が従来のブースティングと異なる点は何か。
- 損失関数の負の勾配方向に各弱学習器を訓練し、より柔軟で様々な損失関数に対応できるためである
- 決定木のみに限定される
- 勾配計算が不要である
- 誤り修正の概念がない
答えと解説を見る
正解：A
勾配ブースティング：残差の代わりに勾配を使用。任意損失関数対応。XGBoost, LightGBM が実装。
Q3XGBoost が従来の勾配ブースティングより優れた特性として最も重要なのはどれか。
- 正則化項を明示的に組み込み、過学習を抑制し、スパース性を促進し、計算効率も高い
- 決定木の深さに制限がない
- GPU サポートがない
- 特徴量のスケーリングが必須
答えと解説を見る
正解：A
XGBoost：L1/L2 正則化、特徴サブサンプリング、キャッシュ最適化。計算効率・精度向上。
機械学習の問題をまとめて解いて、理解を確かめましょう（無料・登録不要）。
機械学習の練習問題を解く