こんにちは、しらすです。
本日は「XGBoost」について調べました！
XGBoostとは何か？
2016年に発表された手法で、構造化データに対して用いられます。
決定木型のモデルになります。RandomForestのように複数の決定木を用いたアンサンブル学習を採用していますが、違いとしては勾配Boostingと呼ばれる手法を用いている点です。モデルの残差を階層的に学習(勾配Boosting)しています。
XGBoostのすごいところ
他の決定木モデルと比べて以下のような特徴があります。
XGBoostの特徴
- 欠損値の補完が不要
- 冗長な特徴量があっても問題ない（相関が高い説明変数があってもそのまま使える）
- ランダムフォレストや普通の決定木より生成モデルの精度が高い傾向にある
ひとまずXGBoostを選んでおけばKaggleなどのいろんなコンペでとりあえずいい結果が出る様子。
活用事例
構造化データを利用したClassification、Regressionに利用可能。ランダムフォレスト使おうかな、と思った際にはXGBoostを使った方が精度が良くなります。
参考
【Python】元最強アルゴリズム「XGBoost」で機械学習をやってみた
こんにちはミナピピン(@python_mllover)です！今日はかつてKaggleの機械学習系アルゴリズムで、最強の座にもっとも近かった「XGBoost」について紹介していきたいと思いますXGBoostとは？xgboostは、決定木モデル
tkstock.site
【機械学習】決定木モデルの違いをまとめてみた - Qiita
1.はじめに以前の投稿で、機械学習について２つの記事を書きました。全体像(機械学習初学者の私に告ぐ「4つの忠告」の2-2)と前処理(機械学習のデータ前処理備忘録)についてです。他の箇所につい…
qiita.com
コメント