A4用紙1枚にまとめるイメージでメモを残そうという取り組み。
今回は機械学習でとりわけ、回帰の問題を扱うことが仕事であった際に参照できるメモの一つとして残したい。
先日、Catboostのドキュメントに参考文献としてUncertainty in Gradient Boosting via Ensemblesの存在を知った。業務において、価格の予測とか、期間の予測とかマーケティングのデータでも良く扱うものなので、分類だけでなく回帰についてもバランス良く知見を貯めたいところ。
目次
Abstract
Introduction
Background and related work
Generating ensembles of GDBT models
Experiments on Synthetic Data
Experiments on classfication and regression datasets
Conclusion
Broader Impact
Abstract
機械学習のモデルは予測において点推定しかしないが、実務上は不確実性を定量化したいニーズがある。この研究では、予測の不確実性推定値を導出するためのアンサンブルベースの枠組みが紹介されている。予測における不確実性は「データに起因する複雑さとノイズの不確実性」「特徴空間において、情報がないことに起因する不確実性」に分解される。
手法としては確率的勾配ブースティングと確率的勾配ランジュバンブースティング(SGLB)が扱われている。SGLBは一つの勾配ブースティングモデルからのアンサンブルを可能にし、モデルの複雑さを減らすことができる。また、予測性能の向上について様々なデータセットを使って示されている。
Introduction
一般的な勾配ブースティングについて、回帰の際に点推定しか返さないことを挙げている。NGBoostについても言及している。NGBoostなら、勾配ブースト決定木(GBDT)を訓練して平均値を返せるとのこと。ただし、データの不確実性に起因する不確実性しか捕捉できないという問題がある。モデルに関する知識の欠落によって生じる不確実性に関して扱うことはできない。近年ではニューラルネットワークを用いて知識を起因とする不確実性の研究がなされているらしい。今回扱う、アンサンブルアプローチは全体の不確実性を「データの不確実性」と「知識の不確実性」に分解する。扱うモデルは確率的勾配ブースティングと、確率的勾配ランジュバンブースティング(SGLB)となっており、SGLBの利点として、漸近的に真のベイジアン事後分布からサンプリングされることが挙げられている。また、SGLBによって1つの勾配ブースティングのみをモデルを使ってアンサンブルをすることができるとされている。これにより計算の複雑さを減らすことができる。結果として、予測性能が高まり、誤りやドメインの外側のデータの入力の検知ができるようになったとされている。
Background and related work
- ベイジアンのアプローチ
ベイズ統計学を使っている。予測の多様性について考察することで、知識の不確実性の推定を行うことができるとしている。さらに、確率モデルのアンサンブルを行なっている。アンサンブルモデルの不一致さ、広がりの程度が知識の不確実性につながるとしている。事後分布の近似のための研究が色々となされ、ニューラルネットワークのモデルなども使われた。モデルの事後分布をもとに、予測の事後分布を手に入れる。予測の事後分布のエントロピーが、予測の不確実性を推定する。知識の不確実性は、全ての不確実性からデータの不確実性の期待値を差し引いた相互情報量で表される。確率的な回帰モデルのアンサンブルを考える時、予測事後分布のエントロピーと相互情報量を推定することができない。代わりに総変動の法則に従ってなら推定することができるが、1~2次のモーメントに基づいているだけなので、高次元での不確実性に関する見落としが起きうる。 - 勾配ブースティング
弱学習器は浅い決定木によって形成される。ただ、勾配ブースティングの回帰モデルは点での予測しかしない。予測の不確実性に関する研究はほとんどされていない。近年、NGBoost (Natural Gradient Boosting)が登場し、予測の不確かさを推定することができるようになった。NGBoostは入力変数xが与えられたもとでの、出力変数の条件付き事後分布の推定を行ってくれる。
Generating ensembles of GDBT models
NGBoostはデータの不確実性を捉えることができるものの、知識の不確実性については捉えることができない。
知識の不確実性を捉えるための方法としては、事後分布からサンプリングされた予測モデル(GBDT)のアンサンブルが挙げられる。
そもそもGBDT自身が木のアンサンブルであるが、そのGBDTのアンサンブルを考える。
アンサンブルをする方法としては、確率的勾配ブースティングのアプローチで生成された独立なモデルを扱うことがあげられている。
もとのモデルにノイズを注入して、出力をぶれさせることで予測の分布を得ようとしている。ただ、これは事後分布の推定を保証しないらしい。
ただし、確率的勾配ランジュバンブースティング(SGLB)アルゴリズムを用いることで真の事後分布からGBDTモデルをサンプリングすることができるらしい。
非凸の損失関数においての最適化の収束のために、確率的勾配ランジュバン力学が用いられているとのこと。ランジュバン力学ってなんだろうか。
確率的勾配ブースティングとの違いは2つある。
- 1.ガウシアンノイズが勾配に明示的に加えられている。
- 正規分布の平均は0で分散に逆拡散温度というものがある。ノイズをコントロールするものであることに間違いはない。確かに物理っぽい。STANのリープフロッグとかを思い出した。このノイズが最適値を見つけるのに役立つらしい。
- 2.ブースティングモデルの更新式に正則化パラメータを設けている。
- 定常分布に弱く収束していくマルコフ連鎖にパラメータが従うらしい。
対数尤度に正則化項が残るものの、比例するらしく、真の事後分布に従うと見なせるらしい。
確率的勾配ブースティングや確率的勾配ランジュバンブースティングは計算する上で重大なオーバーヘッドが生じるらしくイタレーションを減らすなど質を下げたり複雑さを増したりする必要があるとのこと。それを避けるために、仮想SGLBアンサンブルというものが提案されている。
SGLBアルゴリズムのイタレーションごとのパラメータは弱く定常に収束するマルコフ連鎖に従うことから、それらをモデルのアンサンブルと見なす。
しかしながらモデル同士が強く相関してしまうので、アンサンブルの質が下がる。ただし、各々のパラメータのK番目の集合のみを使うことで克服できるとある。
K番目のパラメータ集合のみのモデルで構築したアンサンブルを仮想アンサンブルと呼んでいる。
Experiments on Synthetic Data
ここではGBDTモデルのアンサンブルアルゴリズムを合成データを用いて実験している。
合成データとしては、以下の2つの1次元データセットが扱われている。
- 合成データセット
- 分散が増加していく絶対値x
- 分散が減少していく絶対値x
- 比較するモデル
- SGLB
- SGB
- vSGLB（仮想SGLB）：SGLBから生成
- 結果
- 分散が減少していく絶対値xのケースだと、データの不確実性に関して、SGBではサンプルの領域外で過剰に不確実性が増してしまう。
- 分散が増加していく絶対値xのケースだと、知識の不確実性に関して、SGBではサンプルの領域外で不確実性が増してしまう。
サンプルの領域外のほうが、領域内よりも不確実性が大きいはずだが、実験データではそうではないらしい。
Experiments on classfication and regression datasets
GBDTモデルのアンサンブルアルゴリズムを色々なデータのいろいろなタスク（回帰、分類）で予測性能をみている。
- タスク
- 回帰タスク
- 分類タスク
- データセット
- 18種類くらいある。（Wineとか、解約のデータとかAmazonのデータとかいろいろ）
- 比較するモデル
- SGB：このアンサンブルは10個の独立したモデルで、それぞれ1K本の木を持つ。
- SGLB：このアンサンブルは10個の独立したモデルで、それぞれ1K本の木を持つ。
- vSGLB（仮想SGLB）：[500, 1000]の区間から50番目のモデルをアンサンブルに追加していっている。
- どう実装しているか
- CatBoostライブラリをベース
- 分類では二値分類のクラスの確率分布を生成
- 回帰では正規分布の平均と分散を生成
- 負の対数尤度を最適化している
- ハイパーパラメータはランダムサーチ
- 何の指標を見ているか
- 負の対数尤度
- 誤分類率
- RMSE
- 不確実性の合計、知識の不確実性：Prediction-Rejection Ratio(PPR)というもので測る。どれくらい不確実性が誤差と順番と相関するかを測るらしい。100が最大で、ランダムだと0になる。
- AUC：領域外のデータに関する評価に用いる。領域外データは合成して生成した。
- 分類：負の対数尤度（NLL）
- アンサンブル手法に軍配が上がるが、違いは軽微である。
- 仮想アンサンブルが勝るときがある。
- 分類：誤分類率
- アンサンブル手法に軍配が上がるが、違いは軽微である。
- 回帰：RMSE
- アンサンブル手法に軍配が上がるが、違いは軽微である。
- SGBやSGLBはパフォーマンスが良い。
- vSGLBはわずかにパフォーマンスが悪い。自己相関があるなかでアンサンブルしているためパフォーマンス悪化が生じていると考えられる。
- ただ単一モデルのものよりかは良い。
- コストをかけずに精度を上げたいという観点ではvSGLBはよい選択肢となる。
Conclusion
この論文では、GBDTを用いたアンサンブルベースの不確実性推定モデルが扱われた。SGB、SGLB、仮想SGLBについて合成データや、分類や回帰のタスクにおいて比較した結果、アンサンブル手法が精度面で秀でているわけではないことが示された。
しかし、知識の不確実性（モデルで十分に想定できていない不確実性）を扱う際にアンサンブル手法が役立つことがわかった。
知識の不確実性を扱う場合に、計算コストの少ない手法として仮想のSGLBが提案され、精度において十分ではないが、低コストで知識の不確実性を扱う観点において有用であることが示された。
Broader Impact
- 不確実性の推定は、機械学習モデルをより安全に、より信頼できるものにするという観点で重要。
- GBDT系の手法はニューラルネットワーク系の手法よりも計算コストが低くて良い。
- 不確実性の推定が貧弱なものとならないように引き続き研究が求められる。
追記
不確実性について扱われた、ソースコードの載っている記事を集める。