パーミュテーションインポータンス

どんな問題に向けた手法か

ランダムフォレストは多数の決定木を組み合わせて予測するモデルです。ブレイマン(Breiman)は2001年の論文の中で、木の森は仕組みを単純に解釈しようとしても中を見通せないと述べています。一方で、医療の実験の分析のような用途では、予測の精度を生み出している変数どうしの関係を理解することが欠かせないとも述べています。

この課題への取り組みの出発点として論文が挙げたのが、out-of-bagの例を使った内部での見積もりと、選んだ変数だけを使ってもう一度学習させて確かめる方法です。パーミュテーションインポータンスは、このうち前者にあたる具体的な手順です。

out-of-bagの例とは

ランダムフォレストでは、1本1本の木がそれぞれ訓練データの一部を使って作られます。ある木から見て、その木の訓練に使われなかった例をout-of-bagの例と呼びます。その木にとっては未知のデータなので、訓練データの一部を検証用として使うことができます。論文では、この性質のおかげで、1,000本の木からなる森を1回作るだけで、別のテストデータを用意せずに重要度の見積もりが得られると述べています。

手順

入力変数がM個あるとします。論文の手順は次のとおりです。

1. 木を1本作るたびに、その木のout-of-bagの例について、m番目の変数の値だけをランダムに並べ替えます。
2. 並べ替えたout-of-bagのデータをその木に流し、各例に対する分類の結果を記録します。
3. これをm=1からMまで、全ての変数について繰り返します。
4. 森を作り終えたら、ある例について、その例がout-of-bagだった木々の投票のうち最も多かったクラスを、m番目の変数を乱した場合の分類結果とします。これを正しいクラスのラベルと比べて誤分類率を求めます。

並べ替え(permute)は、その変数の値の並びを入れ替えるだけなので、値の分布は変わらずに、各例と正しい値との対応だけが壊れます。論文はこれを変数にノイズを加えた状態として扱っています。

重要度の定義

出力されるのは、全ての変数をそのまま使った場合のout-of-bag誤分類率と比べて、誤分類率が何パーセント増えたかという値です。

ある変数を並べ替えたときに誤分類率が大きく増えるなら、モデルはその変数の正しい値に強く頼って予測していたことになり、その変数は予測にとって重要だと判断できます。反対に、並べ替えても誤分類率がほとんど変わらないなら、その変数は予測にあまり寄与していないと考えられます。

外側から測るという考え方

この手法はランダムフォレストの論文で、ランダムフォレストの分類を対象として提案されました。ただし手順そのものは、木の分岐の条件のようなモデルの内部の構造を直接調べてはいません。入力の一部を並べ替え、予測の性能がどう変わるかを観察するという、モデルの外側から重要度を測る方法になっています。この点が、中身を見通しにくいモデルの解釈に役立つ理由です。