SHAP

予測の精度と解釈のしやすさのあいだの緊張

SHAPは、ランドバーグ(Lundberg)とリー(Lee)が2017年のNIPSで発表した論文 A Unified Approach to Interpreting Model Predictions で提案されました。論文はまず、多くの応用では、モデルがなぜその予測をしたのかを理解することが、予測の精度と同じくらい重要になりうると指摘します。

ところが、現代の大きなデータセットで最も高い精度を出すのは、アンサンブルモデルやディープラーニングのモデルのように、専門家でも解釈に苦労する複雑なモデルであることが多くあります。ここに、精度と解釈のしやすさのあいだの緊張が生まれます。

この緊張に応えるため、複雑なモデルの予測を解釈する手法が近年いくつも提案されてきました。しかし論文によれば、それらの手法どうしがどう関係しているのか、どの場面でどの手法を選ぶのが望ましいのかは、はっきりしていませんでした。SHAPは、この問題に答えるための統一的な枠組みとして提案されています。

SHAPが行うこと

SHAPは、ある特定の1つの予測について、各特徴量に重要度の値を割り当てます。たとえば、あるモデルがある入力に対して出した1つの予測について、どの特徴量がその予測にどの程度寄与したかを、特徴量ごとの数値として示すということです。モデル全体の傾向ではなく、個別の予測を説明の対象にしている点を押さえておきましょう。

名前の SHapley Additive exPlanations は、Shapley値(後で説明する協力ゲーム理論の考え方)と、加法的(Additive)な説明(Explanations)を組み合わせたものです。

中心的な貢献: 加法的特徴量帰属というクラス

論文が新しい要素として挙げているのは、次の2つです。

1. 加法的な特徴量の重要度の尺度という、新しいクラス(手法の分類)を特定したこと
2. このクラスの中に、望ましい一連の性質を満たす解がただ1つだけ存在することを、理論的な結果として示したこと

加法的特徴量帰属(additive feature attribution)とは、ある予測の説明を、特徴量ごとに割り当てた重要度の値を足し合わせる形で表す手法の集まりのことです。予測への寄与を特徴量ごとに分け、それらの和として説明を組み立てる、と考えるとイメージしやすいでしょう。論文ではこのクラスを式で定義していますが、ここではその考え方だけを押さえておけば十分です。

論文は、この新しいクラスが既存の6つの手法を統一すると主張しています。さらに、このクラスに含まれる最近の手法のいくつかは、論文が提案する望ましい性質を満たしていないと指摘しています。つまりSHAPは、ばらばらに提案されてきた手法を同じ土俵に並べたうえで、その中で理論的に望ましい性質を満たす唯一の解を示した、という位置づけになります。

LIMEとの関係

このクラスに含まれる手法の1つに、LIMEがあります。LIMEは、個々の予測を解釈するための手法で、説明したい予測の周辺に限ってモデルを局所的に近似することで、その予測を説明します。複雑なモデル全体をそのまま理解しようとするのではなく、ある1点のまわりだけを単純なモデルで置き換えて見る、という発想です。

LIMEがこの近似に使うのは、局所的な線形の説明モデルです。SHAPの論文は、この線形の説明モデルが加法的特徴量帰属の式に正確に当てはまることを示し、LIMEも加法的特徴量帰属の手法の1つであると位置づけています。LIMEとSHAPは別々の手法として紹介されることが多いものの、論文の枠組みでは、LIMEは SHAPが定義したクラスの一員として扱われます。

土台となる協力ゲーム理論とShapley値

協力ゲーム理論は、複数の参加者が協力して得た成果を、各参加者の貢献に応じてどう分けるかを扱う理論です。モデルの予測の説明に当てはめると、特徴量を参加者、予測を成果とみなし、予測への貢献を特徴量ごとに分け合うと考えることができます。

論文は、協力ゲーム理論の古典的な式を使って予測の説明を計算する既存の手法として、Shapley回帰値(Shapley regression values)、Shapleyサンプリング値(Shapley sampling values)、Quantitative Input Influence の3つを挙げています。

Shapley回帰値の仕組み

Shapley回帰値は、多重共線性(特徴量どうしが強く相関している状態)がある場合の線形モデルのための特徴量重要度です。その計算は次のように進みます。

1. ある特徴量を含めた状態でモデルを訓練し、別に、その特徴量を除いた状態でもモデルを訓練する
2. いま説明したい入力について、2つのモデルの予測を比べ、その差をその特徴量を含めたことの効果とみなす
3. 特徴量を除いたときの効果は、モデルに他にどの特徴量が入っているかによって変わる。そのため、この差を特徴量の全ての部分集合について計算する
4. こうして得た全ての差の重み付き平均をShapley値とし、それを各特徴量の重要度(帰属)として使う

この方法は、特徴量の全ての部分集合についてモデルを訓練し直す必要があります。他の特徴量との組み合わせをすべて考慮する点に、協力ゲーム理論に基づく考え方の特徴があります。SHAPという名前のShapleyは、この Shapley値に由来しています。

まとめ

SHAPは、個々の予測について特徴量ごとの重要度を割り当てる枠組みです。加法的特徴量帰属という新しいクラスを示してLIMEを含む6つの既存手法を統一し、そのクラスの中で望ましい性質を満たす解がただ1つであることを理論的に示しました。その土台には、協力ゲーム理論に由来するShapley値の考え方があります。