発展：説明可能AIを分解する（SHAP・LIME・Grad-CAM）

ねらい

このレッスンは、モデルの解釈性と圧縮のレッスンの続きにあたる発展（はってん）の記事です。対象レッスンで名前の出た説明可能 AI（XAI）の代表的な手法、LIME・SHAP・Permutation Importance・CAM・Grad-CAM をここでは、それぞれが何をどうやって根拠として示すのかまで、機構のレベルで掘り下げます。ブラックボックスになりがちなモデルの判断に、どうやって理由の光をあてるのか、という話です。

この記事は、ある程度の知識のある人に向けた深掘りです。対象レッスンで、これらの手法の名前と、説明可能 AI やブラックボックスという言葉に触れていることを前提にします。実装のコードは扱いません。それぞれの手法が、何を「効いた根拠」と呼んでいるのか、その考え方の違いに絞ります。

1. どの特徴が効いたか：3つの考え方

表やデータで判断するモデルでは、「どの特徴が、この判断をどれだけ後押ししたか」を示せると、理由が見えてきます。この、特徴ごとの効き具合を示す考え方に、代表的な3つの筋があります。

1つ目は、周りを単純なモデルで真似る筋です。代表が LIME（ライム）です。LIME の考え方は、知りたい1件の判断の、すぐ近くだけに注目します。その1件の周りで、入力を少しずつ変えて、モデルの答えがどう動くかを調べ、その動きを単純で分かりやすいモデルで真似ます。複雑なモデル全体を理解するのはあきらめ、注目する1点の近くだけなら、単純なモデルでうまく近似できる、という割り切りです。そうしてできた単純なモデルを見れば、その1件で、どの特徴が答えを押し上げ、どの特徴が押し下げたかが読み取れます。

2つ目は、貢献を公平に配る筋です。代表が SHAP（シャップ）です。SHAP の考え方は、ある判断の結果を各特徴の貢献ぶんに、公平に配り分けることです。この「公平に配る」には、もともと、複数の人で協力して得た成果を各人の貢献に応じて公平に分ける、という数学の考え方が使われています。ある特徴が、あるときは効き、あるときは効かない、といった組み合わせの効き方まで踏まえて、それぞれの特徴の貢献ぶんを筋の通った形で割り出します。そのぶん計算は重くなりますが、配り方に一貫した理屈があるのが強みです。

3つ目は、壊して効き目を測る筋です。代表が Permutation Importance（パーミュテーション・インポータンス）です。考え方は、素朴で分かりやすいものです。ある特徴の値をわざとぐちゃぐちゃに混ぜて、その特徴を使いものにならなくします。そのうえで、モデルの性能がどれだけ落ちるかを見ます。大きく落ちれば、その特徴は判断に効いていた。ほとんど落ちなければ、あまり効いていなかった。壊してみて、困り具合で重要さを測る、というわけです。

理解の確認

特徴の効き具合を示す筋には3つあります。LIME は、知りたい1件の近くだけを単純なモデルで真似て読み取ります。SHAP は、結果を各特徴の貢献に、公平な配り方の理屈で割り振ります。Permutation Importance は、ある特徴を壊して性能がどれだけ落ちるかで重要さを測ります。

2. 画像のどこを見たか：CAM と Grad-CAM

画像を判断するモデルでは、「特徴の効き具合」よりも、「画像のどこを見て判断したか」を示せると、理由が直感的に分かります。この筋の代表が、CAM（キャム）と Grad-CAM（グラッドキャム）です。

CAM は、画像認識のモデルが、判断の手がかりにした場所を地図のように示す手法です。画像のどのあたりが、その判断を強く後押ししたかを明るさの濃淡で描き出します。犬と判断したなら、画像のどこを見て「犬」と思ったのかが、色の濃い部分として浮かび上がります。ただし、もとの CAM は、モデルの終わりのほうの作りに、ある条件を課す必要がありました。

その条件をゆるめ、より幅広いモデルに使えるようにしたのが、Grad-CAM です。Grad-CAM は、誤差逆伝播法のレッスンで学んだ勾配を手がかりに使います。ある判断に対して、画像のどの部分の特徴が、その判断を強めるように効いていたかを勾配から測り、効いていた場所を地図にします。仕組みは少し違いますが、ねらいは CAM と同じで、判断の手がかりになった画像の場所を目に見える形で示すことです。こうした、注目の場所を示す図は、モデルが、本当に見るべきところを見ているか、それとも見当違いのところを手がかりにしていないかを確かめるのに役立ちます。

理解の確認

CAM は、画像認識モデルが判断の手がかりにした場所を明るさの濃淡で地図のように示します。Grad-CAM は、勾配を手がかりに使うことで、その条件をゆるめ、より幅広いモデルに使えるようにしたものです。どちらも、判断の手がかりになった画像の場所を目に見える形で示し、モデルが見るべきところを見ているかの確認に役立ちます。

3. 説明を鵜呑みにできない理由

説明可能 AI は、ブラックボックスに光をあてる強力な道具です。しかし、その説明をそのまま信じ切るのは危ういことも、あわせて押さえておきます。

まず、多くの説明は、後づけの近似だ、という点です。LIME が近くを単純なモデルで真似るように、これらの手法は、複雑なモデルの判断を分かりやすい形に要約して見せています。要約である以上、実際の判断の理由と、ぴったり一致するとはかぎりません。分かりやすさと引きかえに、細かいところを丸めているのです。手法が違えば、示される「効いた特徴」が食い違うことも起こります。

次に、説明が、もっともらしく見えることそのものが、落とし穴になりえます。示された理由が、人間から見て納得しやすいと、つい正しいと思い込みます。しかし、納得しやすいことと、本当にモデルがそう判断したことは、別です。説明が、実際の理由ではなく、人が受け入れやすい物語になっている恐れもあります。

だから、説明可能 AI の結果は、判断の理由を知る手がかりとしては、たいへん役に立つ一方で、それだけを最終的な根拠にはできません。複数の手法を見比べる、専門家の知見と突き合わせる、といった慎重さが要ります。ここでは、説明はあくまで後づけの近似であり、もっともらしさに引きずられず、手がかりとして慎重に使う、と押さえてください。

理解度の確認