LIME

LIMEが生まれた背景

機械学習モデルは広く使われるようになりましたが、その多くはブラックボックスのままです。ブラックボックスとは、入力に対して出力は返ってくるものの、内部でどのような理由からその出力が出たのかを人間が読み取れない状態を指します。

LIMEを提案したリベイロ(Ribeiro)、シン(Singh)、ゲストリン(Guestrin)の論文 "Why Should I Trust You?": Explaining the Predictions of Any Classifier(KDD 2016)は、この状態を問題として取り上げました。論文によれば、予測の背後にある理由を理解することは、その予測を信頼できるかどうかを評価するうえで重要です。そしてこの信頼の評価は、予測に基づいて何か行動を起こそうとするときや、新しいモデルを実際に運用へ導入するかどうかを決めるときに欠かせません。さらに、予測の理由が分かればモデルそのものについての手がかりも得られ、信頼できないモデルや予測を信頼できるものへ作り変えることにも役立つ、と論文は述べています。

LIMEの中心的な発想

LIMEは、ある1件の予測を説明するために、その予測対象のインスタンス(個々のデータ1件のこと)の周辺だけに注目します。そして、その周辺の範囲に限って、元のモデルの振る舞いを解釈しやすい単純なモデルで近似し、その単純なモデルを説明として示します。論文では、解釈しやすいモデルの例として線形モデルが使われています。

つまり、元のモデル全体を丸ごと単純なモデルに置き換えようとするのではありません。複雑なモデルであっても、ある1点のすぐ近くだけを見れば単純なモデルでおおむね表せる、という考え方に立って、その1件の予測に関する説明を作ります。

LIMEは、予測の周辺だけを局所的に近似して説明するというアプローチを取る手法の1つです。

どんな分類器にも使える汎用性

論文はLIMEを、あらゆる分類器の予測を、解釈可能で、かつ忠実な方法で説明する手法として提案しています。説明の対象となるモデルの内部構造に依存しないため、モデルの種類を選びません。

論文では、この柔軟性を示す例として、テキストを分類するランダムフォレストの予測の説明と、画像を分類するニューラルネットワークの予測の説明の両方を扱っています。

局所忠実性という基準

LIMEを理解するうえで欠かせないのが、局所忠実性という考え方です。忠実性とは、説明が元のモデルの実際の振る舞いにどれだけ対応しているかを指します。局所忠実性とは、説明が少なくとも予測対象のインスタンスの近くにおいて、モデルがどのように振る舞うかに対応していることを意味します。

論文は次のように整理しています。

• 説明がモデルに完全に忠実であるためには、その説明がモデルそのものの完全な記述になってしまうことが多く、それは多くの場合不可能です
• それでも、説明が意味を持つためには、少なくとも局所的には忠実でなければなりません

ここで注意すべき点として、局所忠実性はモデル全体に対する忠実性(大域的な忠実性)を意味しません。論文は、モデル全体で見て重要な特徴が、ある予測の周辺という局所的な文脈では重要でないことがあり、その逆もあると指摘しています。LIMEの説明は、あくまでその1件の予測の周辺についての説明であり、モデル全体の傾向をそのまま表すものではない、と理解しておくことが大切です。

説明を作るときのバランス

論文では、説明を作る枠組みを次の要素で表しています。

• 説明の対象となる元のモデル
• 説明として使う、解釈しやすい単純なモデル
• 近さの指標: 予測対象のインスタンスと、別のインスタンスとがどれだけ近いかを測るもので、予測対象の周辺という局所性の範囲を決めます
• 忠実でなさの尺度: 近さの指標で決めた局所性の範囲の中で、単純なモデルが元のモデルをどれだけ忠実に近似できていないかを測るものです

LIMEは、この忠実でなさの尺度をできるだけ小さくすることを目指します。ただし同時に、説明に使う単純なモデルの複雑さを、人間が解釈できる程度に低く抑えておく必要があります。単純なモデルを複雑にすれば元のモデルへの近似は良くなるかもしれませんが、今度は人間が読み取れなくなり、説明としての役目を果たせません。

このように、解釈のしやすさと局所忠実性の両方を確保するためにバランスを取るのが、LIMEの枠組みの要点です。論文は、LIMEが示す説明を、近さの指標で捉えた局所性の範囲において局所的に忠実な説明(この例では線形の説明)だと述べています。

G検定の中での位置づけ

G検定シラバス2024では、LIMEは中項目モデルの解釈性と軽量化の対象キーワードとして挙げられています。ブラックボックスになりがちなモデルの予測を、人間が理解できる形で説明するための手法の1つとして押さえておきましょう。