説明可能 AI

説明可能AIとは

説明可能AI(Explainable AI、略してXAI)は、AIシステムが自律的に下した判断や行動について、なぜそうしたのかを人間のユーザーへ説明できるようにすることを目指す取り組みです。

ガニング(Gunning)らは2019年の論文で、近年の機械学習の成功によって多くの分野にAIの応用が広がった一方、その多くのシステムは自らの自律的な判断や行動を人間のユーザーへ説明できない、と指摘しています。

なぜ説明が必要とされるのか

ガニングらは、すべてのAI応用で説明が必須だとは述べていません。応用によっては説明が不可欠ではないこともあり、AI研究者の中には、説明を重視するのは的外れである、実現が難しすぎる、そもそも不要かもしれない、と主張する人もいると紹介しています。

そのうえで、防衛・医療・金融・法律のような重要な応用分野では、ユーザーがAIを理解し、信頼し、効果的に管理するために説明が不可欠だ、という立場をとっています。論文では、こうしたAIを人間と一緒に働く新しいパートナーとして捉え、そのパートナーを使いこなすために説明が要る、という位置づけになっています。

性能と説明しやすさのトレードオフ

説明可能AIが課題になる背景には、予測性能と説明可能性がぶつかりやすいという傾向があります。

ガニングらによると、近年のAIの成功は主に、内部の表現の中にモデルを組み立てる新しい機械学習の手法によるものです。例として次のような手法が挙げられています。

• サポートベクターマシン(SVM)
• ランダムフォレスト
• 確率的グラフィカルモデル
• 強化学習
• 深層学習のニューラルネットワーク

これらは高い性能を示す一方で、説明可能性という点では不透明です。論文は、機械学習の性能(たとえば予測の精度)と説明可能性の間には本質的な対立があるかもしれない、と述べています。そして多くの場合、最も性能の高い手法(深層学習など)が最も説明しにくく、最も説明しやすい手法(決定木など)が最も精度が低い、という傾向を示しています。

ここで注意したいのは、論文の表現が、対立があるかもしれない、多くの場合そうなる、という傾向の形になっている点です。性能と説明可能性が必ず反比例するという法則として述べられているわけではありません。

解釈性と説明可能性の関係

説明可能AIとよく一緒に出てくる語に、解釈性(解釈可能性、interpretability)があります。G検定の中項目の名前も、モデルの解釈性です。

ドシ-ヴェレズ(Doshi-Velez)とキム(Kim)は2017年の論文で、解釈するとは説明すること、または理解できる言葉で提示することだ、と述べています。そのうえで、機械学習システムの文脈では、解釈可能性を、人間に理解できる言葉で説明または提示する能力と定義しています。

この定義では、解釈可能性の中に説明するという行為そのものが含まれています。そのため2つの語はとても近い関係にあります。このページでは、モデルの解釈性を人間に理解できる形で説明・提示できる性質と捉え、説明可能AIはその性質をAIシステムで実現しようとする取り組みだと整理しておきます。

説明とは何かはまだ定まっていない

説明可能AIには、根本的な課題も残っています。ドシ-ヴェレズとキムは、説明の正式な定義はいまだにはっきりしない、と述べています。

2人は心理学の分野の研究として、ロンブローゾ(Lombrozo)の、説明は私たちが信念をやり取りするための通貨である、という言葉を引いています。そして、何が説明を構成するのか、ある説明が別の説明より良いのはなぜか、説明はどのように生み出されるのか、人はいつ説明を求めるのか、といった問いには、まだ取り組みが始まったばかりだと紹介しています。

つまり、AIに説明をさせようとする以前に、良い説明とは何かという問い自体に、まだ答えが出そろっていないということです。

まとめ

• 説明可能AIは、AIが下した判断や行動の理由を人間のユーザーへ説明できるようにする取り組みです
• 防衛・医療・金融・法律のような重要な分野では、ユーザーの理解・信頼・効果的な管理のために説明が不可欠だと位置づけられています
• 高性能な手法ほど不透明になりやすく、説明しやすい手法ほど精度が低くなりやすい、という傾向が指摘されています
• 解釈可能性は、人間に理解できる言葉で説明または提示する能力と定義されており、説明可能性と非常に近い概念です
• 説明の正式な定義そのものは、まだ定まっていません