説明可能性

説明可能性とは(NIST AI RMF)

説明可能性は、AIシステムがどのような仕組みで判断を出しているかを、人に示せる性質を指す言葉です。G検定のシラバス2024でも、対象のキーワードとして掲載されています。

米国国立標準技術研究所(NIST)が2023年1月に公表したAIリスクマネジメントフレームワーク(NIST AI RMF 1.0)は、3.5 説明可能性と解釈可能性の節で、この語を次のように定めています(公式日本語訳)。

> 説明可能性とは、AIシステムの動作の基礎となるメカニズムの表現であり、解釈可能性とは、設計された機能目的のコンテクストにおけるAIシステムの出力の意味を指します。

この定義では、よく似た2つの語が区別されています。

• 説明可能性: AIシステムの動作の基礎となるメカニズムの表現。システムがどのように動いているかに関わります
• 解釈可能性: 設計された機能目的のコンテクストにおける、AIシステムの出力の意味。出てきた結果がその用途において何を意味するかに関わります

区別されている一方で、NIST AI RMFは両者を組み合わせて扱っています。同じ節は続けて、説明可能性と解釈可能性はともに、AIシステムを運用またはオーバーサイトする人々やAIシステムの使用者が、出力を含むシステムの機能性とトラストワージネス(信頼に値すること)についてより深い洞察を得るのに役立つ、と述べています。仕組みの表現と出力の意味の両方がそろうことで、人はそのシステムを理解しやすくなる、という関係です。

制度としての説明責任という視点

NIST AI RMFの同じ節には、説明可能なシステムがもたらす利点についての記述もあります。

> 説明可能なシステムは、デバッグやモニタリングがより容易になり、より徹底した文書化、監査、ガバナンスに適しています

この一文に挙がっている語は、デバッグ、モニタリング、文書化、監査、ガバナンスです。どれも、特定のアルゴリズムの名前ではありません。AIシステムを作り、提供し、使い続ける組織が、そのシステムを管理し、外部から点検できる状態に保つための営みです。

このページでは、説明可能性をこの制度の枠から捉えます。つまり、AI開発者・提供者が、自分たちのシステムがなぜその判断をしたのかを利用者や監査する人に示せるようにしておく、という説明責任に関わるガバナンス上の要請として位置づけます。なお、NIST AI RMFの上の引用そのものは説明責任という語を使っていません。説明責任として捉えるのは、文書化・監査・ガバナンスに適するという記述を踏まえたこのページの見方です。

判断の根拠を目に見える形にするための具体的な技術手法は、第6章の説明可能AIで扱われる範囲です。このページではそれらの手法の中身には立ち入りません。具体的な技術手法については、説明可能AIを参照してください。

示せるか示せないままかという違い(ブラックボックスとの対比)

説明可能性と対になる語に、ブラックボックスがあります。このページで必要な範囲で簡潔に説明すると、ブラックボックスは、AIシステムの判断の根拠を人に示せないまま使われている状態を指します。入力と出力は見えても、その間で何が起きて結論に至ったのかを人が確かめられない、という状態です。

2つの語の違いは、判断の根拠を示せるか、示せないままかという点にあります。

説明可能性は、システムが備えるべき性質として語られます。ブラックボックスは、その性質が欠けたまま使われている状態を表す言葉として整理できます。

AIとの関わり

AIシステムは、仕組みが複雑になるほど、ある判断がどのような根拠で出されたのかを人に示すことが難しくなる場合があります。そのため、AIを社会の中で使う場面では、説明可能性をどう確保するかがガバナンス上の課題として意識されることがあります。

NIST AI RMFが、説明可能性と解釈可能性を、システムの機能性とトラストワージネスへの洞察を助けるものとして位置づけているのも、こうした文脈の中に置くことができます。第10章10-5の透明性と民主主義への影響の中でこの語を学ぶときは、特定の技術手法の話としてではなく、AIを作り提供する側が判断の根拠を示せるようにしておく、という説明責任の視点で押さえておくと整理しやすくなります。