ブラックボックス

ブラックボックスとは

NIST(米国国立標準技術研究所)が2023年1月に公表したAIリスクマネジメントフレームワーク(NIST AI RMF 1.0)の公式日本語訳は、3.5 説明可能性と解釈可能性の前段で、AIについて次のように記しています。

> AIシステムの不透明な性質(説明可能性や解釈可能性の制限)

この記述は、AIシステムには不透明な面があり、それが説明可能性や解釈可能性の制限として表れる、という見方を示しています。不透明とは、中が見通せないことです。この表現から、ブラックボックスは次のような状態を指すと理解できます。

• AIシステムの内部でどのように判断が行われているかを、外から見て理解することが難しい
• 入力と出力は分かっても、その間でどのような理由づけがされたのかが見えない

つまり、ブラックボックスとは、AIシステムが判断の根拠を人に示せないまま使われている状態のことです。なお、ブラックボックスという語は、G検定のシラバス2024に対象キーワードとして掲載されています。

リスク認識との関わり

NIST AI RMF 1.0 は、同じ箇所で次のような仮定を示しています。

> 基本的な前提は、否定的なリスクの認識は、システムの出力を適切に理解したり、コンテクスト化したりする能力の欠如に起因するという仮定です

ここでいうコンテクスト化とは、出力を、それが使われる場面や状況に照らして位置づけることです。この記述によれば、AIシステムを否定的なリスクとして受け止める見方は、利用者がシステムの出力を適切に理解できないこと、また場面に照らして位置づけられないことから生じる、と仮定されています。

ブラックボックスの状態では、AIシステムがなぜその出力を出したのかが分かりません。そのため、出力を理解したり、場面に照らして位置づけたりすることが難しくなります。このように、判断の根拠が分からない状態は、AIシステムに対するリスクの受け止め方にも関わりうるものです。

示せないままか示せるかという違い(説明可能性との対比)

ブラックボックスと対になる概念に、説明可能性があります。説明可能性とは、AIシステムの判断の根拠を人に示せる性質のことです。たとえば、ある判断について、どの入力がどのように効いてその結果になったのかを人が確かめられるなら、そのAIシステムは説明可能性を備えていると言えます。

両者の違いは、判断の根拠を人に示せないままか、示せるかという点にあります。

NIST AI RMF 1.0 が不透明な性質を説明可能性や解釈可能性の制限と言い表しているのも、この対比に沿って読むことができます。説明可能性が制限されているほど、AIシステムはブラックボックスに近い状態になります。

AIとの関わり

複雑なAIモデル、特に深層学習を用いたモデルは、多くの層と大量のパラメータで構成されます。そのため、内部の処理が人にとって理解しにくく、ブラックボックスと呼ばれる状態になりやすいと言われることがあります。ただし、どの程度ブラックボックスになるかは、モデルの種類や使い方、判断の根拠を示す手立てがあるかによって変わりうるため、一概には言えません。

判断の根拠が分からないまま使われる状態は、前節で見たように、AIシステムに対するリスクの受け止め方にも関わりえます。ブラックボックスは、AIの透明性を考えるうえでの出発点となる語です。