データの偏り

NIST SP 1270における制度的バイアスの説明

米国国立標準技術研究所(NIST)が2022年3月に公表したSpecial Publication 1270 Towards a Standard for Identifying and Managing Bias in Artificial Intelligenceは、2.1.2 Categories of AI biasの節で、AIに関わるバイアスの分類の一つとして制度的バイアス(Systemic bias)を説明しています。原文は次のとおりです。

> Systemic biases result from procedures and practices of particular institutions that operate in ways which result in certain social groups being advantaged or favored and others being disadvantaged or devalued. This need not be the result of any conscious prejudice or discrimination but rather of the majority following existing rules or norms.

原文では、この後に一部の記述を挟んで、次の一文が続きます。

> These biases are present in the datasets used in AI, and the institutional norms, practices, and processes across the AI lifecycle and in broader culture and society.

執筆者による参考訳は次のとおりです。

> 制度的バイアス(Systemic bias)は、特定の制度の手続きや慣行に由来し、特定の社会集団が優遇され、他の集団が不利益を受ける結果をもたらす。これは意識的な偏見や差別の結果である必要はなく、多くの場合、既存の規則や規範に多数派が従った結果である。

> こうしたバイアスは、AIで使われるデータセットや、AIのライフサイクル全体にわたる制度的な規範・慣行・過程、さらに広い文化・社会の中に存在する。

この定義から、制度的バイアスについて次の3点を読み取ることができます。

• 由来: 特定の制度の手続き(procedures)や慣行(practices)から生じる。その結果として、ある社会集団が優遇され、別の社会集団が不利益を受ける
• 意図の有無: 意識的な偏見や差別の結果である必要はない。既存の規則や規範に多数派が従うことで生じうる
• 存在する場所: AIで使われるデータセット、AIのライフサイクル全体にわたる制度的な規範・慣行・過程、さらに広い文化や社会の中に存在する

特に2点目が重要です。誰かが差別しようと意図していなくても、これまでの決まりや慣習に沿って物事が進められた結果として偏りが生まれる、という捉え方をしています。

学習データへの現れ方

NIST SP 1270は、制度的バイアスがAIで使われるデータセットの中に存在すると述べています。データは、社会の中で実際に行われてきた手続きや判断、人々の活動を記録したものであることが多いため、制度的な慣行や社会の構造がすでに偏っていれば、その偏りがデータにも写り込むと考えられます。

本ページでは、データの偏りを次のような状態として理解します。

• 集団の含まれ方の偏り: 学習データの中に、特定の社会集団が実際よりも少なく(過小に)、または多く(過大に)含まれている状態
• 慣行の写り込み: 既存の制度的な慣行によって、ある集団が優遇され別の集団が不利益を受けてきた経緯が、データの中の記録としてそのまま残っている状態

こうしたデータで学習したAIは、データに含まれる傾向を手がかりに予測や判断を行うため、データに写り込んだ偏りを引き継いでしまう可能性がある、というのが一般的な理解です。説明のための仮の例を挙げると、過去の審査の記録を学習データとして使う場合、その審査がこれまでの慣行の中で特定の集団に不利に働いていたなら、AIもその傾向を学んでしまうおそれがあります。この場合、データを作った人やAIを開発した人に差別の意図がなくても偏りは生じうる、という点が、NIST SP 1270の制度的バイアスの説明と重なります。

AI事業者ガイドラインにおける位置づけ

日本では、総務省と経済産業省がAI事業者ガイドラインを公表しています。第1.1版(令和7年3月28日)の本編は、3)公平性の中の①AIモデルの各構成技術に含まれるバイアスへの配慮で、次のように述べています。

> バイアスを生み出す要因は多岐に渡るため、各技術要素(学習データ、AIモデルの学習過程、AI利用者又は業務外利用者が入力するプロンプト、AIモデルの推論時に参照する情報、連携する外部サービス等)及びAI利用者の振る舞いを含めて、公平性の問題となりうるバイアスの要因となるポイントを特定する

この記述では、バイアスの要因となりうる技術要素の最初に学習データが挙げられています。あわせて、AIモデルの学習過程、プロンプト、推論時に参照する情報、連携する外部サービス、AI利用者の振る舞いも列挙されています。つまりこのガイドラインは、バイアスの要因を学習データだけに限らず幅広く捉えたうえで、公平性の問題となりうるポイントを特定することを求めています。データの偏りは、その中の学習データという要素に関わる論点として位置づけることができます。

なお、G検定のシラバス2024には、データの偏りが対象のキーワードとして掲載されています。

AIとの関わり

データの偏りは、AIの出力が特定の集団に対して不公平な結果をもたらす一因になりうると考えられています。NIST SP 1270が示すように、制度的バイアスは意識的な偏見がなくても生じ、AIで使われるデータセットの中にも存在しうるため、偏りに気づかないまま学習データとして使ってしまうことが起こりえます。

そのため、学習データを準備する段階で、どのような集団がどの程度含まれているか、データのもとになった手続きや慣行にどのような偏りがありうるかに目を向けることが求められます。また、AI事業者ガイドラインが学習データ以外の要素も挙げているように、データへの配慮はバイアスへの対応の一部であり、AIのライフサイクル全体を通じて公平性の問題となりうるポイントを確認していくことが大切だと考えられます。