アルゴリズムバイアス

アルゴリズムバイアスとは

アルゴリズムバイアスは、モデルの学習過程や、アルゴリズムの設計・処理の段階で生じる偏りを指します。

AIの偏りというと、学習に使ったデータが偏っていたことを思い浮かべがちです。しかし偏りの原因はデータだけではありません。たとえ集めたデータそのものが公平であっても、次のような処理の段階で偏りが入り込むことがあります。

• 学習アルゴリズムの設計(どのような目的で、どのような形のモデルを学習させるか)
• 学習のさせ方(モデルがデータに合わせすぎる、または合わせきれない)
• データの前処理(外れ値をどう扱うか、欠けた値をどう埋めるか)
• 特徴量の使い方(ある属性を直接使わなくても、別の特徴量を通じて間接的に取り込んでしまう)

このページでは、アルゴリズムバイアスを、データの側ではなく処理の側に由来するバイアスとして位置づけて説明します。

NIST SP 1270における位置づけ: 統計的・計算論的バイアス

米国国立標準技術研究所(NIST)は、2022年3月に公表した文書NIST Special Publication 1270 Towards a Standard for Identifying and Managing Bias in Artificial Intelligenceの2.1.2節で、AIのバイアスをいくつかのカテゴリに分けています。そのひとつが統計的・計算論的バイアス(Statistical and Computational bias)です。原文は次のとおりです。

> Statistical and computational biases stem from errors that result when the sample is not representative of the population. These biases arise from systematic as opposed to random error and can occur in the absence of prejudice, partiality, or discriminatory intent. In AI systems, these biases are present in the datasets and algorithmic processes used in the development of AI applications

(中略)

> The error may be due to heterogeneous data, representation of complex data in simpler mathematical representations, wrong data, and algorithmic biases such as over- and under-fitting, the treatment of outliers, and data cleaning and imputation factors.

参考訳(執筆者による): 統計的・計算論的バイアスは、標本が母集団を代表していないことから生じる誤りに由来する。これらのバイアスは、ランダムな誤差ではなく系統的な誤差から生じ、偏見や差別的な意図が無くても発生しうる。AIシステムでは、これらのバイアスはAIアプリケーション開発で使われるデータセットとアルゴリズムの処理過程に存在する。(中略)誤りは、不均一なデータ、複雑なデータをより単純な数学的表現で表すこと、誤ったデータ、そして過学習や未学習、外れ値の扱い、データのクリーニングや補完といったアルゴリズム的な要因に由来することがある。

この定義から、次の2点が読み取れます。

1. NISTはこのカテゴリのバイアスが、データセットだけでなくアルゴリズムの処理過程(algorithmic processes)にも存在すると述べています。
2. アルゴリズム的な要因(algorithmic biases)の例として、次のものを挙げています。

• 過学習(over-fitting): 学習データに合わせすぎて、一般的な傾向でない特徴まで学んでしまうこと
• 未学習(under-fitting): モデルが単純すぎるなどの理由で、データの傾向を捉えきれないこと
• 外れ値の扱い(the treatment of outliers)
• データのクリーニングや補完(data cleaning and imputation)

また、複雑なデータを単純な数学的表現で表すことも誤りの要因として挙げられています。さらに、これらのバイアスは偏見や差別的な意図が無くても発生しうるとされています。つまり、作り手に悪意が無くても、処理の仕方そのものから偏りが生まれうるということです。

なお、NISTのこのカテゴリはデータ由来の偏りと処理由来の偏りの両方を含む広い枠組みです。アルゴリズムバイアスは、このうち処理の側の要因に注目した呼び方として理解すると整理しやすくなります。

特徴量を通じた間接的な取り込みの例

処理由来の偏りの代表的な例が、特徴量を通じた間接的な取り込みです。機械学習の公平性の教科書として知られるBarocas, Hardt, NarayananのFairness and Machine Learning(fairmlbook.org)は、第3章のFairness through unawarenessの節で次のように述べています。

> Several features that are slightly predictive of the sensitive attribute can be used to build high accuracy classifiers for that attribute. In large feature spaces sensitive attributes are generally redundant given the other features. If a classifier trained on the original data uses the sensitive attribute and we remove the attribute, the classifier will then find a redundant encoding in terms of the other features. This results in an essentially equivalent classifier, in the sense of implementing the same function.

参考訳(執筆者による): センシティブ属性をわずかに予測する特徴量が複数あれば、その属性を高精度に予測する分類器を作ることができる。特徴量の空間が大きい場合、センシティブ属性は他の特徴量によって一般に冗長になる(他の特徴量から再構成できてしまう)。元のデータでセンシティブ属性を使って学習した分類器から、その属性を取り除いても、分類器は他の特徴量による冗長な符号化を見つけ出してしまう。これにより、同じ働きをするという意味で、実質的に同等な分類器が出来上がってしまう。

センシティブ属性とは、性別や人種のように、それを使って判断すると差別につながるおそれのある属性のことです。節の名前にあるFairness through unawarenessは、そうした属性をモデルに見せなければ公平になる、という考え方を指します。

上の引用は、この考え方だけでは足りないことを示しています。流れを整理すると次のようになります。

1. 1つ1つはセンシティブ属性をわずかにしか予測しない特徴量でも、複数を組み合わせると、その属性を高い精度で推測できる。
2. 特徴量が多い場合、センシティブ属性の情報は他の特徴量の中に重複して含まれている(冗長になっている)。
3. そのため、センシティブ属性を入力から取り除いても、モデルは他の特徴量の組み合わせから同じ情報を読み取る。fairmlbookはこれを冗長な符号化(redundant encoding)と呼んでいる。
4. 結果として、属性を取り除く前と実質的に同じ働きをする分類器ができてしまう。

このように、センシティブ属性の代わりに働いてしまう特徴量は、一般に代理変数(プロキシ)と呼ばれます。ここで大切なのは、偏りがデータの集め方ではなく、モデルが特徴量をどう使うかという処理の段階で入り込んでいる点です。属性の列を消すという前処理をしても、学習の過程で偏りが残りうるということです。

データ由来かどうかという違い

アルゴリズムバイアスと対になる語に、サンプリングバイアスがあります。

サンプリングバイアスは、データが集められる段階で、母集団(本来対象としたい集団全体)を代表しないデータが集まってしまうことで生じる偏りです。たとえば、ある集団のデータだけが多く集まり、別の集団のデータがほとんど集まらなかった場合、そのデータで学習したモデルは偏った判断をしやすくなります。偏りの原因は、データの由来、つまり集め方にあります。

これに対して、アルゴリズムバイアスは、集めたデータをどう処理し、どう学習させるかという段階に原因があります。両者の違いを整理すると次のようになります。

ただし、実際のAIシステムでは、両方の偏りが同時に存在することもあります。先に見たNIST SP 1270の統計的・計算論的バイアスも、データセットとアルゴリズムの処理過程の両方にまたがるものとして説明されています。2つの語は、偏りの原因をどこに求めるかによって区別する見方だと考えると理解しやすいでしょう。

AIとの関わり

日本の公式文書でも、NIST SP 1270の分類は参照されています。総務省・経済産業省のAI事業者ガイドライン(第1.1版、令和7年3月28日)は脚注26で、バイアスという言葉にはさまざまな解釈が考えられるとしたうえで、NISTのSP 1270では、AIにおいてSystemic、Statistical and Computational(統計的・計数的なもの)、Humanという3つのカテゴリと、それぞれに属する典型的なバイアスがあると説明されている、と紹介しています。このガイドラインでは、Statistical and Computationalの訳語として統計的・計数的なものという表現が使われています。

これまで見てきたように、偏りはデータの集め方だけから生じるわけではありません。公平なデータを使ったとしても、モデルの設計、学習のさせ方、前処理、特徴量の使い方によって偏りが生じうるため、データの点検に加えて、学習過程やアルゴリズムそのものへの配慮も必要とされます。たとえば、センシティブ属性を入力から取り除くだけでは偏りを防げない場合があることは、fairmlbookの冗長な符号化の議論が示すとおりです。

どのような対策が適切かは、AIの用途や扱うデータによって異なります。アルゴリズムバイアスという語は、偏りの原因をデータの側だけでなく処理の側にも探す、という視点を持つための言葉として押さえておくとよいでしょう。