データリーケージ

何が入り込むのか

目的変数(target)とは、モデルに予測させたい値や結果のことです。データマイニングとは、蓄積されたデータから役に立つ規則や傾向を見つけ出す取り組みのことです。Kaufman、Rosset、Perlich の論文(KDD'11、2011年)は、データリーケージを、データマイニングの目的変数についての情報のうち、本来は学習に使えてはいけないものが入り込むことだと定義しています。論文はこれを「データマイニングの過ちの上位10個の1つ」とされるものとして扱っています。

自明な例として論文が挙げるのは、目的変数そのものを入力に使うモデルです。このようなモデルは、たとえば「雨の日には雨が降る」と結論してしまいます。

なぜ気づきにくいのか

論文によれば、実際のリーケージは意図せずに起こり、データの収集、集約、準備の過程がその混入を助長します。上の例のように目的変数そのものが入っていれば分かりやすいのですが、実際にはたいてい微妙で間接的な形で入り込むため、見つけて取り除くのが非常に難しいとされます。論文は、INFORMS 2010 Data Mining Challenge などのデータマイニングの大会でもリーケージが問題になったと述べています。

リーケージがもたらす害

リーケージが望ましくないのは、モデルを作る人が最適でない解を学んでしまうことがあるからです。そうした解は、リーケージの無いデータで作れたはずのモデルに、実際の運用で負けることになります。そして少なくとも、リーケージはモデルの性能を過大に見積もらせます。

避け方と見つけ方

論文の要旨は、リーケージはデータの管理への簡単な方法と、learn-predict separation(学習と予測の分離)と呼ぶ考え方によって避けられるとしています。また、データの集め方を自分で決められない場合に備えて、リーケージを検出する方法もいくつか示すとしています。

なお、ここで紹介した定義はデータマイニングの文脈で述べられたものです。機械学習で学習データにテストデータが混ざるといった具体的な混入の姿は、この根拠には含まれていません。