外れ値

外れ値とは

外れ値(Outlier)とは、データの残りの部分と比べて極端に見える観測値のことです。多くの値がある範囲にまとまっている中で、ひとつだけ大きく離れた値があれば、その値が外れ値の候補になります。

ただし、どこから先を極端とみなすかは見る人によって変わりがちです。そこで、共通の目安を使って判定する方法が考えられてきました。代表的なのが、箱ひげ図と四分位範囲を使う方法です。

判定に使う2つの道具

四分位範囲(IQR)

四分位範囲(IQR、Interquartile Range)は、データを小さい順に並べたときに、真ん中の50%の値が収まる幅のことです。下から4分の1の位置にある値と、下から4分の3の位置にある値の差として求めます。データの両端にある極端な値の影響を受けにくいので、ばらつきの目安として使いやすいという特徴があります。

箱ひげ図

箱ひげ図は、データの分布を箱と線(ひげ)で表す図です。箱はデータの真ん中の50%、つまり四分位範囲の区間を表します。ひげは箱の両側から伸びる線で、箱の外にあるデータを表します。

箱ひげ図での判定方法

OpenIntro Statistics(オープンイントロ統計学)では、箱ひげ図のひげについて次の規則を説明しています。

• ひげは箱の外側にあるデータを捉えようとして伸びる
• ただし、ひげが届く長さは四分位範囲の1.5倍までで、それを超えては伸ばさない
• この範囲の中にあるデータは、すべてひげが捉える

ひげの先より外にある観測値には、1つずつ点で印を付けます。ひげを最小値や最大値まで伸ばすのではなく、わざわざ点で示すのは、残りのデータから異常に離れて見える観測値を見つけやすくするためです。このように異常に離れた観測値を外れ値と呼びます。

つまり、箱の端から四分位範囲の1.5倍より外にある値が点で示され、外れ値の候補として目に留まる仕組みです。

具体例: メールの文字数

OpenIntro Statisticsでは、50件のメールの文字数を箱ひげ図にした例を扱っています。この例では、文字数が41,623、42,793、64,401の3件が、ひげの外に点として示されます。

この3件は、大半のデータから数値の上で大きく離れています。そのため、外れ値に分類するのが妥当だと説明されています。外れ値かどうかは、データ全体の中でその値がどれだけ離れているかで判断するという考え方がよく分かる例です。

1.5倍という基準の出どころ

四分位範囲の1.5倍という基準は、テューキー(Tukey)が1977年の著書Exploratory Data Analysis(探索的データ解析)で示したものとされています。OpenIntro Statisticsは、この基準の原典としてこの本を参照しています。

この本は、四分位範囲の1.5倍を内側の柵(inner fence)、3.0倍を外側の柵(outer fence)として外れ値を判定する基準を最初に示した書物と位置づけられています。なお、このページはテューキーの原文を直接読んで書いたものではありません。柵の細かな使い分けについては、OpenIntro Statisticsが参照している基準として紹介するにとどめます。

外れ値を調べる3つの目的

OpenIntro Statisticsは、外れ値の候補を調べることには多くの役に立つ目的があるとして、次の3つを挙げています。

1. 分布の強い歪みを見つける。値が一方向に大きく伸びた分布では、その方向に外れ値が集まりやすくなります。
2. データの収集や入力の誤りを見つける。メールの例では、64,401文字とされたメールを見直し、その値が正確かどうかを確かめています。
3. データの興味深い性質を知る手がかりを得る。極端な値の背景を調べることで、平均やまとまりを見るだけでは気づかない特徴が見えることがあります。

2つ目と3つ目の目的からも分かるように、外れ値は誤りと決まったわけではありません。外れ値が見つかったら、まずその値が正しいかを確かめ、正しい値であればデータの特徴として読み取る、という順に扱うことが大切です。