クラスタリング

クラスタリングとは、データ集合の中にある部分集合、つまりクラスタを見つけるための幅広い手法の集まりを指す言葉です。統計的学習の入門書として広く読まれている、ガレス・ジェームズ（Gareth James）、ダニエラ・ウィッテン（Daniela Witten）、トレバー・ヘイスティ（Trevor Hastie）、ロバート・ティブシラニ（Robert Tibshirani）による『An Introduction to Statistical Learning』（2013年）は、クラスタリングをこのように定義しています。特定の1つのアルゴリズムの名前ではなく、同じ目的を持つ手法をまとめて呼ぶ総称である点を押さえておきましょう。

何を目指して分けるのか

データ集合の観測値をクラスタリングするとき、目指すのは観測値をいくつかの互いに重ならないグループに分割することです。その分け方には2つの条件があります。1つは、同じグループの中の観測値どうしが互いによく似ていることです。もう1つは、異なるグループに属する観測値どうしが互いに大きく異なっていることです。グループの内側はまとまり、グループの間ははっきり離れている状態が、よいクラスタリングの結果とされます。

たとえば、顧客の購買記録を似た買い方の顧客ごとにまとめれば、それぞれのグループに合わせた施策を考える手がかりになります。このとき、あらかじめ「どの顧客がどのグループに属するか」という答えは与えられていません。データそのものの似ている度合いから、グループの境目を見つけ出します。

似ているとは何かを決める必要がある

クラスタリングを行うには、2つ以上の観測値が似ている、あるいは異なるとはどういうことかを先に定義しなければなりません。同じデータでも、どの特徴に注目し、どのような尺度で距離や類似度を測るかによって、できあがるグループは変わります。ジェームズらは、この定義がしばしば対象となるデータについての知識に基づいた、分野ごとの判断を必要とすると述べています。つまり、クラスタリングは計算手順を当てはめれば自動的に正解が出るものではなく、何をもって似ているとみなすかという人の判断が結果を左右します。

教師なし学習としての位置づけ

クラスタリングは教師なし学習の課題です。教師なし学習では、正解となる出力が与えられていないデータから、その中に潜む構造を見つけようとします。クラスタリングの場合、見つけようとする構造は明確なクラスタ、つまりはっきり分かれたグループです。

これに対して教師あり学習は、入力をもとに、生存時間や薬への反応のような結果を予測することを目的とします。教師あり学習では予測したい結果が学習用のデータに含まれているため、予測がどれだけ当たったかを確かめられます。クラスタリングにはそのような正解がないため、目的も評価の仕方も教師あり学習とは異なります。似た名前で混同されやすい「分類」は、正解のラベルが付いたデータから学ぶ教師あり学習の課題であり、ラベルなしでグループを見つけるクラスタリングとは区別されます。

主成分分析との違い

同じ教師なし学習の代表例に主成分分析（PCA）があります。どちらもデータを単純にして理解しやすくしようとする点では共通していますが、目指すものが異なります。主成分分析は、データの分散の大部分を説明できるような低次元の表現を見つけようとします。一方でクラスタリングは、観測値の中から同質な部分集合を見つけようとします。主成分分析が変数の側を少ない軸にまとめる手法であるのに対し、クラスタリングは観測値の側をグループに分ける手法だと整理すると区別しやすくなります。

代表的な2つの手法

ジェームズらは、クラスタリングの手法として特によく知られている2つを挙げています。1つはK-meansクラスタリングで、あらかじめ決めた数のクラスタへ観測値を分割する手法です。もう1つは階層的クラスタリングで、クラスタの数を前もって決めずに、観測値のまとまり方を木のような形で表す手法です。それぞれの具体的な手順は、k-means法やウォード法、デンドログラムの各項目で扱います。