デンドログラム

デンドログラムとは

デンドログラムは、階層的クラスタリングの結果を木の形で表した図です。1枚の図で、個々の観測値がどのような順番でまとまっていくかを見渡せます。日本語では樹形図とも呼ばれます。

ギャレス・ジェームズ (Gareth James)、ダニエラ・ウィッテン (Daniela Witten)、トレバー・ヘイスティ (Trevor Hastie)、ロバート・ティブシラニ (Robert Tibshirani) による教科書 An Introduction to Statistical Learning (2013) は、階層的クラスタリングの利点として2つを挙げています。1つはk-means法と違ってクラスタ数Kを事前に決める必要がないこと、もう1つは観測値を木構造で表した魅力的な図であるデンドログラムが得られることです。同書が扱うのは、下から上へまとめていく凝集型 (agglomerative) と呼ばれる、最も一般的な階層的クラスタリングです。

葉と枝の組み立て

木のいちばん下に並ぶ葉 (leaf) の1つ1つが、1件の観測値を表します。木を下から上へたどると、互いに似ている観測値に対応する葉どうしが融合して枝になります。さらに上へ進むと、その枝が別の葉や別の枝と融合していき、木の上の方へ行くほど大きなまとまりになります。

融合の高さで似かたを読む

デンドログラムを読むときに見るのは、融合が起きた高さです。

• 低い位置 (木の下の方) で融合した観測値のグループは、互いによく似ています。
• 高い位置 (木の上の方) で融合する観測値どうしは、かなり異なることがあります。

同書はこの考え方を次のように正確に述べています。任意の2つの観測値について、両者を含む枝が最初に融合する点を木の中で探します。その融合の高さ (縦軸で測った値) が、2つの観測値がどれだけ似ていないかを示します。縦軸の値が大きいほど似ていない、という向きで読む点に注意してください。

4件の観測値で読んでみる

説明のための仮の例です。観測値A、B、C、Dの4件があり、AとBが低い位置で融合し、CとDも低い位置で融合し、その2本の枝が高い位置で融合しているとします。このときAとBは互いによく似ており、CとDも互いによく似ていると読めます。一方、AとCを含む枝が最初に融合するのは高い位置なので、AとCはかなり異なると読みます。

階層的クラスタリングの手順そのものや、クラスタどうしの距離の測り方 (ウォード法など) は、それぞれの語のページで扱います。