次元削減

次元削減とは

次元削減は、たくさんの特徴量で表された高次元のデータから、より少ない次元のデータを作る手法の総称です。英語では dimensionality reduction と呼びます。

ローレンス・ファン・デル・マーテン(Laurens van der Maaten)とジェフリー・ヒントン(Geoffrey Hinton)は、2008年の論文 "Visualizing Data using t-SNE" の第1章で、次元削減手法を「高次元のデータ集合 X = {x1, x2, ..., xn} を散布図で表示できる2次元または3次元のデータ Y = {y1, y2, ..., yn} へ変換するもの」と説明しています。この論文はデータの可視化を主題にしているため、変換先を2次元や3次元としています。

何を保とうとするのか

次元を減らせば、元のデータが持っていた情報の一部は失われます。そのため次元削減の目的は、単に次元を減らすことではなく、高次元データの重要な構造をできるだけ多く低次元の地図(map)の中に残すことにあります。同じ論文もこの目的をそのように述べています。

では、どの構造を残すことを重視するのか。ここで手法ごとの違いが生まれます。

線形の手法と、非線形な構造への対応

同じ論文は、主成分分析(PCA)と古典的な多次元尺度構成法(classical MDS)を線形の技法の例として挙げています。主成分分析はホテリング(Hotelling)の1933年の研究、古典的な多次元尺度構成法はトーガソン(Torgerson)の1952年の研究に由来するものとして引かれています。論文によれば、これらの線形の技法は、似ていないデータ点どうしを低次元でも遠く離して配置することに焦点を当てています。

一方で、高次元データが実際には低次元の非線形な多様体、つまり曲がった面のような形の上やその近くに並んでいる場合があります。論文は、そのような場合には、非常によく似たデータ点どうしを低次元でも近くに保つことの方が重要になることが多く、それは通常の線形写像では実現できないと述べています。t-SNE のような手法は、この問題意識から提案されたものです。

学ぶときの整理

次元削減という語は、特定の1つのアルゴリズムの名前ではなく、手法のまとまりを指す総称です。個々の手法の仕組みは、主成分分析・特異値分解・多次元尺度構成法・t-SNE などの語で扱います。この語では、次の2点を押さえておくと全体像がつかめます。

• 次元削減は、構造をできるだけ保ちながら高次元のデータを低次元のデータへ変換する手法の総称であること
• 線形の手法は似ていない点を遠くに置くことに重心があり、非線形な構造を持つデータでは、似ている点を近くに保つ手法が求められることがあること