次元の呪い

次元が増えるほど空間が爆発的に広がる

次元の呪いは、扱うデータの特徴量（次元数）が増加するにつれて空間の体積が爆発的に広がり、計算量の急増やモデル精度の劣化を引き起こす現象です。

1辺を10等分したマス目を考えます。1次元の直線では10個の区画で全体を覆えますが、2次元の平面では100個、3次元の立体では1000個の区画が必要になります。次元数が数十から数百へと増えると、必要な区画の数は天文学的な規模に達します。データ点の数が一定のままであれば、広大な空間に対してデータは極めてまばらにしか存在しなくなります。

データの疎化と距離尺度の無意味化

空間の広がりに対してデータ数が圧倒的に不足するため、空間の大部分がデータのない空洞になります（データの疎化・スパース化）。統計的に意味のある規則性を機械学習モデルが学習するためには、次元の増加に応じて指数関数的な量のデータが必要になります。

k近傍法などのデータ間の距離を測る手法では、次元が高くなるほどあらゆるデータ点同士の距離の差が小さくなります。どのデータも互いに同じくらい遠い状態になってしまうため、データの類似度を測ることが困難になります。

過学習の誘発と実務での対処

特徴量が増えるとモデルが推定すべきパラメータも増えるため、限られたデータの中にある偶然のノイズに過剰適合しやすくなります。また、学習や推論に必要なメモリ使用量や計算時間も膨れ上がります。実務では、モデルを構築する前処理として主成分分析（PCA）などの次元削減や特徴量選択を行い、重要な情報を残しながら次元数を圧縮して対処します。