次元の呪い

次元の呪いとは、データの特徴量（次元）が増えるほど、計算に必要なデータ量や計算コストが指数関数的に増大し、結果として精度が低下する現象を指します。機械学習において、次元数は多ければ良いというものではないことを示す重要な概念です。

特徴量が増えると、データが存在する空間は広大なものとなりますが、実際のデータ点はその空間のごく一部にしか存在しなくなり、空間がスカスカになります。このため、隣接するデータを定義することすら困難になり、分類や回帰の精度が悪化します。データが希少な状態では、信頼できるパターンを見つけるのが難しくなります。

G検定では、データ前処理の重要性として問われます。次元削減の必要性を説明する文脈で必ず登場します。高次元データを扱う際のデメリットとして、計算量、メモリ、精度の観点から理解しておく必要があります。この呪いを解くために、次元削減という技術が使われます。