積層オートエンコーダ

積層オートエンコーダとは、複数のオートエンコーダを重ね合わせ、深い階層構造を持つニューラルネットワークに拡張した手法です。各層のオートエンコーダを順次学習させることで、データの特徴を段階的に抽出する能力を高めます。深層学習が注目される以前、層を深くした際の学習の難しさを解消する手法として提案されました。

学習の仕組みとして、まず各層を独立して教師なし学習である事前学習させ、その後に全体の重みを微調整するファインチューニングを行う手法が特徴です。低次の層では単純な特徴を抽出し、層が深くなるにつれてより抽象的で複雑な特徴を捉えられるようになります。これにより、ラベル付きデータが少ない場合でも、データ構造を効果的に学習可能です。

G検定では、ディープラーニングの歴史的発展の流れで問われることがあります。現在のディープラーニングは誤差逆伝播法を用いて全層を同時に最適化するのが一般的ですが、積層オートエンコーダは事前学習を用いた層ごとの学習というアプローチで深層学習の端緒を開きました。層を積み重ねることの効果と、事前学習の役割をセットで記憶してください。