本文へ移動

えるまんねっとわーく

エルマンネットワーク

RNNの一種

中間層の出力を次の時刻に入力する、再帰型ニューラルネットワークの一種です。コンテキスト層を持ち、過去の中間層の状態を保持して時系列データの文脈を学習します。

詳しい説明

再帰型ニューラルネットワーク (RNN) の一種であり、中間層の出力を次の時刻の入力に戻すフィードバックループを持つモデルです。単純なRNNにコンテキスト層を追加した構造が特徴です。

仕組みとして、コンテキスト層が過去の中間層の状態を一時的に保持します。この保持された情報を次の時刻の計算に利用することで、時系列データにおける文脈や依存関係を考慮した学習が可能になります。

G検定での視点としては、初期のRNNの代表的なモデルとして位置づけられます。現在のLSTMやGRUと比較して、長期的な依存関係の学習が困難であるという制約を理解し、発展の歴史として認識しておく必要があります。

試験で問われること

G検定

  • RNNの一種であり、コンテキスト層を持つことを理解する。
  • 時系列データの文脈を考慮できる仕組みであることを把握する。
  • 長期依存関係の学習には限界がある点(勾配消失問題など)を理解する。