CEC

CECとは、リカレントニューラルネットワーク（RNN）における勾配消失問題を防ぐための重要な仕組みのことです。時系列データにおいて、過去の情報を長い期間にわたって保持し続ける役割を担います。RNNの最大の弱点であった長期依存関係の学習を可能にした立役者です。

仕組みとしては、LSTM（長短期記憶）の内部にあるメモリセルという構造に含まれています。CECは誤差（勾配）を一定の比率で保持し続け、ネットワーク内を循環させるパスを提供します。このパスがあることで、学習時に勾配が消失することなく過去のステップへ誤差を伝播できるため、長期間の文脈を学習できるのです。

G検定では、なぜRNNが長期記憶を苦手とし、それをどう克服したかという文脈で問われます。CECは「誤差を一定の比率で循環させるカルーセル（回転木馬）」という名前の通り、情報を劣化させずに保持し続ける構造です。RNNの発展系であるLSTMの核心部分として覚えておく必要があります。