破滅的忘却

破滅的忘却とは、ニューラルネットワークが新しいタスクを学習する際、以前学習したタスクに関する知識を大幅に忘れてしまう現象です。ディープラーニングモデルは一度に一つの分布を学習するよう最適化されるため、異なるデータで再学習すると、以前の重みの状態が失われてしまいます。

この現象は、人間が新しいことを学んでも以前のことを忘れないのと対照的であり、AIの継続的な学習を阻む大きな壁となっています。特に、動的な環境で適応的に学習し続ける必要があるモデルにおいて深刻な課題です。

G検定では、この課題への対策手法や、AIが自律的に継続して学習する際の制約として問われます。過去のデータを保持するリプレイ法や、重みの変化を制限する学習アルゴリズムなどが研究されていますが、完全な解決は難しい問題として認識されています。