破滅的忘却

どのような現象か

破滅的忘却(Catastrophic Forgetting)は、ニューラルネットワークに複数のタスクを順番に学習させたときに起きる現象です。たとえば、まずタスクAを学習し、その後にタスクBを学習させるとします。タスクBに関する情報を取り込んでいくうちに、それまでできていたタスクAのやり方が突然失われてしまいます。これが破滅的忘却です。

少しずつ性能が下がるというより、以前の知識が急に失われる点が特徴で、破滅的という強い言葉はこの性質を表しています。ニューラルネットワークのような、多数のユニットのつながりで知識を表すモデルでは避けられない性質だと、広く考えられてきました。

なぜ起きるのか

原因は、ネットワークの重みの変化にあります。タスクAを学習したネットワークでは、タスクAをうまくこなすために重要な役割を果たしている重みがあります。続けてタスクBを学習すると、ネットワークはタスクBの目的を満たすように重みを更新します。このとき、タスクAにとって重要だった重みまでタスクBに合わせて書き換えられてしまうため、タスクAの性能が失われます。

つまり破滅的忘却は、同じ重みを複数のタスクで共有しているネットワークを、タスクごとに順番に学習させる場面で特に起きる現象です。

継続学習との関係

継続学習(continual learning)とは、以前に学習したタスクのやり方を忘れずに、新しいタスクを次々に学習していく能力のことです。現実の環境では、タスクの切り替わりが明示されないことや、予告なく別のタスクに移ること、あるタスクが長い間現れないことがあります。そのような環境で多くのタスクを学び、覚えておくためには、継続学習の能力が欠かせません。

破滅的忘却は、この継続学習を妨げる中心的な問題です。カークパトリック(Kirkpatrick)らは2017年の論文で、深層学習がさまざまな分野で性能を大きく伸ばしてきた一方で、継続学習の実現についてはあまり進展が無かったと指摘しています。

多重タスク学習ではなぜ起きないのか

多重タスク学習(multitask learning)は、複数のタスクのデータを学習時に同時に使えるようにし、それらを混ぜ合わせながら学習する方式です。すべてのタスクのデータが同時にそろっているので、ネットワークの重みを全タスクの性能に対してまとめて最適化できます。そのため、あるタスクのために別のタスクの重みが一方的に書き換えられることがなく、破滅的忘却は起きません。深層学習で1つのエージェントに複数のAtariのゲームを遊ばせることに成功した例も、この方式によるものです。

ただし、タスクが順番にしか与えられない状況では、多重タスク学習をそのまま使うことはできません。使うためには、過去のデータを記録しておく仕組みを用意し、学習中にそのデータをネットワークへ再び与える必要があります。破滅的忘却は、全データを同時に使えない、順番の学習ならではの問題だと整理できます。

克服に向けた研究

破滅的忘却はニューラルネットワークの避けられない性質だと考えられてきましたが、それを克服しようとする研究が行われています。カークパトリックらの論文(DeepMind、2017年)は、この限界は克服可能であり、長い間経験していないタスクについても能力を保ち続けるネットワークを学習できることを示したと報告しています。検証には、手書き数字のデータセットMNISTをもとにした一連の分類タスクや、Atari 2600の複数のゲームを順番に学習する課題が使われました。

押さえておきたい整理

• 破滅的忘却は、複数のタスクを順番に学習したとき、新しいタスクの学習で以前のタスクの知識が突然失われる現象
• 原因は、以前のタスクにとって重要だった重みが、新しいタスクの目的に合わせて書き換えられること
• 継続学習は、破滅的忘却を起こさずにタスクを次々に学び続ける能力であり、破滅的忘却はその実現を妨げる問題
• 全タスクのデータを同時に使う多重タスク学習では、重みを全タスクに対してまとめて最適化できるため起きない