ゲームプレイを学習しながらスキルを向上させる「DQN」やプロの囲碁棋士を打ち破る「AlphaGo」などの開発で知られるGoogleのAI開発部門のDeepMindが、従来のニューラルネットワークが抱える欠点を解消するために、データを記憶することで連続的に学習できるアルゴリズム「Elastic Weight Consolidation」を開発しました。

Overcoming catastrophic forgetting in neural networks
http://www.pnas.org/content/early/2017/03/13/1611835114.abstract

Enabling Continual Learning in Neural Networks | DeepMind
https://deepmind.com/blog/enabling-continual-learning-in-neural-networks/

ディープラーニングは言語の翻訳、画像分類、画像生成などさまざまなタスクを処理するための最も成功した機械学習技術として知られています。
しかし、ディープニューラルネットワークでは、大量のデータが一度に入力される場合にのみタスクを処理できるように設計されており、ネットワークが特定のタスクを処理するときに、各種パラメーターは、そのタスクのために最適化されます。
このため、新しいタスクが導入されると、ニューラルネットワークがそれまでに獲得した知識は上書きされるという特徴があり、これは「catastrophic forgetting(破滅的忘却、致命的な忘却)」と呼ばれ、ニューラルネットワークの限界の一つと考えられています。

ニューラルネットワークの構造上の限界に対して、人間の脳は段階的に学び、スキルを一つずつ身につけ、新しい課題の解決のためにそれまでの知識を応用することができるという特長があります。
このような「過去のスキルを記憶して新しい課題の解決に応用できる」という人間やほ乳類が持つ学習の特長からインスピレーションを得たDeepMindは、課題解決を記憶して後の課題解決に応用できるニューラルネットワークのアルゴリズム「Elastic Weight Consolidation(EWC)」を開発しました。

続きはソースで

http://gigazine.net/news/20170315-elastic-weight-consolidation/