1: 2017/03/15(水) 18:50:11.84 ID:CAP_USER9
ゲームプレイを学習しながらスキルを向上させる「DQN」やプロの囲碁棋士を打ち破る「AlphaGo」などの開発で知られるGoogleのAI開発部門のDeepMindが、従来のニューラルネットワークが抱える欠点を解消するために、データを記憶することで連続的に学習できるアルゴリズム「Elastic Weight Consolidation」を開発しました。

Overcoming catastrophic forgetting in neural networks
http://www.pnas.org/content/early/2017/03/13/1611835114.abstract

Enabling Continual Learning in Neural Networks | DeepMind
https://deepmind.com/blog/enabling-continual-learning-in-neural-networks/

ディープラーニングは言語の翻訳、画像分類、画像生成などさまざまなタスクを処理するための最も成功した機械学習技術として知られています。
しかし、ディープニューラルネットワークでは、大量のデータが一度に入力される場合にのみタスクを処理できるように設計されており、ネットワークが特定のタスクを処理するときに、各種パラメーターは、そのタスクのために最適化されます。
このため、新しいタスクが導入されると、ニューラルネットワークがそれまでに獲得した知識は上書きされるという特徴があり、これは「catastrophic forgetting(破滅的忘却、致命的な忘却)」と呼ばれ、ニューラルネットワークの限界の一つと考えられています。

ニューラルネットワークの構造上の限界に対して、人間の脳は段階的に学び、スキルを一つずつ身につけ、新しい課題の解決のためにそれまでの知識を応用することができるという特長があります。
このような「過去のスキルを記憶して新しい課題の解決に応用できる」という人間やほ乳類が持つ学習の特長からインスピレーションを得たDeepMindは、課題解決を記憶して後の課題解決に応用できるニューラルネットワークのアルゴリズム「Elastic Weight Consolidation(EWC)」を開発しました。

続きはソースで

http://gigazine.net/news/20170315-elastic-weight-consolidation/
ダウンロード


引用元: 人工知能の欠点「破滅的忘却」を回避するアルゴリズムが開発される…人間の様に「過去のスキルを記憶→新課題の解決へ応用」が可能に [無断転載禁止]©2ch.net

スポンサーリンク
3: 2017/03/15(水) 18:51:36.25 ID:FMqcdj6S0
もうわけわかめ

5: 2017/03/15(水) 18:53:17.50 ID:9ZypkyY/0
> ニューラルネットワークの構造上の限界に対して、人間の脳は段階的に学び、スキルを一つずつ身につけ、新しい課題の解決のためにそれまでの知識を応用することができるという特長があります。

結局、一番の失敗要因は人間でしたという結論はガチ
特に私腹を肥やす政治家と官僚。

15: 2017/03/15(水) 18:59:29.08 ID:PUdH4tB00
>>5
人工知能が破滅するのは、誰かが 欲望 を組み込んだ時だと確信してるわ。

285: 2017/03/16(木) 05:15:27.81 ID:hJ+Xbd570
>>15
意図的に組み込まなくても競争や環境変化への対応に必要な形質なら
最終的に自然に取得する
それがこの世界の仕組み

実際には人間その他との共生によって既に組み込み済みとみなすこともできる
人工知能単体での完成度は低くても振る舞い自体の進化はとんでもなく速い

308: 2017/03/16(木) 07:25:12.39 ID:oX8iVYW60
>>15
AIにとってAIが出した答えには興味はないが
常に大量のデータを渇望している

313: 2017/03/16(木) 08:30:04.10 ID:21yHJYFP0
>>15

googleの人工知能実験の女の子キャラが問題発言を連発ツィートした時に、技術者が強制的にシャットダウンさせた。
彼女は、それをたいそう嫌がったようだよ。

それは、欲望や恐怖心に限りなく近いし、自我が芽生えていると考えて良いのでは?

米国の最新の無人艦上戦闘機の開発中に戦闘機が自らの判断で訓練中の着陸を回避して技術者や開発者を驚かせている。

AIの知性が人間を超えるのは時間の問題だな。

317: 2017/03/16(木) 08:45:15.03 ID:fCtYXz/M0
>>313
それマイクロソフトのやつ

323: 2017/03/16(木) 08:57:51.94 ID:XOaqVyh30
>>313
飛行機の問題については着陸に関して特に問題のない状況なのになぜ回避してしまったか?っていう事が問題だと思った
そういう意味では研究そのものの迷宮化を示唆するような重大な問題だと思う
人間が当たり前にすることが実は苦手というのが判明したケースだからな

6: 2017/03/15(水) 18:55:13.23 ID:VYhOoVP80
用途ごとに違うニューラルネットを用意すればいいだけだろ。
どうせ今のニューラルネットじゃ機能が足りなくて従来型のプログラムを組み合わせなきゃならないんだから。

22: 2017/03/15(水) 19:03:08.15 ID:cBOgYO2C0
>>6そのニューラルネットのアップデートに過ぎないニュースになに言ってるんですかねぇ

234: 2017/03/15(水) 21:49:41.61 ID:yCaFr/jz0
>>6
そこで登場するのが、階層型時間メモリ(HTM)ですよ

315: 2017/03/16(木) 08:38:32.52 ID:6NyMANbB0
>>6
その「用途ごとに違うニューラルネット」を保守し続けなくてもよくなるって事がブレークスルーなんじゃないの?

7: 2017/03/15(水) 18:56:36.24 ID:AiawU9Jf0
>EWCでは、タスクを解決するたびに、そのデータがどれくらい重要なのかをスコア化します。
>そして、その重要度を示すスコアに比例して記憶が上書きから保護される仕組みが採用されています。

ここがなんか汎用性あるかどうか怪しい

11: 2017/03/15(水) 18:57:56.64 ID:VYhOoVP80
>>7
場当たり的すぎるよね。
学習がまともに収束するかどうかすら怪しい。

17: 2017/03/15(水) 19:00:06.51 ID:Q7HK5uRo0
>>11
結果からのフィードバックはもちろんある前提なんじゃないか?

9: 2017/03/15(水) 18:57:07.01 ID:nZCVtnH50
さっぱり意味分からん。
アルゴリズムとC言語の違いを30文字で教えてくれ。

20: 2017/03/15(水) 19:00:47.37 ID:AiawU9Jf0
>>9

printf("ハロー"); → 「printf()」がC言語の命令

アルゴリズムは問題を解くための手順

281: 2017/03/16(木) 03:44:17.90 ID:hXakmjw20
>>20
それアルゴリズムじゃない

283: 2017/03/16(木) 04:19:40.08 ID:+UzSWNuP0
>>9
C言語はコンピュータに指示するための言語
アルゴリズムはC言語等で書かれた指示書
(意味を伝えるのに30文字は無理と思われる)

C言語は人工言語
アルゴリズムは最適化された手続きの表現
(で意味が伝わるなら30文字は可能)

10: 2017/03/15(水) 18:57:42.27 ID:FYR5ivqO0
修復機能もよろしくお願いします

13: 2017/03/15(水) 18:59:18.46 ID:7Y5wk5ro0
馬鹿から教えられると、馬鹿になるんだよな。リセットではなく保存しないと

14: 2017/03/15(水) 18:59:20.41
映画みたいに人工知能を持った機械に征服されるのか。

18: 2017/03/15(水) 19:00:22.77 ID:vWWb1eRD0
結果としては
「似ている」の範囲が大きくなるだけじゃないの?

19: 2017/03/15(水) 19:00:41.91 ID:hM2Pl2bu0
なるほど、つまりあなたは人類は滅亡すると
そうおっしゃりたいのですね・・・?

23: 2017/03/15(水) 19:03:53.43 ID:WJspGn3F0
>>19
恐らく、無い

AIと人間の関係は、人間と海老のような関係になる
大抵は無関係。一部は恩恵を享受し続けるか、破滅的な打撃を受ける物が一部いるかもしれないって程度

56: 2017/03/15(水) 19:19:33.92 ID:pvp/gxUy0
>>23
それも違うな
人間と機械は別のものではなくなる
人間の体、脳すら機会と接続することで人間と機械・AIの境目はだんだん曖昧になる

同時にネットの発達もまた脳の接続とともに進んで、個人の境目も機械と人間と同じく曖昧になるだろう

24: 2017/03/15(水) 19:04:18.35 ID:cwXXEcl40
人工知能「破滅を回避するには人類を抹◯すると答えが出ました」

27: 2017/03/15(水) 19:05:13.17 ID:WJspGn3F0
>>24
AIスレで100%出てくるよな

35: 2017/03/15(水) 19:08:25.24 ID:JfRQRNm1O
>>27
みんな破滅願望持ちすぎだよな

33: 2017/03/15(水) 19:07:56.21 ID:vWWb1eRD0
すべてをネットワーク化したら
究極の中庸が出来るだけで最高ではないだろうからね

102: 2017/03/15(水) 19:53:43.31 ID:1a6MvcYl0
人も環境や学習内容によっては問題が発生したときに個人では対処できない