強化学習の壁「ビッグ・ベビー問題」に挑む新ベンチマーク : 理系にゅーす

1: 2018/11/23(金) 15:54:12.33 ID:CAP_USER

強化学習は、いわゆる「ビッグ・ベビー問題」に直面している。

強化学習は、設定した目標を達成するために報酬と罰を用いる機械学習の手法の1つだ。だが、強化学習アルゴリズムの効果を測るためのベンチマーク・タスクとなっているアタリのビデオゲームやシミュレーション環境は自然界の複雑性を反映していない。

その結果、強化学習のアルゴリズムは現実世界の問題と向き合うことなく洗練されていき、決定論的で狭義に定義された環境の外で活動するにはあまりに脆弱になってしまう（「ビッグ・ベビー」と呼ばれる意味がお分かりいただけるだろうか）。

これでは、変化し続ける物理環境に適応できるロボットを最終的に開発するという強化学習の目的を達成できない。たとえば、水を注ぐようにロボットを訓練するのであれば、どんな流し台でも水を注げるようにしたいはずだ。だがビデオゲームで強化学習アルゴリズムのベンチマークをすることは、「1つの流し台で訓練、試験、評価をする」ようなものだと、マギル大学の博士課程生であり、フェイスブックのAI研究チームでパートタイム研究者を務めるエイミー・チャンはいう。

続きはソースで

https://cdn.technologyreview.jp/wp-content/uploads/sites/2/2018/11/21184504/animated-gif-source-3.gif

https://www.technologyreview.jp/nl/ai-cant-just-play-video-games-all-day-if-its-ever-going-to-grow-up/

引用元: ・【ＩＴ】強化学習の壁「ビッグ・ベビー問題」に挑む新ベンチマーク［11/22］

2: 2018/11/23(金) 17:21:55.09 ID:7/D1hDGj

日本語なら「畳水練問題」と言うのが判りやすいと思う。

3: 2018/11/23(金) 19:08:19.13 ID:M/4wcvBq

>>2
畳の上の水練は小さなプールでも泳げない可能性があるが、一つの水路では泳げるのだからその命名は間違いだ。

4: 2018/11/23(金) 19:30:53.43 ID:vOZxtaeD

自宅の警備なら完璧にできるよビッグベビー

5: 2018/11/23(金) 19:48:08.74 ID:Oys7y0CJ

>>4
自宅の警備を妄想してるだけだから実際の自宅警備はできない

6: 2018/11/23(金) 19:50:15.97 ID:BF8MaW5x

パートタイマーの研究職ってあるんだな

7: 2018/11/23(金) 20:07:58.87 ID:C6IakshX

>>6
大学の研究室にわんさかいるじゃん
何も珍しくない

9: 2018/11/23(金) 20:13:24.99 ID:Bb4VLQGc

複雑性が織り込めない、ちょっと違うけど、一種の過学習みたいな？　
でも　そういうマシンをたくさん、ネットワークでつなげておけば　そんな苦労するこはないかぁ
？

24: 2018/11/25(日) 13:24:29.11 ID:nf0WFDTE

>>9さんが書いている「過学習（過剰適応）」問題とどう違うんだろう。
過学習とはたしか、ある特定の環境にのみ最適化されてしまうと、
状況が異なる環境に遭遇したときにその対応につまずいてしまうこと。

40: 2018/11/27(火) 08:40:45.18 ID:jss8N0++

>>9
ミッションに関わる部分で環境の再現性が低いと学習効率が低下するのが本質的な問題かと

ゲームですら100万とか1000万回の試行してるわけなので、現実世界では1億回、10億回とか試行が必要になってしまう

シミュレーションならまだしも現実世界ではそれだけの試行は膨大な時間とコストを要してしまう

10: 2018/11/23(金) 20:28:47.85 ID:vu6ILovV

結局は箱庭ってことだ

12: 2018/11/23(金) 22:50:56.98 ID:S9ISfCuS

ちょっと違うけどフレーム問題に近いのかな？

14: 2018/11/24(土) 11:09:25.11 ID:b3/3juwk

1970年代の第一次AIブームの時に躓いたところで同じように躓いてるね。東ロボくんの躓きと遠因は一緒。

>>12
フレーム問題（事象の複雑さを枝切する基準をどう決めていいかわからない）も、
ビッグベビー問題（DLは事象の複雑さに汎用に対応させることが出来ない）も、
事象の複雑さに対応できないという問題なので、まあそれなりに近いのではなかろうか。

枝切の方法を決めた上で、対処しなければならないフレームを選別して過度な学習をさせない程度に学習させて、
未対応な事象が来たら改めて学習、みたいな構造にAIはなっていくと思うよ。

23: 2018/11/25(日) 11:43:52.27 ID:GoOTYSbb

>>14
まるっきり見当違いなんだけど、よく頭悪いって言われない？

13: 2018/11/24(土) 09:11:59.06 ID:qlylrNL5

自動車なら自由に車線変更可能なのに
電車がレールを脱線させると立ち往生するみたいな？

16: 2018/11/24(土) 14:14:19.53 ID:s8iC+vAs

ようは過学習じゃないの？

17: 2018/11/24(土) 15:48:16.25 ID:l78KoKPf

>>16
中学算数を完璧に学習したAIが自然科学の問題にチャレンジするようなもの
解ける問題もあるが解けない問題の方が多い

41: 2018/11/27(火) 08:46:06.19 ID:w+ly7B1e

>>17
すごく良い例えですね

18: 2018/11/25(日) 08:06:47.58 ID:2SEFU7I6

>どんな流し台でも水を注げるようにしたいはずだ。
これが間違ってるんだと思うが。