1: 2018/11/23(金) 15:54:12.33 ID:CAP_USER
強化学習は、いわゆる「ビッグ・ベビー問題」に直面している。

強化学習は、設定した目標を達成するために報酬と罰を用いる機械学習の手法の1つだ。だが、強化学習アルゴリズムの効果を測るためのベンチマーク・タスクとなっているアタリのビデオゲームやシミュレーション環境は自然界の複雑性を反映していない。

その結果、強化学習のアルゴリズムは現実世界の問題と向き合うことなく洗練されていき、決定論的で狭義に定義された環境の外で活動するにはあまりに脆弱になってしまう(「ビッグ・ベビー」と呼ばれる意味がお分かりいただけるだろうか)。

これでは、変化し続ける物理環境に適応できるロボットを最終的に開発するという強化学習の目的を達成できない。たとえば、水を注ぐようにロボットを訓練するのであれば、どんな流し台でも水を注げるようにしたいはずだ。だがビデオゲームで強化学習アルゴリズムのベンチマークをすることは、「1つの流し台で訓練、試験、評価をする」ようなものだと、マギル大学の博士課程生であり、フェイスブックのAI研究チームでパートタイム研究者を務めるエイミー・チャンはいう。

続きはソースで

https://cdn.technologyreview.jp/wp-content/uploads/sites/2/2018/11/21184504/animated-gif-source-3.gif

https://www.technologyreview.jp/nl/ai-cant-just-play-video-games-all-day-if-its-ever-going-to-grow-up/
ダウンロード (1)


引用元: 【IT】強化学習の壁「ビッグ・ベビー問題」に挑む新ベンチマーク[11/22]

スポンサーリンク
2: 2018/11/23(金) 17:21:55.09 ID:7/D1hDGj
日本語なら「畳水練問題」と言うのが判りやすいと思う。

3: 2018/11/23(金) 19:08:19.13 ID:M/4wcvBq
>>2
畳の上の水練は小さなプールでも泳げない可能性があるが、一つの水路では泳げるのだからその命名は間違いだ。

4: 2018/11/23(金) 19:30:53.43 ID:vOZxtaeD
自宅の警備なら完璧にできるよビッグベビー

5: 2018/11/23(金) 19:48:08.74 ID:Oys7y0CJ
>>4
自宅の警備を妄想してるだけだから実際の自宅警備はできない

6: 2018/11/23(金) 19:50:15.97 ID:BF8MaW5x
パートタイマーの研究職ってあるんだな

7: 2018/11/23(金) 20:07:58.87 ID:C6IakshX
>>6
大学の研究室にわんさかいるじゃん
何も珍しくない

9: 2018/11/23(金) 20:13:24.99 ID:Bb4VLQGc
複雑性が織り込めない、ちょっと違うけど、一種の過学習みたいな? 
でも そういうマシンをたくさん、ネットワークでつなげておけば そんな苦労するこはないかぁ

24: 2018/11/25(日) 13:24:29.11 ID:nf0WFDTE
>>9さんが書いている「過学習(過剰適応)」問題とどう違うんだろう。
過学習とはたしか、ある特定の環境にのみ最適化されてしまうと、
状況が異なる環境に遭遇したときにその対応につまずいてしまうこと。

40: 2018/11/27(火) 08:40:45.18 ID:jss8N0++
>>9
ミッションに関わる部分で環境の再現性が低いと学習効率が低下するのが本質的な問題かと

ゲームですら100万とか1000万回の試行してるわけなので、現実世界では1億回、10億回とか試行が必要になってしまう

シミュレーションならまだしも現実世界ではそれだけの試行は膨大な時間とコストを要してしまう

10: 2018/11/23(金) 20:28:47.85 ID:vu6ILovV
結局は箱庭ってことだ

12: 2018/11/23(金) 22:50:56.98 ID:S9ISfCuS
ちょっと違うけどフレーム問題に近いのかな?

14: 2018/11/24(土) 11:09:25.11 ID:b3/3juwk
1970年代の第一次AIブームの時に躓いたところで同じように躓いてるね。東ロボくんの躓きと遠因は一緒。

>>12
フレーム問題(事象の複雑さを枝切する基準をどう決めていいかわからない)も、
ビッグベビー問題(DLは事象の複雑さに汎用に対応させることが出来ない)も、
事象の複雑さに対応できないという問題なので、まあそれなりに近いのではなかろうか。

枝切の方法を決めた上で、対処しなければならないフレームを選別して過度な学習をさせない程度に学習させて、
未対応な事象が来たら改めて学習、みたいな構造にAIはなっていくと思うよ。

23: 2018/11/25(日) 11:43:52.27 ID:GoOTYSbb
>>14
まるっきり見当違いなんだけど、よく頭悪いって言われない?

13: 2018/11/24(土) 09:11:59.06 ID:qlylrNL5
自動車なら自由に車線変更可能なのに
電車がレールを脱線させると立ち往生するみたいな?

16: 2018/11/24(土) 14:14:19.53 ID:s8iC+vAs
ようは過学習じゃないの?

17: 2018/11/24(土) 15:48:16.25 ID:l78KoKPf
>>16
中学算数を完璧に学習したAIが自然科学の問題にチャレンジするようなもの
解ける問題もあるが解けない問題の方が多い

41: 2018/11/27(火) 08:46:06.19 ID:w+ly7B1e
>>17
すごく良い例えですね

18: 2018/11/25(日) 08:06:47.58 ID:2SEFU7I6
>どんな流し台でも水を注げるようにしたいはずだ。
これが間違ってるんだと思うが。

20: 2018/11/25(日) 10:40:03.28 ID:uT+n0CWy
>>18
一つの流し台で良いなら個別実装でええやん

25: 2018/11/25(日) 13:40:41.61 ID:nf0WFDTE
だから「学習(適応)もほどほどに」というわけだ。

フレーム問題とは何だろうか?
情報処理(計算)が天文学的なことになってしまうやつか?

それも関係があるかもしれないね。今のコンピュータでは明らかに制約条件だ。

27: 2018/11/25(日) 13:42:30.63 ID:reT1J6Cv
そもそも、いまのDNNって人間っぽい知覚に適しているのは分かったけれど、意思決定みたいなものも同じ仕組みでなんとかなるの?
動物や虫みたいなものは模倣できても、人と同じレベルになるには、まだまだブレークスルーが必要そうに思えるんだが。

28: 2018/11/25(日) 13:45:16.05 ID:izq5q/hN
リムパックベンチマークに全精力を傾けて、それだけを計算機の指標として
計算機システムを開発したりシステムを整備してきた日本はこれを笑えない。

29: 2018/11/25(日) 13:56:20.21 ID:nf0WFDTE
北極に最も適応した動物がいたとして、その動物は北極では子孫繁栄競争で最も有利。
ところが、地球温暖化という環境変化が急激に起こると、それが致命的になってしまう。
北極に最適化されていたことが強みだったのに、それが逆に最大の弱みになってしまう。

31: 2018/11/25(日) 14:05:33.19 ID:/tszibZd
虫のレベルにさえ追いつかない。生命の驚異
病気で苦しまないでよいのは機械の勝ち!

33: 2018/11/25(日) 17:16:14.92 ID:7rlsQV+Q
ベンチマーク対象とするビデオゲームの選び方が恣意的
8bit-16bit世代ばかり
ピクセルベースの学習で結果が出やすいのはわかるけどさ

36: 2018/11/25(日) 18:48:48.67 ID:ya8dfeQ+
今の人工知能の研究ってなんだかわざわざ2足歩行のロボを作っていた時代みたいだな

37: 2018/11/26(月) 08:24:00.93 ID:DPgRYrvR
自動で水が出る蛇口に最初に出会ったときは焦った
あちこち触ってるうちに水が出て止まらずさらに焦った
を繰り返してるうちに自動だと悟った
って事が今の擬似AIでは無理だってことかな?

38: 2018/11/26(月) 12:20:41.52 ID:ovKr85nk
んなもんコストの問題だろ。
趣味なら無限の流し台生成するコードでも入れるなり好きにすりゃいいだけ

39: 2018/11/26(月) 17:55:23.76 ID:C7h1DRqs
>>38
「流し台を使う」ことは日常生活における様々なルールの応用が必要だということ
例えば水が出ないときは→水が氷っているのでヒーターに電源を入れる必要がある→電気を使うブレーカーを上げる必要がある→電気代を支払う…と現実では複雑性が増していくわけ

15: 2018/11/24(土) 13:38:43.57 ID:Bs3j3rhv
萌えAIは自動学習とか横着しないで、少し手間かけた方が良さそうだな