複数人対戦ゲームでもAIが人間に勝利、グーグル親会社傘下企業が開発

https://www.afpbb.com/articles/-/3228148
https://www.afpbb.com/articles/-/3228148?page=2
2019年6月4日 11:25 AFPBB News

　【6月4日 AFP】人工知能（AI）はこれまでチェスや囲碁など1対1で対戦するゲームで人間に勝ってきたが、チームワークが求められる複数人が対戦するゲームでも人間を負かすことができたとの研究結果が5月30日、
　米科学誌サイエンス（Science）で発表された。

　このAIの開発を手掛けたのは米IT大手グーグル（Google）の親会社アルファベット（Alphabet）傘下のAI開発企業ディープマインド（DeepMind）で、
　AIの「エージェント」らにマルチプレーヤー型ファーストパーソン・シューティングゲーム（FPS、本人の視点で戦うゲーム）を自習させ、人間と対戦させた。

　コンピューターはこれまでにも、1対1の対戦ゲームでは人間を打ち負かしたことがある。
　例えば、1997年には米IBMが開発したディープ・ブルー（Deep Blue）が、チェスの王者ガルリ・カスパロフ（Gary Kasparov）氏を破った。
　また、2017年には、グーグルが開発したAIが世界トップレベルの棋士に勝利している。

　だが、複雑な状況下で、チームワークと意思疎通が求められるマルチプレーヤーゲームについては、人間に勝てていなかった。

　マックス・ジェイダーバーグ（Max Jaderberg）氏率いるチームは開発に当たり、「クエイクIIIアリーナ（Quake III Arena）」の修正版を使用した。
　このゲームは1999年にリリースされたFPSで、現在もeスポーツ界で人気を保っている。

　また、ゲームモードは「キャプチャー・ザ・フラッグ（CTF）」と呼ばれる旗取りゲームを選択した。
　チームメートと連携し、防御しながら相手チームの旗を奪うもので、プレーヤーは攻撃と防御を組み合わせた複雑な戦略を練る必要がある。

　研究ではエージェントに自己学習させ、人間のプロのゲームテスターと対戦できるまで能力を高めた。

　研究チームによると「12時間練習をした後でも、人間のプロゲームテスターらのエージェントチームに対する勝率は25％にとどまった」。
　一方エージェントは、反応時間を人為的に低下させ人間の水準に合わせても、人間の能力を上回っていたという。


　■「ファスト＆スロー」

　研究チームはエージェントの学習にいわゆる「強化学習（RL）」を用いた。
　エージェントは旗を奪うと報酬が得られることを教えられるが、研究チームは強化学習の可能性をさらに広げる革新的方法を考案した。

　「各エージェントが自身の内部報酬信号を学習したことが今回の研究結果の成果の一つだ」とジェイダーバーグ氏は指摘する。
　これは、旗を奪ったり、相手を撃ったりといったさまざまなタスクを達成すると、AIプレーヤーはその重要度に応じて自身に報酬を与えるということを意味する。

　研究チームはまた、エージェントを個別に訓練するよりも、まとめて訓練した方がチーム全体としてはるかに速く学習できることも発見した。

　さらに「二つの時間スケール」学習と呼ぶ新たな構造も考案した。
　ジェイダーバーグ氏はこれをダニエル・カーネマン（Daniel Kahneman）の著作「ファスト＆スロー（Thinking Fast and Slow）」に例えている。

　「素早く考えて素早く考えを更新するエージェントと、ゆっくり考えてゆっくり考えを更新するエージェントに分けると、2種類の考えが互いに影響し合い、エージェントが世界について学習する方法を構築する手助けとなる」と
　ジェイダーバーグ氏は説明した。

続きはソースで

囲碁の世界チャンピオンを打ち負かしたソフト「AlphaGo」が正常進化して、「AlphaZero」が誕生しました。人間による手助けを一切必要としないAlphaZeroは、ルールしか知らない状態から自己教育することで、たった30時間でAlphaGoを完膚なきまでに打ち負かす強さに成長可能。囲碁だけでなく、数十時間の独学でチェス・将棋でも、既存の最強ソフトを圧倒する強さへと進化できます。

AlphaZero: Shedding new light on the grand games of chess, shogi and Go | DeepMind
https://deepmind.com/blog/alphazero-shedding-new-light-grand-games-chess-shogi-and-go/

囲碁チャンピオンを打ち負かしたソフト「AlphaGo」は、自分で自分を鍛えられる「AlphaGo Zero」へと進化しました。自分と戦いつつ実力をメキメキ向上させられるため、自己学習可能なAlphaGo Zeroでは人間の関与が不要になりました。

囲碁に特化していたAlphaGo Zeroは、あらゆるボードゲームに対応できる汎用性を持つ「AlphaZero」へと進化しました。

そして、DeepMindによって2018年12月7日にScienceで発表された論文では、AlphaZeroが、チェス・将棋・囲碁の3つの代表的なボードゲームにおいて、これまでに開発された最強のソフトウェアを数日で打ち負かす能力に成長できることが明らかにされました。

A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play | Science
http://science.sciencemag.org/content/362/6419/1140
https://i.gzn.jp/img/2017/10/20/alphago-zero/00.jpg

2016年に開催されたチェスプログラムの世界大会TCECシーズン9を制した「Stockfish」とのイロレーティングの比較。AlphZeroは自己学習開始から4時間でStockfishを上回りました。
https://i.gzn.jp/img/2018/12/07/alphazero/a02_m.png

将棋のチャンピオンソフト「elmo」との対決では、2時間後にはAlphaZeroが上回ったとのこと。
https://i.gzn.jp/img/2018/12/07/alphazero/a01_m.png

囲碁チャンピオンのイ・セドルに勝ったときのAlphaGoを、たった30時間で超えました。
https://i.gzn.jp/img/2018/12/07/alphazero/a03_m.png

続きはソースで

AlphaZero: Shedding new light on the grand games of chess, shogi and Go https://youtu.be/7L2sUGcOgh0



GIGAZINE
https://gigazine.net/news/20181207-alphazero/

ビデオゲームをプレイする人工知能（AI）同士が競い合う恒例のゲーム大会の最新結果からは、群れをなす昆虫型の「ザーグ（Zergs）」や襲いかかる「プロトス（Protos）」を操るのが機械にとってどれほど難しいかが見て取れる。古風なアプローチが勝利を納めたことからも、その難しさは明らかになった。

「AIIDEスタークラフト・コンテスト」は、2010年からカナダのニューファンドランドメモリアル大学（MUN）で開催されている。参加チームはSFをテーマにした壮大なゲーム「スタークラフト（StarCraft）」のオリジナル版をプレイするボットを提供し、1対1の対戦を重ねる。

ビデオゲームは一般的に、AIとって有益なものだ。制約条件のある環境が提供され、進歩の度合いを定量化できるからだ。大人気のオンライン戦略ゲーム「スタークラフト」は、その複雑さと勝負の進展度を測る難しさから、AIの重要な評価基準として存在感を増している。スタークラフトには膨大な数のステータスが存在し、取り得る行動の選択肢も非常に多い。ある戦略が有効だったどうかは、戦いのずっと後の局面になってみなければ分からない。

アタリのビデオゲームや囲碁、チェスを数種類の先進的な機械学習手法を使ってコンピューターに習得させたことで知られるアルファベット（グーグル）傘下のディープマインド（DeepMind）は、スタークラフトの新バージョン「スタークラフト2」をプレイするプログラムの開発に取り組んでいる。

続きはソースで

https://cdn.technologyreview.jp/wp-content/uploads/sites/2/2018/11/17135611/screen-shot-2018-11-16-at-1.27.15-pm-1400x620.png
https://www.technologyreview.jp/nl/an-old-fashioned-ai-has-won-a-starcraft-shootout/

日常生活に支障がでるほどにスマホでゲームやＳＮＳにはまってしまうネット依存の子どもたちが増えている。
中には、エコノミークラス症候群寸前で命を落としそうになったり、睡眠不足で生活が乱れて、うつのような状態になったりする子もいる。

　ネットゲームやＳＮＳにはまり、スマホが手放せず社会生活に支障が出るのがネット依存症だ。
世界保健機関（ＷＨＯ）は６月、このうちゲーム依存症を「ゲーム障害」として国際疾病分類の改訂案に加えた。
韓国では２００２年、２０代の男性がネットカフェで長時間ゲームを続けてエコノミークラス症候群で
・・・

続きはソースで

朝日新聞デジタル
https://www.asahi.com/articles/ASL745SB2L74ULBJ015.html