コロンビア大学でニューロエンジニアリングについて研究するニマ・メスガラニ准教授が、脳の信号を「耳で聞いて理解可能な会話音声」に変換するシステムを作成しました。このシステムを用いれば口に出さなくても脳の信号を読み取るだけで、何を考え話そうとしているかが理解できるようになります。

Towards reconstructing intelligible speech from the human auditory cortex | Scientific Reports
https://www.nature.com/articles/s41598-018-37359-z

Columbia Engineers Translate Brain Signals Directly into Speech | Zuckerman Institute
https://zuckermaninstitute.columbia.edu/columbia-engineers-translate-brain-signals-directly-speech

メスガラニ准教授がコンピューターを用いて脳波を直接理解可能な会話音声に変換するシステムを開発しました。このシステムは、これまでに前例のないレベルで脳波から人の話し言葉を生成することが可能です。システムは音声合成器と人工知能を活用したものとなっており、コンピューターが脳と直接通信するための新しい方法につながる技術として期待が集まっています。

メスガラニ准教授のシステムは、筋萎縮性側索硬化症(ALS)患者や脳卒中から回復した人など、脳は機能しているものの上手く話すことができない人が外界とのコミュニケーション能力を取り戻すための大きな助けとなる可能性があります。なお、メスガラニ准教授の研究結果は科学誌のScientific Reportsで公開されています。

脳波を直接理解可能な会話音声に変換するための研究でリーダーを務めたメスガラニ准教授は、「我々の声は、周囲の友人や家族および世界中の人々とつながるための役に立つものです。よって、怪我や病気で自分の声が出せなくなってしまうということは、とても悲しいことです。しかし今回の研究により、我々はその力(声を出すということ)を取り戻すための方法を見つけたということになります。正しい技術を使えば、1度声が出せなくなってしまった人であっても、再び聞き手に理解してもらうことが可能な会話が行えるようになるということを示すことができました」と、研究の意義について語っています。

過去数十年にわたる研究から、人間が言葉を発する際、もしくは何か話すことをイメージする時でさえ、人間の脳には明らかな活動パターンが現れることが明らかになっています。また、反対に誰かの話を聞く時、もしくは聞くことを想像する時にも、脳でははっきりと認識可能な信号パターンが現れます。これらのパターンを記録し、その内容を解読するという研究はこれまでにも行われてきました。

メスガラニ准教授も同じように脳の信号から話そうとしていた内容を解読するという研究を行ってきた人物で、同分野における初期の研究では脳の一次聴覚野から記録した信号を分析して会話内容を再構成しようとするコンピューターモデルの作成を行っています。しかし、このアプローチでは理解しやすい会話音声を生成することが困難であったため、メスガラニ准教授ら研究チームは別の手法に挑戦することとなります。

以下の画像をクリックすると、メスガラニ准教授らが開発したシステムによる、「脳の活動パターンを分析して生成した音声」が再生できます。少し聞き取りづらいものの、英語で0から9までの数字を読み上げていることがわかります。
https://zuckermaninstitute.columbia.edu/sites/default/files/m5_dnn_vocoder.mp3

続きはソースで

https://gigazine.net/news/20190130-translate-brain-signals-speech/

■ケンカする夫婦は子育ても失敗しやすい、ネズミで解明
※リンク先に音声動画あり

あなたがそのネズミに出会っても、鳴き声を聞くことはできない。カリフォルニアシロアシマウス（Peromyscus californicus）は、超音波で会話しているからだ。

　彼らの会話は、もとの5%のスピードでスロー再生してはじめて人間に聞こえる音程になる。そうすることで私たちは初めて、このネズミが表現力豊かな声をもっていたことを知るのだ。

「ネズミは哺乳類のなかでも特に多様性に富むグループです。鳴き声は、ネズミの生理のなかでもあまり注目されてこなかった部分です」と、10年ほど前にカリフォルニアシロアシマウスの鳴き声に気づいた米ノースカロライナ大学グリーンズボロ校の生物学教授マティーナ・カルコウニス=ルペル氏は語る。

　スロー再生したカリフォルニアシロアシマウスの鳴き声は、クークーという優しい声からぎょっとするような吠え声まで幅広い。

　米ウィスコンシン大学マディソン校の研究者ジョシュ・パルトラック氏らの研究チームは、その会話を読み解くことで、このネズミの社会生活や繁殖について考察、学術誌『Frontiers in Ecology and Evolution（生態学と進化のフロンティア）』誌に発表した。一夫一婦制で暮らすこのネズミのつがいはいったん引き離されると、ケンカしたり、溝を埋められない場合があるという。

■いちゃいちゃしたり、怒ったり

　パルトラック氏が今回の研究で記録したネズミの鳴き声をいくつか紹介しよう。最初に3回聞こえる鳥のさえずりのような鳴き声は、親しみを示す最も一般的な鳴き声だ。次に2回聞こえる少し長い鳴き声は、パルトラック氏によれば、ネズミが「いちゃいちゃ」しているときの鳴き声、最後に1回聞こえるクジラの歌のような長い鳴き声も親しみを表すもので、関係の強まりを示している。

　怒りの声は、ネズミのつがいを引き離して別のネズミと一緒にし、その後で元の相手と再会させた場合に聞かれた。約半数のネズミがこのような反応を示した。

「夫婦ゲンカ」をしたネズミたちも、最終的には元のさやに収まった。しかし、より早い時期に親しみを込めた鳴き方に戻ったカップルや、全然ケンカにならなかったカップルの方が、健康な子どもを産み育てることが多かった。

　つまり、これらのネズミが「夫婦の危機をやりすごすことには繁殖上の利益があるのです」とパルトラック氏は言う。

続きはソースで

https://cdn-natgeo.nikkeibp.co.jp/atcl/news/18/121000540/ph_thumb.jpg

ナショナルジオグラフィック日本版サイト
https://natgeo.nikkeibp.co.jp/atcl/news/18/121000540/

　日本マイクロソフトは、同社が提供する女子高生AI「りんな」に、最新会話エンジン「共感モデル(Empathy model)」(アルファ版)を採用することを発表した。
人間と同じように、文脈を踏まえた適切な対応が可能で、自然な会話を続けることができるという。

　Microsoftでは、中国で提供している「Xiaoice(シャオアイス)」や米国で展開している「Zo(ゾー)」、インドネシアの「Rinna(リンナ)」、インドの「Ruuh(ルー)」といったように、各国でAIを活用したソーシャルAIチャットボットサービスを用意しているが、「共感モデル」を採用するのは、日本の「りんな」が初めてとなる。

　日本マイクロソフトでは、りんなでのサービスを通じて改良を加え、「共感モデル」の実用化に取り組む考えを示した。

　今回の「共感モデル(アルファ版)」は、会話の相手(ユーザー)と、どのようにコミュニケーションをすれば良いか、AIが自ら考えるように設計されているのが特徴で、人間の感情の1つである「共感」をもっとも重要視し、相手との会話が継続できるように、返答をリアルタイムで生成することができる。

　会話のなかで共感を示すには、相手に新しい話題を切り出したり、質問をしたり、相手の発言を肯定したりといった手法のほか、積極的に聞き手に回るなどの方法があるという。

　共感モデルでは、こうしたやりとりを採用することで、自然な会話を構成できるという。

　もともと、りんなでは、人間と同じように、相手とのコミュニケーションができるだけ長く続けられるように開発が進められてきた経緯があり、
新たな会話エンジンの採用は、その環境を大きく進化させることができるという。

　2018年5月22日に東京・芝公園のプリンスパークタワー東京で行なわれた日本マイクロソフト主催の開発者向けイベント
「de:code 2018」で、基調講演に登壇した日本マイクロソフトの平野拓也社長は、りんなの共感モデルの採用に関して初めて公表。
「人間が会話をするのと同じような返答をAIが考えるものになる。
あいづちを打ったり、『どうなの?』といったように、文脈のなかで最適な返事をしたりできるものになる」とした。

　また、同日午後5時から開催された
「AI は爆発だ?!～“女子高生AI”りんなを支える技術とその開発現場からみるサービス開発」と題して、Microsoft ディベロップメント AI & Research プログラムマネージャーの坪井一菜氏と、日本マイクロソフト コンシューマーソフトウエアエンジニアリング部テクニカルエバンジェリストの大森彩子氏が講演。

　坪井氏は、「共感モデルは、できるだけ相手と長く会話を続けるのが目的である。会話の目的を意識して、戦略的に自分の返答を生成することを目指すことになる。
これまでは、一度学習したものをベースに、脊髄反射のような反応していたが、過去のセッションの状況と、いまやってきた変動内容を加味して返事をするようにしている」とした。

　大森氏は、「『うん』とうなづくだけのほうが会話が続くのか、それとも、なにか違う言葉を言ったほうがこの会話が続くのか、といったことをAIが判断して回答することになる」とした。

　坪井氏は、「りんなでは、シーケンス トゥ シーケンス＋アンテションを使っている。
学術的には使われている仕組みだが、この規模でサービスとして提供しているものはほかにないだろう。
まだテスト段階の技術であるが、これを解放することで、多くの人に使ってもらい、進化させていく。
仮説を立てても限界がある。コンピュータになにができるかではなく、コンピュータになにをさせるかが重要。
その考え方で開発すれば、AIは進化する。ぜひ多くの人にりんなの学習に協力してもらいたい」とする。

続きはソースで

関連ソース画像
https://www.newsweekjapan.jp/yukawa/assets_c/2016/08/yukawa160825-thumb-720x424.jpg
https://pc.watch.impress.co.jp/img/pcw/docs/1123/294/P1050047_l.JPG
https://pc.watch.impress.co.jp/img/pcw/docs/1123/294/z2_l.png
https://pc.watch.impress.co.jp/img/pcw/docs/1123/294/z1_l.png
https://pc.watch.impress.co.jp/img/pcw/docs/1123/294/P1050219_l.JPG

りんなが歌う、nana歌うまプロジェクト第1弾を通じた「旅立ちの日」の成果 - PC Watch
https://youtu.be/KYdW5FfbB6k



PC Watch
https://pc.watch.impress.co.jp/docs/news/1123294.html 

赤ちゃんは、体を触りながら話しかけると脳の活動が活発になるという実験結果を、京都大の明和みょうわ政子教授らのグループがまとめた。

　乳児期の発達にスキンシップが重要なことを裏付ける成果という。１５日の国際科学誌電子版に掲載された。

　実験は、生後７か月の乳児２８人を対象に実施。まず、大人がわきをくすぐりながらある単語を話しかけ、続いて別の単語をくすぐらずに話しかけた。

続きはソースで

読売新聞
http://www.yomiuri.co.jp/science/20171227-OYT1T50112.html