公益財団法人テルモ生命科学振興財団

財団サイトへもどる

中高生と“いのちの不思議”を考える─生命科学DOKIDOKI研究室

サイト内検索

マンガdeひもとく生命科学のいま ドッキン!いのちの不思議調査隊

第3話 脳情報の解読

調査のまとめドッキンレポート

動画閲覧中の脳情報からどんな映像を見ているかを推定

脳には、目で見たことや耳に入る音、手触り、においなどさまざまな情報が入ってくる。こうした膨大な情報を、脳はどのように処理して物事を判断し、行動に結びつけているんだろうか? 脳活動データをもとにその秘密に迫ろうというのが、西本先生の専門ドキ。

まず、動画を見ている人の脳活動データから、その人がどんな映像を見ているかを推定した研究の映像を見せてもらったよ。左側が実際に見ている動画で、右側が脳活動から推定したもの。話をする女の人、この他にも、サバンナを歩くゾウ、空を飛ぶ鳥、飛行機…と、映し出される動画が次々に変化していく。それに合わせて、推定結果も次々に変わる。わーお、ぼんやりしているけれど同じような輪郭が浮かび上がっているよ!
2011年に発表されたこの研究は、世界を驚かせたんだって。

注:この図では被験者が見た映像をイラスト化した

視覚から意味内容へ

2016年には、動画を見ている人が知覚している意味内容を英単語で示した成果を発表したよ。下の図の右側に並んでいる英単語は、脳活動データから推定されたもの。より確実性が高そうだと判断された言葉が大きく表示されている。空やビルという文字が大きいね。すごいドッキ!! その後、単語だけでなく、見ている内容を文章化して示すことにも成功したんだって。

左:被験者が見た映像をイラスト化
右:脳活動から推定した意味内容。sky、tree、building、people、city、walkなどの単語が見られる

被験者が見た映像から推定した内容を文章化した一例

脳活動データを調べるfMRI

脳活動データをどうやって集めるんだろう?
映像を見てもらうときに被験者に入ってもらうのが、fMRI(functional Magnetic Resonance Imaging:磁気共鳴機能画像法)と呼ばれる装置だよ。病院などで見たことがある人もいるかもしれないね。

fMRIの装置。被験者にはこの中で映像を見てもらう

fMRIの原理を西本先生にわかりやすく教えてもらった。
「脳には血管網が張り巡らされていて、血液中のヘモグロビンが酸素を脳のすみずみ、とくによく活動しているところまで運んでいます。fMRIは、中に入っている人の頭の部分に弱い電磁波を当てて、返ってきた信号を計算することで、血液中に酸素を持ったヘモグロビンがたくさん流れている、つまり、脳活動が活発に起きている領域がどこなのか、脳を傷つけることなく計測できるスグレモノなんですよ」

fMRIでスキャンするときは、脳を2mm角の多数のボックス(「ボクセル」という)に分けて記録する。1秒に1回脳をスキャンすると、約8万点のデータが得られるそうだ。
下の図は得られたデータの一例だよ。赤いところがよく活動している領域、青いところはあまり活動していない領域で、見ている動画によって、活発な領域が変わっていく。こうして得られた膨大なデータをもとに、脳活動を推定していくんだって!

fMRIで得られる脳活動データの一例

暗号化された脳の言葉を、コンピュータモデルを作って解読する

先生は、「脳の活動データは、暗号化された脳の言葉だ」って言っている。パッと見ただけではその暗号は解けないけれど、この映像を見たときはこの領域の活動が活発になる、別の映像ではこの領域…というデータをコンピュータに取り込んで、映像中のどんな特徴を扱ったモデルを作ると、見ている映像と脳活動がうまくマッチするかを探っていく。

実際に見ている映像に対応する脳活動データの予測モデルをつくるのが「エンコーディング」。得られたデータからモデルを使って暗号を解読していくのが「デコーディング」だ。

モデル作りにあたっては、映像の特徴を抽出するために「運動エネルギーモデル」*という手法を採用し、工夫を重ねていったそうだ。
そして、fMRIの反応は実際より4-5秒遅れるので、時間のズレを補正するプログラムを組み込むことで、見ている映像の推定に成功したんだって!

*運動エネルギーモデル
網膜からの光信号を受け取って目に映ったものの形や動きの特徴を抽出する役割を果たす一次視覚野の神経細胞が、どのような刺激に応答するかを説明するモデル

また、知覚している内容を言葉で示した研究では、高次視覚野に関係する側頭葉の脳活動をうまく説明できる自然言語処理の技術を応用してモデルを作ったそうだよ。

いかに精度の高いモデルを作るかが研究者の腕のみせどころドキ!
何かを思い浮かべているときの脳活動解読への挑戦

実際に目で見ている映像を解読する技術はかなり進んだ。
次に西本先生たちが挑んだのは、実際に映像を見るのではなく、あるシーンを思い浮かべてもらったときの脳活動データから、どんな内容なのかを解読すること。
約1万語の単語が含まれる説明文でトレーニングした脳活動データをもとに推定したところ、「若い女性のことを思い描いている」、「動物が並んでいる」、「新しいビルが並んでいる」など、大雑把ではあるけれど、どんなトピックを思い浮かべているかを解読することに成功したそうだ。

脳内認知空間マップづくり

これまでの脳の研究の多くは、何かを見るとか、においを嗅ぐ、ある事柄を記憶するなど、単一の課題(=タスク)に取り組んでいるときに対応する脳の領野を探るという限定的なものだった。でも、脳の活動って、もっと多様だよね。
認知機能全般の高度なモデルを作りたい---そう考えた西本先生たちが取り組んだのが、日常的に行う103種類のタスクを行っているときの脳活動を記録すること。例えば、何の絵か判断したり、アルファベットを記憶したり、どんな音楽か判断したり、どの食べ物を食べたいか、計算結果が合っているかを調べたり…、こうして得られた脳活動データをもとに、2020年に「脳内認知空間」マップを発表した。

脳内認知空間マップ。点間の距離や色の違いは、脳内でどれくらい違っているかを表している。例えば動画認知と画像認知とは脳内で比較的近くにある。一方、運動は時系列を伴う活動だが、動画とは離れている一方、聴覚認知や内省とは近い位置になるなど、興味深い知見が得られた。

「さまざまなタスクに応じた脳の網羅的な活動状況を記録することで、同じ脳の領域が時間やタスクに応じて変化していくことや、組み合わせの変化などもわかるはずです。でもデータが膨大なので、私たちのラボだけではなかなか研究が進みません。そこで、興味を持っている人が誰でも解析できるよう、インターネットでデータを公開しています。この研究が進めば、これまでの研究よりさらに高い精度で、脳活動データから何を考えているかが解読できるようになるでしょう」
いろんな人の力で、脳の詳しいデータが読み解けるようになる日も近いのかもしれないドキ。

将来は思っただけでコンピュータを動かすことも可能に!

こうした脳情報解読の技術を使って、どんな応用が可能なんだろう? すでに2016年には、テレビコマーシャルの映像を見たときの視聴者のホンネを探る技術として実用化されたそうだ。

ALSなど、筋肉が衰える難病の人とのコミュニケーションなどもぐんとスピードアップできるはずだと先生は言う。現在は、「リンゴが食べたい」とまばたきなどによって文字を1字ずつ選んでいるけれど、そのシーンを思い浮かべるだけで意志が伝われば圧倒的に効率がよいドキ♪
患者さん向けの技術に限らない。
「例えば、思っただけでコンピュータを動かすことだって可能になるでしょう。fMRIのような大型な装置しか使えない現状ではむずかしいけれど、脳に電極を埋め込むなどすれば、遠くない将来に実現する可能性がありますよ」
アメリカの起業家のイーロン・マスクは、すでに2016年に「ニューラリンク」という企業を興し、ヒトの脳とコンピュータをつなぐブレイン・マシン・インターフェイス(BMI)の開発に乗り出しているんだって。でも、脳に電極を埋め込むなんて怖いドキ‥‥。

脳に興味を持ったのはどうして?

西本先生が脳情報の解読の研究をするようになった道のりもうかがったよ。

先生は、中学生のころから情報科学に興味があったそうだ。脳も情報を処理しているという点でコンピュータと似ているけれど、まったく違う原理で働いていて、脳の機能はずっとすごい。
「脳の情報処理の原理を調べてみたい」と考えていた高校生時代に、当時大阪大学で研究をしていた福島邦彦教授*が提唱した脳神経回路モデルのことを知って、大阪大学に入学。大学院では脳の一次視覚野の情報処理に関する研究に打ち込んだんだって。
大学院修了後の2005年から2013年までカリフォルニア大学バークレー校に勤務し、脳視覚機能研究の第一人者Jack Gallant教授のもとで、fMRIを使った脳情報デコーディングに取り組んだ。動画視聴中の脳情報の解読に成功し、世界をアッと言わせたのはそのときドッキ!

*福島邦彦教授
「ネオコグニトロン」という視覚パターン認識に関する階層型の脳神経回路モデルを提唱したほか、特定の視覚対象に注意を向けてその対象物を認識し,他の物体から切り出してくる「選択的注意機構のモデル」と呼ばれる神経回路モデルを提唱、現代の人工知能技術の基礎を研究し、「深層学習(ディープラーニング)の父」と言われる。

脳のモデルづくりの精度アップをめざして

この研究のおもしろさはどこにあるんだろう?
「試行錯誤しながら脳活動予測/解読モデルをつくり、精度を上げていくところが、むずかしく、またおもしろいところだ」と先生は言う。

2021年、西本先生たちのチームは、MIT-IBM Watson AIラボ*が開催した「The Algonauts Project 2021 Challenge」で、日常的な出来事を撮影した短い動画に対応するモデルを作るという課題に取り組んだ73チーム中、世界第3位に輝いたそうだ。

*MIT-IBM Watson AIラボ
AI研究を推進するために2017年にマサチューセッツ工科大学とIBMが連携して設立した研究所

このプロジェクトで、上位入賞チームのほとんどがディープラーニングと呼ばれる手法を利用したのに対して、西本先生のチームが使ったのが、「Vision Transformer」という、どこに注目すれば問題が解けるかを学習する仕組みのモデル。こんなふうに、世界中でいろんなモデルを使って、脳情報を解読しようとするチャレンジが続いているんだね。

「さまざまな手法で脳のモデルづくりの精度を上げていきながら、共通原理を見出し、脳の情報処理の秘密に迫りたい」と先生は考えているドキ。

どんな勉強をしたらいい?

これから脳情報解読の研究をしてみたい!と考える中高校生はどんな勉強をしたらいいんだろう?
計算の基礎となるのが数学。計測技術を理解するためには物理が必須で、モデル作りには情報の科目も大切。また、情報を収集したり研究を発表したりするためには英語が必要だし、そもそも概念を検討したり論理的に考えるときに基本となるのが国語、と先生。
「工学的な応用だけではなく、哲学や倫理も必要になってきます。脳に生じる現象そのものは物理現象ですが、意識とは何か、主体的な意識がどうやって生み出されるかといったことを考えるためには、哲学が問われる。結局、ふだんの科目のほとんど全部が関係しているってことですね」。

うーん、奥深い脳の秘密に迫るには、
結局全部の科目を頑張らなきゃいけないってことドキ。
脳の研究に興味がある人におすすめ!

まずは一般的な書籍から。脳のどこかに異常が起きたときにどうなるのかということから脳の研究は進んできた。お医者さんが書いた本から2冊を紹介すると…。

『火星の人類学者―脳神経科医と7人の奇妙な患者』

オリヴァー サックス/著 吉田 利子/訳 ハヤカワ文庫 2001年4月刊

『レナードの朝』などで知られる脳神経科医のオリヴァー・サックス氏のエッセイ。事故ですべてが白黒に見える全色盲に陥った画家、脳腫瘍によって新たに記憶できなくなってしまった青年、故郷の風景の詳細な記憶から絵を描き続けるサヴァン症候群の画家、「わたしは火星の人類学者のようだ」と語る自閉スペクトラム症の動物学者など、脳神経に障害をもつ7人の患者の往診を通じて、彼らの障害を、障害ではなく揺るぎないアイデンティティと創造力の源としてとらえ、人間の生きる価値を考える本。

『脳のなかの幽霊』

V・S・ラマチャンドラン、サンドラ・ブレイクスリー/著 山下篤子/訳角川文庫 2011年3月刊

切断された手足がまだあると感じるスポーツ選手、自分の体の一部を他人のものだと主張する患者、両親を本人と認めず、偽物だと主張する青年…。幻肢の専門家である神経科学者の著者が、患者の訴える症状を手がかりに、脳の働きについて仮説を立てては、それを立証するための実験をして、意識やクオリア、心など、脳の働きについて考えた本。

次はSF。神経科学が今後進んでいくとどうなるか?を考えるための思考実験としても興味深い。

『しあわせの理由』

グレッグ・イーガン/著 山岸真/訳 ハヤカワ文庫 2003年7月刊

主人公が12歳のとき、ロイエンケファリンという幸せを感じさせる脳内物質が異常分泌される病気になってしまう。どんな危険が迫っても幸せいっぱいで、治療するも失敗。30歳のとき、脳組織を修復する手術を受けると、今度は何にでも感動してしまう。
幸福って何?と考えさせる表題作をはじめ、仮想ボールを使って量子サッカーに興ずる人々と未来社会を描く「ボーダー・ガード」、事故に遭遇して脳だけが助かった夫を復活させようと妻が必死で努力する「適切な愛」、意識をロボットにコピーするとき移相夢と呼ばれる夢を見るという「移相夢」など、全9篇を収録した短編SF。

最後は脳についてもっと詳しく知りたい人向けの脳の標準的な教科書。大学生が学ぶ内容が含まれていて中高校生にはちょっと難しいかもしれないが、大学数学を知らないと無理という類の本ではないので、それほどハードルは高くない。

『カンデル神経科学(第5版)』

エリック R.カンデルほか/編 金澤 一郎、宮下 保司/日本語版監修 岡野栄之ほか/監訳メディカル・サイエンス・インターナショナル2014年4月刊

ニューロンの分子生物学から、認知、知覚、運動、思考・記憶などの高次機能、精神・神経疾患の基礎、システム脳科学まで。1,696ページ、図版1,007点。

目次
Part 1 概論
Part 2 神経細胞の細胞・分子生物学
Part 3 シナプス伝達
Part 4 認知の神経基盤
Part 5 知覚
Part 6 運動
Part 7 無意識下および意識下の神経情報処理
Part 8 神経発生と行動の発現
Part 9 言語、思考、情動、学習

このほか生命科学DOKIDOKI研究室の次の記事も読んでみてね!

(取材・文:「生命科学DOKIDOKI研究室」編集 高城佐知子)

マンガのページにもどる

この記事をみんなにシェアしよう!