2023-11-30 量子科学技術研究開発機構
ポイント
- 画像の線や色、質感、概念などの視覚的な特徴を、人の脳信号1)から読み出す「脳信号翻訳機」を構築。
- この「脳信号翻訳機」を用いて、被験者が画像を心に思い浮かべた時の脳信号から視覚的特徴を割り出し、その特徴をとらえた自然な画像に徐々に近づくよう生成系AI2)に描画させることで、心に描いた画像を復元することに世界で初めて成功。
- 医療・福祉分野への応用が進むブレイン・マシン・インターフェース3)技術への貢献に期待。
概要
量子科学技術研究開発機構(理事長 小安重夫、以下「QST」)量子生命・医学部門 量子生命科学研究所 量子生命情報科学研究チームの間島慶研究員、情報通信研究機構((NICT(エヌアイシーティー))理事長 徳田英幸)未来ICT研究所の小出(間島)真子研究員、大阪大学大学院生命機能研究科の西本伸志教授は、人が心の中で思い描いた任意の風景・物体などの「メンタルイメージ」を脳信号から読み出し、復元することに成功しました。
画像を実際に目で見ている人の脳の活動を機能的磁気共鳴画像法(fMRI)4)で計測し、その脳信号から見ている画像を復元できることは先行研究で示されています。しかし、メンタルイメージの復元は従来の方法では難しく、例えばアルファベットの文字や単純な幾何学図形など、限られた種類の画像でしか成功していませんでした。
これに対して研究チームは、目で見ている画像の復元に成功した既存の手法[出典1]をベースにしながら、近年発展の目覚ましい生成系AIとベイズ推定5)、ランジュバン動力学法6)を組み合わせた新手法を開発しました(別紙1参照)。この手法を用いて、画像の種類を限定することなく、人が心の中に思い描いたイメージを復元することに世界で初めて成功しました。
本成果は、他者の心の中にある認知や意識を客観的・定量的に捉える手段を提供するものであり、将来的には「心とは何か」の理解への道を拓くものと考えられます。また、メンタルイメージを用いた新たなコミュニケーションツール開発への応用や、本手法を利用したブレイン・マシン・インターフェース技術の開発と医療機器への展開が期待されます。
本研究は、神経科学・深層学習に関する論文が数多く発表されている国際誌Neural Networksに2023年11月27日オンライン掲載されました。本研究は、文部科学省 光・量子飛躍フラッグシッププログラム(Q-LEAP)(JPMXS0120330644)、科学研究費補助金 若手研究(20K16465)、科学技術振興機構(JST) さきがけ(JPMJPR2128)、CREST(JPMJCR18A5及びJPMJCR22P3)、ERATO(JPMJER1801)の支援を受けて行われました。
別紙1:本研究成果の概略図
本成果の研究の手法をまとめた図。手法をわかりやすく伝えるため比喩的な表現、および実際とは異なるイメージを使用しています。
補足説明
研究の背景と目的
計測された脳の信号から被験者の知覚・記憶内容・運動意図などを読み出す技術は脳情報解読技術(脳情報デコーディング技術)と呼ばれ、近年発展の目覚ましい機械学習・AIを使うことにより大きな進歩を遂げてきました。代表例として、ヒトが目で見ている画像(視覚画像)をfMRIによって計測した脳信号から復元できることが先行研究[出典1]で示されています(図1)。しかし、目で実際に見ている画像を復元できる一方で、人が心の中に思い描く画像(メンタルイメージ)の復元は、画像の復元精度が著しく低く(図1)、他の研究においても、アルファベットの文字や単純な幾何学図形、人の顔といった特定の種類の画像でしか成功例がありませんでした。
図 1. 従来法と新手法による視覚画像とメンタルイメージの復元結果
新手法では従来法と比べ、視覚画像、メンタルイメージ、双方ともに復元精度が上がっていることがわかる
研究の手法と成果
まず研究チームは、目で見ている画像について、脳信号から読み出せる情報の正確さを調べました。画像の情報は色や形、線分といった低次なものから、質感やおおまかな形などの中間的なもの、意味や概念といった高次なものに分類することができます(別紙1 AIの役割紹介<画像認識チーム>参照)。研究チームは低次から高次までの画像情報を9つの階層に分け、その階層ごとに脳から読み出せる情報の正確さを評価しました(図2)。目で見ている時とメンタルイメージ時とで脳から読み出せる情報の正確さを比較した結果、メンタルイメージ時では色や形、線分といった低次画像情報の正確さが特に大きく低減していることがわかりました。そこで、研究チームは生成系AIの画像生成機能を補助的に使うことで、このような部分的・不正確な情報からでも画像を復元できる手法を新たに開発しました。
図 2. 脳信号から読み出せる画像情報の正確さ(相関係数7))の比較。メンタルイメージ時では、情報の正確さが欠けていることがわかる
まず、被験者が見ている画像と脳信号を数値化する作業から始めました(別紙1 Step 1参照)。1,200枚の風景や物体などの写真を準備し、AI分野において画像認識のために設計された訓練済みのAIに入力しました。AIは1枚1枚の画像について、低次から高次にわたるさまざまな画像特徴を約613万個の数値で表現した「採点表」を作成します。あわせて、AIに入力したものと同じ写真を被験者に見せながら脳活動をfMRIで計測し、合計1,200枚分の脳信号データを取得します。本研究では、2019年に報告された研究[出典1]で取得したデータを用いました。また、本データの取得にあたっては、事前に全ての被験者から実験協力への同意(インフォームドコンセント)を得ています。
人の脳信号の中には見ている画像の特徴に関する情報が豊富に含まれているはずなのですが、脳信号は意味のある信号とノイズが入り混ざり複雑で、それをそのまま利用することができません。そこで計測された脳信号を、AIが画像認識の際に用いる「言葉」に翻訳する仕組みが必要であると考えました。研究チームは最初に取得した画像1,200枚分の「採点表」と、1,200枚分の被験者の脳信号データをもとに、脳信号を「採点表」に翻訳する「脳信号翻訳機」を構築しました(別紙1 Step 2参照)。この「脳信号翻訳機」を用いると、脳信号のみから被験者の体験している画像の「採点表」を得ることができます。この翻訳機には、新たに計測された脳信号を入力することができ、被験者が目で見ている画像のみならず、心の中で想像している画像に対しても「採点表」を得ることが可能になります。
研究チームは「脳信号翻訳機」を用いて、心の中で画像を思い描いている時の脳信号から「採点表」を取得しました。この脳信号から翻訳された「採点表」が、メンタルイメージを復元するための唯一の手掛かりになります(別紙1 Step 3参照)。この時、被験者が思い浮かべる画像はどんなものでも構いません。実験では、あとで行う復元精度の検証のために、実験前にあらかじめ被験者に複数の画像を見せておき、fMRIによる脳信号計測時に、それを一つずつ心の中でイメージしてもらうことで「採点表」を取得しました。復元されたメンタルイメージと、元の画像とを比べることで、復元精度の検証を行いました。
「脳信号翻訳機」による翻訳の後、生成系AIに画像を描かせることで、メンタルイメージの復元を行います。生成系AIは最初にランダムに画像を作成します。そして、脳信号から翻訳された「採点表」を参照しながら、画像の評価、修正・更新を繰り返していきます(別紙1 <画像復元チーム>およびStep 3参照)。画像のもっともらしさの評価(妥当性)は、「採点表と比べた画像としての近さ」、「採点表と比べた意味としての近さ」、「画像としての自然さ」の三つを統合して計算されます。研究チームは統計学・確率論におけるベイズ推定の方法を用い、「総合的な画像のもっともらしさ(妥当性)」を計算する数式を考案しました。そして、妥当性の高い画像を生成系AIに描かせるために、化学分野で分子・原子の運動をシミュレーションする際に使われる「ランジュバン動力学法」を利用しました。これにより、修正を繰り返して画像の妥当性を高めていくことができ、無作為に生成を行うよりも効率的に妥当性の高い画像を生成することができます(図3)。修正は500回ほど繰り返され、研究チームは4分ほどの時間で脳信号からメンタルイメージを復元することができました。
図 3. 生成系AIが脳信号をもとに画像の修正を繰り返し、メンタルイメージを復元していく様子(画像下の数字は更新回数)
最後に復元した画像の評価を行いました。脳信号から復元されたメンタルイメージとその元画像(被験者の思い浮かべる対象とした画像)との近さを定量的に評価するため、脳信号から復元されたメンタルイメージをもとに、元画像を当てることができるかを調べました。一つの復元画像に対し、その元画像とランダムに選んだ画像1枚の二択を提示し、どちらが復元した画像の元画像であるかを人の知覚に準じた判断ができる機械に当てさせました。その結果、従来法[出典1]による復元画像の場合の正解率は50.3%、つまり復元した画像が全くヒントにならなかったのに対し、新手法では75.6%と有意に高い正解率が得られ、復元した画像が元画像の特徴を表していることが示されました。
今後の展開
本成果は、メンタルイメージの復元を介した診断の補助やブレイン・マシン・インターフェース技術への応用が期待されます。例えば、脳信号を読み取ることで、意思の疎通が困難な患者から医師や家族に意思をスムーズに伝えることができたり、思いのままに義手を動かせるようになったりなど、医療や福祉分野においてより革新的な技術を生み出すことが期待されます。
また、量子生命科学の分野では、生体ナノ量子センサなどの量子計測・センシング技術8)等を用いて脳・神経におけるミクロレベルの生命活動を計測し、マクロレベルで認知機能や意識が生み出されるメカニズムを明らかにしようとする研究などが進められています。本成果は、メンタルイメージを客観的に復元することによって、こうした研究にもブレイクスルーをもたらすものであり、分子・細胞のふるまいから認知や意識の状態までを途切れなく説明すること、すなわち「心とは何か」の理解へ道を拓くものです。
なお、本研究で開発された手法は、あらかじめ十分な事前学習を行うことによって被験者とAIの間に「脳信号翻訳機」という関係性を成立させることが不可欠であるため、「他人の心を同意無しに読み取る」といった用途に利用できるものではありません。しかし、将来的にこの分野が進展していく先にあるかもしれない倫理的課題などに対しては、適切な検討が必要であると考えています(詳しくは文部科学省ホームページ「脳科学研究と社会との調和について」https://www.mext.go.jp/b_menu/shingi/gijyutu/gijyutu2/shiryo/attach/1236342.htmをご覧ください)。
用語解説
1)脳信号
機能的磁気共鳴画像法(fMRI)から得られる脳活動状態を反映する計測値のこと。
2)生成系AI
AIのモデルの一つ。大量のデータで学習することで、学習を済ませた生成系AIは新たな画像、動画、音声・音楽、文章、などを生成することができる。本研究では画像を生成する生成系AIを用いている。
3)ブレイン・マシン・インターフェース
手足や感覚器官を介さずに、脳と機械、コンピュータを直接繋ぐことで、意思疎通やロボット、コンピュータの操作を行う技術を指す用語。本研究の手法を用いて、脳信号から心の中の映像を読み出すことで、従来にはない新しい形の意思疎通や芸術活動・創作活動、悪夢や幻覚の医療診断を行うブレイン・マシン・インターフェース開発につながる可能性がある。
4)機能的磁気共鳴画像法(fMRI)
磁気共鳴画像装置(MRI装置)を用いて被検者の脳活動状態を安全に(非侵襲的に)計測し、画像化する方法。MRI装置から発生する磁場内に横たわる被検者にラジオ波を照射し、はね返ってくる電波を計測することで、脳内の局所的な酸素消費状態や、これに関連する神経細胞の活動状態を求めることができる。
5)ベイズ推定
統計学・確率論における推定手法の一つ。観測されたデータを元に、観測のできていないデータの推定を行うもの。天気予報にも用いられるもので、予測結果が確率的なものとなる(例:雨=30%、晴れ=10%、曇り=60%)。本研究では脳信号から読み出した(翻訳した)心の中に描かれた画像の特徴データを元に、心の中に描かれた画像を推定している。
6)ランジュバン動力学法
化学の分野において、原子・分子の動きをシミュレーションするための計算方法の一つ。近年、AI分野において転用され、ベイズ推定の計算結果を効率的に算出するためにも用いられている。本研究では、ベイズ推定によって、心の中に描いた画像を脳信号から復元する際、この方法で復元画像を構成している。ランダムな画像を最初に用意し、ランジュバン動力学法の更新ルールに従い、修正を繰り返すことで、十分な回数(本研究では500回)の修正後に、ベイズ推定の予測確率に合った画像を手に入れることができる。
7)相関係数
二つの変量の間の相関関係の度合いを数値で表したもの。相関係数が0であれば、二つの変量の変動が全く一致していないことを意味し、1.0であれば、完全に一致していることを示す。本研究では被験者が見た元画像の持つ特徴を示す数値と、脳信号を翻訳することでそれを推定した値との一致度合いを相関係数によって評価している。
8)生体ナノ量子センサなどの量子計測・センシング技術
電子や光子などが持つ量子性を活用した、既存技術では実現できない高感度な計測・センシング技術。近年、その生体応用を目指した開発が精力的に進められている。QSTでは、ナノサイズのダイヤモンドに量子ビームを当てて作った結晶の乱れ(NVセンター)を用いて、細胞内の微小環境に生じる温度やpHなどの変化を精密に測定する「生体ナノ量子センサ」が開発され、脳神経活動の状態評価などに適用されている。。
掲載論文
タイトル:Mental image reconstruction from human brain activity: Neural decoding of mental imagery via deep neural network-based Bayesian estimation
著者名:Naoko Koide-Majima, Shinji Nishimoto, Kei Majima
雑誌名:Neural Networks
DOI:10.1016/j.neunet.2023.11.024
出展
1.Shen G, Horikawa T, Majima K, Kamitani Y (2019) Deep image reconstruction from human brain activity. PLoS Comput Biol 15(1): e1006633. https://doi.org/10.1371/journal.pcbi.1006633
