2022-03-18 大阪大学,科学技術振興機構
ポイント
- ヒトが画像(例:風景・文字)を想像することで、同じ意味の画像を画面に表示する技術を開発した
- ヒトが画像を見ながら別の画像を想像した場合の脳活動を明らかにし、想像した画像の意味内容を推定できることを示した
- ヒトの想像を映像として伝達する新しいコミュニケーションツールの実現可能性を初めて示した
大阪大学 大学院医学系研究科の福間 良平 特任助教(常勤)、大阪大学 高等共創研究院 栁澤 琢史 教授らの研究グループは、被験者が見た画像の意味(例:風景・文字)を頭蓋内脳波から推定する脳情報解読技術を開発しました。また、この技術を用いることで、被験者が想像した意味の画像を画面に表示できることを世界で初めて示しました。
画像を見ている際の脳活動は、見ている画像の色や形、意味だけでなく、見ている人の注意や想像によって影響を受けることが知られています。先行研究では、脳活動をAIで解読することで、ヒトが見た画像を推定できることが示されています。また、目を閉じた状態で想像した画像を脳信号から推定できることも報告されています。しかし、ヒトが画面を見ながら異なる画像を想像することで、想像した意味の画像を画面に表示できるかは明らかでありませんでした。
今回、栁澤 教授らの研究グループは、頭蓋内脳波から被験者が見た画像の意味内容を推定する脳情報解読器を作成しました。この脳情報解読器を用いて推定された意味内容の画像を画面に提示したところ、被験者が特定の意味の画像を想像することで、被験者が画面を見ながらでも想像している意味の画像を画面に表示できることを明らかにしました。さらに、ヒトが画像を見ながら別の意味の画像を想像する際の脳活動の特徴を明らかにしました。これらの成果により、ヒトの想像を映像として伝達する新しいコミュニケーションツールの実現可能性が初めて示されました。
本研究成果は、英国科学誌「Communications Biology」に、2022年3月18日(金)(日本時間)に公開されます。
本研究は、科学技術振興機構(JST) 戦略的創造研究推進事業 CREST研究(共生インタラクション、脳表現空間インタラクション技術の創出、JPMJCR18A5)の一環として行われ、大阪大学 大学院生命機能研究科の西本 伸志 教授、順天堂大学 脳神経外科 菅野 秀宣 先任准教授、奈良県立医科大学 脳神経外科 田村 健太郎 講師、京都大学 情報学研究科 神谷 之康 教授、大阪大学 大学院医学系研究科 脳神経外科 貴島 晴彦 教授らの協力を得て行われました。
<論文タイトル>
- “Voluntary control of semantic neural representations by imagery with conflicting visual stimulation”
- DOI:10.1038/s42003-022-03137-x
<お問い合わせ先>
<研究に関すること>
栁澤 琢史 (ヤナギサワ タクフミ)
大阪大学 高等共創研究院 教授
<JST事業に関すること>
舘澤 博子 (タテサワ ヒロコ)
科学技術振興機構 戦略研究推進部 ICTグループ
<報道担当>
大阪大学 大学院医学系研究科 広報室
科学技術振興機構 広報課
