「聞こえた音、思い出した音」を脳波から音で再現する技術を開発～脳内の音声処理機構の理解に向けて～

2021-01-08

2021-01-08 東京工業大学,科学技術振興機構

ポイント

脳波信号から音声を直接再構築する手法を開発。
音を聞いている時、思い出した時に活動する脳領域の違いを示唆。
脳内聴覚や音声、および言語処理の客観的評価に脳波を利用できる可能性。

東京工業大学科学技術創成研究院の吉村奈津江　准教授（ＪＳＴ　さきがけ研究者兼務）、明石航　大学院生（研究当時）、神原裕行　助教、緒方洋輔　特任助教（研究当時）、小池康晴　教授、ルドビコ・ミナチ　特定准教授は、頭皮で記録された脳波信号（ＥＥＧ）から音声を直接再構築するために有望な手法を開発した。

参加者が２つの母音「ア」と「イ」を視聴後に思い出したときに記録されたＥＥＧを用いて、聞かせた音源のパラメータを畳み込みニューラルネットワーク（ＣＮＮ）によって推定した。推定されたパラメータを用いて復元した母音の音声は非常に明瞭で、実際に視聴した者とは別の参加者が音声の弁別を行ったところ、８５パーセントを超える認識率を示す音声だった。さらに、音源パラメータの推定のためにＣＮＮが抽出した脳波の特徴は、何の音かを特定するために使われる脳内の聴覚経路（Ｗｈａｔストリーム）に含まれる領域であり、この手法の脳科学的妥当性も示された。

この抽出された特徴を調べることで、音声を聞いている時とそれを想起している時の脳活動領域の違いがさらに示唆された。この手法はその人がどのように聞こえているか、聞こえていないのか、を客観的に把握し、さらに脳のどこを使っているのかを調べられる可能性があるため、ＥＥＧを利用した脳内の聴覚・音声・言語処理の評価が可能になる効果が期待される。

本研究は、国際科学誌「ＡｄｖａｎｃｅｄＩｎｔｅｌｌｉｇｅｎｔＳｙｓｔｅｍｓ」に２０２１年１月７日（ドイツ時間）に掲載された。

本研究は、ＪＳＴ戦略的創造研究推進事業さきがけ「人とインタラクションの未来」（研究総括：暦本純一　東京大学大学院情報学環　教授／株式会社ソニーコンピュータサイエンス研究所　副所長）研究領域における「脳波を用いたセルフケアサポートシステム」（研究者：吉村奈津江）（ＪＰＭＪＰＲ１７ＪＡ）、日本学術振興会科学研究費助成事業（基盤研究（Ｃ）１５Ｋ０１８４９）の支援を受けて実施された。

詳しい資料は≫