「聞こえた音、思い出した音」を脳波から音で再現する技術を開発 ~脳内の音声処理機構の理解に向けて~

ad
ad

2021-01-08 東京工業大学,科学技術振興機構

ポイント
  • 脳波信号から音声を直接再構築する手法を開発。
  • 音を聞いている時、思い出した時に活動する脳領域の違いを示唆。
  • 脳内聴覚や音声、および言語処理の客観的評価に脳波を利用できる可能性。

東京工業大学 科学技術創成研究院の吉村 奈津江 准教授(JST さきがけ研究者 兼務)、明石 航 大学院生(研究当時)、神原 裕行 助教、緒方 洋輔 特任助教(研究当時)、小池 康晴 教授、ルドビコ・ミナチ 特定准教授は、頭皮で記録された脳波信号(EEG)から音声を直接再構築するために有望な手法を開発した。

参加者が2つの母音「ア」と「イ」を視聴後に思い出したときに記録されたEEGを用いて、聞かせた音源のパラメータを畳み込みニューラルネットワーク(CNN)によって推定した。推定されたパラメータを用いて復元した母音の音声は非常に明瞭で、実際に視聴した者とは別の参加者が音声の弁別を行ったところ、85パーセントを超える認識率を示す音声だった。さらに、音源パラメータの推定のためにCNNが抽出した脳波の特徴は、何の音かを特定するために使われる脳内の聴覚経路(Whatストリーム)に含まれる領域であり、この手法の脳科学的妥当性も示された。

この抽出された特徴を調べることで、音声を聞いている時とそれを想起している時の脳活動領域の違いがさらに示唆された。この手法はその人がどのように聞こえているか、聞こえていないのか、を客観的に把握し、さらに脳のどこを使っているのかを調べられる可能性があるため、EEGを利用した脳内の聴覚・音声・言語処理の評価が可能になる効果が期待される。

本研究は、国際科学誌「Advanced Intelligent Systems」に2021年1月7日(ドイツ時間)に掲載された。

本研究は、JST 戦略的創造研究推進事業 さきがけ「人とインタラクションの未来」(研究総括:暦本 純一 東京大学 大学院情報学環 教授/株式会社ソニーコンピュータサイエンス研究所 副所長)研究領域における「脳波を用いたセルフケアサポートシステム」(研究者:吉村 奈津江)(JPMJPR17JA)、日本学術振興会 科学研究費助成事業(基盤研究(C)15K01849)の支援を受けて実施された。

詳しい資料は≫

<論文タイトル>
“Vowel Sound Synthesis from Electroencephalography during Listening and Recalling”
DOI:10.1002/aisy.202000164
<お問い合わせ先>

<研究に関すること>
吉村 奈津江(ヨシムラ ナツエ)
東京工業大学 科学技術創成研究院 准教授

<JST事業に関すること>
舘澤 博子(タテサワ ヒロコ)
科学技術振興機構 戦略研究推進部 ICTグループ

<報道担当>
東京工業大学 総務部 広報課
科学技術振興機構 広報課

タイトルとURLをコピーしました