脳とAIエージェントの同時学習で、痛みをコントロールする脳のシステムを強化できる

2020-08-14 株式会社国際電気通信基礎技術研究所(ATR),国立研究開発法人日本医療研究開発機構(AMED)

本研究成果のポイント

体の傷が癒えた後も痛みが長時間続く症状を、「慢性疼痛」と呼びます。慢性疼痛は、身体の損傷を検知して脳に伝える痛覚神経回路の異常によって起こります。
慢性疼痛は最大の医療課題の一つですが、効果的な治療法が確立されておらず、新しい治療法の技術的革新が求められています。
私たちの研究グループは、デコーディッドニューロフィードバック(DecNef)と呼ばれる手法に基づいて、新しいタイプの疼痛治療法開発の実現可能性を探ることを目的とし、実験参加者が痛みの脳活動パターンを制御する訓練を行いました。
本研究では、実験参加者とコンピュータ内のAIエージェントが互いを訓練し合う双方向ニューロフィードバックシステムを開発し、両者が同時に学習することにより、痛みを調節する脳内システムの活動パターンを変化させることに成功しました。
この結果から、ニューロフィードバックにより、ヒトの脳に本来備わっている痛みをコントロールするシステム(内因性疼痛制御システム)を強化できることが分かりました。

概要

株式会社国際電気通信基礎技術研究所(略称ATR)・脳情報通信総合研究所、国立研究開発法人情報通信研究機構・脳情報通信融合研究センター(略称CiNet)、ケンブリッジ大学、オックスフォード大学などのグループは、ヒトとコンピュータ内の人工知能(AI)エージェントが互いを訓練し合う双方向ニューロフィードバックシステムを開発し、両者の学習によりヒトの痛みを調節する脳内システムを強化することに成功しました。

実験では、実験参加者の手に取り付けた電極に2つの異なる強度の電流を流すことにより、異なる強さの痛みを感じるようにします。ニューロフィードバック[1]実験では、実験参加者は痛み刺激に対する脳活動パターンがより識別しやすくなるように学習を行い、AIエージェントは、参加者の機能的磁気共鳴画像(functional Magnetic Resonance Imaging;fMRI)[2]を解読(デコーディング)して[3]、参加者がより弱い痛みを感じる刺激を与えるように学習します。この参加者とAIエージェントによる双方向の学習によって、痛みそのものを表現する皮質領域ではなく、末梢から送られた痛み信号を制御する脳部位の活動パターンが変化することがわかりました。本研究の結果は、ニューロフィードバックを用いた脳-AIエージェントの双方向学習により、ヒトの脳に本来備わっている痛みをコントロールするシステムを強化できる可能性を示しています。本成果は、慢性疼痛の新しい治療法開発への応用など、今後の疼痛治療への貢献が期待されます。

背景

転んで膝をすりむいたり、熱いものが肌に触れたりすると短時間の痛みを感じます。一般的に多くの人が「痛み」という言葉からイメージするのはこの急性疼痛で、身体組織が損傷した場所で炎症が起き、痛みの信号が背骨の中の神経を伝って脳に送られ、痛みの有無や強度が脳内で判定されます。このような急性疼痛は、痛みの原因となるケガや火傷を治療することによって徐々に改善されます。しかし、痛みが病気やケガの傷が癒えた後も継続したり、数ヶ月から数年の間にわたって繰り返し起こったりする場合もあります。このような痛みは「慢性疼痛」と呼ばれ、身体の損傷を検知して脳に伝える痛覚神経回路の異常によって起こると考えられています。

慢性疼痛は21世紀の最大の医療課題の一つであり、特に日本を含む先進国では、人口の5人に1人が生涯に一度は慢性疼痛による日常生活への支障を経験します。慢性疼痛の発症率は高齢になるにつれ増加し、慢性的な痛みは社会的および職業的に自立した生活を送るための能力に悪影響を及ぼすため、少子高齢化社会において莫大な社会経済的コストがかかります。しかし、慢性疼痛の効果的な治療は非常に難しく、薬物治療は十分な効果がないばかりか、むしろ厄介な副作用を起こすことが多いというのが現状です。そのため、慢性疼痛治療、特に非薬物治療の技術的革新が急務となっています。

本研究は、デコーディッドニューロフィードバック(DecNef)と呼ばれる手法[4]に基づいて、新しいタイプの疼痛治療法開発の実現可能性を探ることを目的とした、前臨床的研究です。痛みを対象とした最初のfMRIニューロフィードバック実験は、十数年前に米国で成功が発表されましたが、その結果は再現されておらず、痛みに対するニューロフィードバック法の確立は困難であると考えられてきました。従来のニューロフィードバックでは、fMRIなどの神経画像技術を用いて特定の領域の脳活動を測定し、実験参加者はその活動度をコントロールしようとします。しかし、測定される脳活動が機能特異的ではないことが多いため、疾患の治療法開発を対象とした研究の成功例は少数に限られます(例えばYoung KD et al., Am J Psych, 174, 748-755, 2017)。一方、DecNefは、機械学習を使って脳活動の複雑なパターンを「デコード(情報解読)」することによって特異性の問題を解決し、制御対象とする機能にはるかに正確に焦点を当てることができます。これまで、DecNefなど先進的ニューロフィードバックはPTSD、自閉スペクトラム症、統合失調症、恐怖症、うつ病などに応用されており成功を収めています。

本研究では、DecNefによる疼痛治療を目指し、
i)痛みに関連する脳活動のパターンが解読可能で、ニューロフィードバックの信号として実時間[1]利用できるかどうか、
ii)ヒトが、痛みに関連する脳活動パターンを自らコントロールできるかどうか、
iii)脳活動パターンをコントロールすることで実際に痛みが軽減されるかどうか、
を明らかにするため実験を行いました。

研究内容

実験では、健康な実験参加者とコンピュータ内のAIエージェントが互いを同時に訓練し合う双方向ニューロフィードバックシステムを開発し、学習により、痛みに対する脳活動パターンがどう変化するかを調べました(図1)。実験には、19名の健康な成人が参加しました。痛み刺激は、実験参加者の手に取り付けた小さな電極に電流を流すことで、短く鋭い痛みを感じる電気刺激として与えます。電気刺激の強さは、様々に調節できるようになっています。実験前に、様々な強さの電気刺激を参加者に与え、刺激による痛みの程度を視覚的アナログスケール(Visual Analogue Scale;VAS)[5]を用いて主観的に評価してもらいました。このVASをもとに、強いと感じられる刺激と弱いと感じられる刺激を1つずつ、参加者ごとに選定しました。

図1　双方向ニューロフィードバックシステム。ヒトのニューロフィードバック学習では、2つの痛み刺激に対する脳活動パターンを識別されやすくなるように制御する訓練を行う。痛み刺激を受けた時の脳活動パターンは、事前に作成した痛みデコーダーに入力され、デコーダーは与えられた痛み刺激の強弱を推定する。この推定値を用いて、AIエージェントは、実験参加者が強い痛みを感じるトリガーを出力しないように強化学習を行う。

fMRI装置内での脳活動計測実験は2日間にわたって実施し、最初に各参加者の脳画像データから痛みの強弱を解読(デコード)するデコーダーを作成する実験を行い、次に、作成したデコーダに基づいたニューロフィードバック実験を行いました。デコーダー作成実験の各試行では、参加者に強いあるいは弱い電気刺激を不規則な順番で与えました。ニューロフィードバック実験では、強弱どちらの電気刺激があたえられるかは、制御コンピュータ内のAIエージェントが決定しました。

ニューロフィードバック実験のAIエージェントは、入力信号として与えられる参加者の脳活動パターンから、参加者が強い痛みを感じているか弱い痛みを感じているかを解読し、より弱い痛みを与える刺激を送ることを目的として作動するソフトウェアです。例えば、参加者が強い痛みを感じたとAIエージェントが推定した場合は、その脳活動を引き起こした刺激を選択する確率が低くなるように学習します。これは、計算論的神経科学やAI分野における強化学習[6]のアルゴリズムに基づいています。実験データから、痛みの強さを脳活動パターンから解読可能であり(図2A)、これを学習信号としてAIエージェントが正しく学習し、実験参加者の痛みを減らすように学習できることがわかりました(図2B)。これは、痛みによって生じる脳活動パターンが実時間フィードバック実験に利用可能であることを示す結果です。

図2　A)訓練前(実験1日目)の脳活動データから作成した痛みデコーダーを用いて、訓練中(実験2日目)の脳活動パターンから痛みの強さを推定した結果。図の縦軸は強い痛みを感じたと推定した確率を表し、各バーは各セッションに含まれる30試行での平均値と標準誤差を示す。強い電流刺激を与えた時(赤色)は約60%の確率で強い痛みを感じたと推定でき、これは弱い電流刺激を与えた場合(青色)と比較して有意に高かった。B)フィードバック実験中のAIエージェントの学習曲線。AIエージェントは2種類のトリガーを出力し、そのトリガーによって引き起こされた脳活動パターンから、出力の良さを「価値」として学習する。試行を繰り返すことにより、強い電流刺激を作動するトリガーの価値は低く、弱い電流を起こすトリガーの価値は高くなるように学習することができた。C)ニューロフィードバック訓練による痛みの解読精度の変化。痛み処理の主要脳部位である島皮質(Insura)や第二体性感覚野(SII)では、訓練により解読精度が低下したのに対し、痛みを制御する部位である前部帯状皮質膝前部(pgACC)では解読精度が上昇した。

一方で、実験参加者は、与えられる痛みを弱くするためには、AIエージェントがより効率良く正しく学習できるように自らの脳活動を操作できるよう訓練する必要があります。そのためには、より精度の高い学習信号を送る、すなわち2つの異なる強度の痛み刺激に対して、その刺激に対する脳活動パターンをより識別されやすく表現するように学習を行うことが求められます。ヒトは実際に痛みに特化した脳の活動パターンを脳内でコントロールできるのでしょうか。驚くべきことに、答えは「ノー」でした。ニューロフィードバックのための「標準的な」潜在的ターゲット-痛み処理の主要な脳領域-のどれも、参加者の意志によって制御することができませんでした。つまり、標準的なDecNefでは、痛みの表現そのものを短時間でより識別されやすいように学習することは非常に困難であることが分かりました。

しかし、前部帯状皮質膝前部(pgACC)と呼ばれる大脳皮質前頭前野内側部の小さな領域では、訓練によって痛みの解読精度が上昇し、ニューロフィードバックによってパターンの制御が可能であることが分かりました(図2C)。この領域は、典型的な疼痛の感覚処理領域ではありませんが、疼痛システムの重要なコントロール領域であることが知られています。特に興味深いのは、脊髄を通って痛みの神経が末梢から入ってくる場所(例えば、腕や足の神経受容体)に遠心性の信号を送ることで、痛みの信号を上げたり下げたりする能力があり、皮質に入力される痛みのメッセージを効果的に増幅したり減衰することができるということです。実質的には、DecNefはヒトの痛みを直接物理的に軽減するように脳を訓練していたのではなく、内在的に痛みを調節するように脳を訓練していることが分かりました。

では、脳活動をコントロールする訓練を行うことによって、実際に刺激に対する痛みの評価を変化させることはできるのでしょうか。研究グループは、訓練前と訓練後の主観的な痛みの変化を調べるために、2つ目の実験を行いました。この実験では、より簡便に脳活動を計測することができる脳波計(Electroencephalograph;EEG)を用い、fMRI実験と同様のニューロフィードバック実験を行いました。痛み刺激に対する評価の変化には、オフセット鎮痛に対する影響を調べました。オフセット鎮痛とは、「強い刺激に一時的にさらされると、ほんの僅かに痛み刺激を弱めただけで、痛み感覚が大幅に減少する」という現象を示します。これは、痛みが軽減したことに対して「ほっとする反応」であり、pgACCを含む内因性鎮痛機構による影響だと考えられています。また、慢性疼痛患者ではオフセット鎮痛機能が減少し、その程度は痛み罹患期間と相関することが知られています。実験には28名の成人が参加し、ニューロフィードバックを行う実験群とコントロール郡の二群について、実験前と実験後にオフセット鎮痛の効果を計測しました。オフセット鎮痛の計測には、持続的な痛みを与えるために温熱刺激装置を用いました。痛みに対する評価(VAS)の結果から、ニューロフィードバック訓練を行うと、痛みに対する鎮痛効果がより強く働くことが分かりました(図3)。

図3　持続的温熱刺激に対するオフセット鎮痛効果を調べた結果。縦軸は正規化した痛み強度のスケール(VASによって計測)を示し、横軸は刺激の時間変化を示す。痛み刺激の強度は、参加者の手に取り付けられたサーモード(熱極)の温度を変化させることで変えることができる。サーモードの温度は最初45度に設定され、時刻T2で46度に上昇し(強い刺激)、その約7秒後(時刻T3)に再び45度に戻る。オフセット鎮痛効果は、強い刺激が解除された際に(T3)、それ以前(T2以前)と比較して痛みの主観的評価値が低くなる現象として計測できる。ニューロフィードバック群(A)では、訓練実験後にオフセット鎮痛効果が強化されていることが分かった。このような効果はコントロール群では確認されなかった。

今後の展望

痛みの内在的な調節は、脳が自然に痛みを軽減したり、増加させたりするプロセスとして起こります。例えば、楽しいこと(お気に入りのテレビ番組を見るなど)に注意を払うと、痛みが軽減されます。これは、テレビ番組に集中できるように脳が痛みを抑制するシステムが働くからです。この痛みの内在性調節機能の低下は、慢性的な痛みを引き起こす重要な要因であることがわかっています。

本研究の結果は、ニューロフィードバックを用いた脳-AIエージェントの双方向学習により、ヒトの脳に本来備わっている痛みをコントロールするシステム(内因性疼痛制御システム)を強化できる可能性を示しています。ニューロフィードバックにより、ヒトが自分の痛みを内在的に調節できるように訓練することができれば、慢性疼痛の新しい治療法開発への応用など、今後の疼痛治療への大きな貢献が期待されます。

この先の医療・社会応用については、神経倫理の専門家とともに社会的な影響を検討しながら、医師とともに慎重に進めて行きたいと考えます。また、進捗状況を逐次公開し、社会の理解と評価のもとに進めます。

論文情報

Pain control by co-adaptive learning in a brain-machine interface.
(ブレイン・マシン・インターフェースにおける共適応学習による痛みの制御)
Suyi Zhang, Wako Yoshida, Hiroaki Mano, Takufumi Yanagisawa, Flavia Mancini, Kazuhisa Shibata, Mitsuo Kawato, and Ben Seymour. (2020).
Current Biology誌(2020年8月13日、米国東部標準時、午前11時00分　オンライン版公開)

研究グループ

本研究は、ケンブリッジ大学のSuyi Zhang研究員(スイチャン;ATR脳情報通信総合研究所、オックスフォード大学)、ATR脳情報通信総合研究所の吉田和子客員研究員(よしだわこ)、情報通信研究機構脳情報通信融合研究センターの眞野博彰研究員(まのひろあき)、大阪大学高等共創研究院の栁澤琢史教授(やなぎさわたくふみ)、ケンブリッジ大学のFlavia Mancini研究員(フラヴィアマンチニ)、理化学研究所脳神経科学研究センターの柴田和久チームリーダー(しばたかずひさ)、ATR脳情報通信総合研究所の川人光男所長(かわとみつお)、ケンブリッジ大学のBen Seymour(ベンシーモア;ATR脳情報通信総合研究所、CiNet、オックスフォード大学)の共同研究成果です。

*( )内は氏名よみ、兼務先を表記。

研究支援

本研究は、国立研究開発法人日本医療研究開発機構(AMED)・脳科学研究戦略推進プログラムによって実施されている「Brain Machine Interface Development」の中の『DecNefを応用した精神疾患の診断・治療システムの開発と臨床応用拠点の構築』課題(代表川人光男)および「戦略的国際脳科学研究推進プログラム」によって実施されている『脳科学とAI技術に基づく精神神経疾患の診断と治療技術開発とその応用』課題(代表川人光男)の研究として行われたものです。また、Ben Seymourは、以下の研究資金からの支援も受けています。

英国　Wellcome Trust
英国　Arthritis Research (Versus Arthritis)
独立行政法人情報通信研究機構
韓国　The Institute of Information & Communications Technology Planning & Evaluation (IITP)

用語説明

[1](実時間)ニューロフィードバック: ニューロフィードバックは、脳の状態をモニタリングしながら、特定の脳の状態を誘導する方法です。一般的なニューロフィードバックでは、対象とする脳領域の活動度を上げたり下げたりします。実時間ニューロフィードバックでは、計測した脳活動をリアルタイムで解析し、実験参加者に解析結果を即座にフィードバックとして知らせます。
[2]機能的磁気共鳴画像(functional Magnetic Resonance Imaging;fMRI): 酸化型と還元型ヘモグロビンの磁化率の違いを利用して、粗く言えば、脳全体の血流量の変化を画像化する技術です。酸化型と還元型ヘモグロビンの量の違いは脳活動の度合いを反映しているため、この画像を解析することで、各脳部位の活動度合いを推定することができます。
[3]脳活動パターン・デコーディング: 空間的な脳活動パターンを解読(デコード)し、人の認知や知覚の状態を推定することを一般的にデコーディングと呼びます。計測したfMRIデータは、ボクセルとよばれるたくさんのデータ点を含みます。それぞれのデータ点が、数ミリという脳内のごく小さなエリアの活動量を指し示しています。空間的脳活動パターンとは、多数あるfMRIデータ点のうち、どのデータ点(エリア)が大きな値(脳活動を示す信号)を持ち、どのデータ点が小さな値を持つのか、という空間的な情報を指します。空間的脳活動パターンを解読(デコード)するためには様々な人工知能アルゴリズムが用いられます。
[4]デコーディッドニューロフィードバック(Decoded Neurofeedback;DecNef): fMRIと人工知能技術を組み合わせ、対象とする脳領域に特定の活動パターンを誘導する方法です。従来のニューロフィードバックと異なる点として、脳領域全体の活動度ではなく、脳領域を細かく分解して「この部分は活動が上がっているけれどもここは下がっている」、というように、脳領域内の活動パターンを誘導する点です。ATRで実施された先行研究(Shibata et al., Science, 2011)において、世界に先駆けて開発されました。
[5]視覚的アナログスケール(Visual Analogue Scale;VAS): 国際的に痛みの評価ツールとして合意されているスケールで、直線の左端を「痛みなし」、右端を「これ以上ない痛み(これまで経験した一番強い痛み)」として、感じた痛みが直線状のどの位置に対応するかを視覚的に評価する方法です。本研究では、痛みの段階を0から10までの11段階に分け、参加者は痛みの程度を数字で選択しました。
[6]強化学習: 強化学習とは、学習者である「エージェント」がある設定された環境の中で、環境から与えられる報酬が一番多くなるような行動を獲得するための機械学習法です。エージェントは、自分の取った行動が良かったか悪かったかを、その行動を取った際に得られた報酬に基づいて「価値」として計算し、価値が高い行動を高い頻度で選ぶように学習を行います。強化学習は試行錯誤によって学習を行う方法で、ヒトや動物の学習方法と類似すると考えられています。