意識下の強化学習能力をメタ認知で開花させる

ad
ad

2020-08-31 株式会社国際電気通信基礎技術研究所,カリフォルニア州立大学 ロサンゼルス校,科学技術振興機構

ポイント
  • fMRIニューロフィードバック手法を利用して、意識下の脳活動パターンが最適な行動を決めるように、試行錯誤の賭けゲームを設定し、ヒトを対象に強化学習実験を行いました。
  • ヒトは自身の脳内の意識下の情報を読み取って利用し、数百試行以内に、試行錯誤で強化学習ができました。
  • 実験参加者が自身の視覚知覚判断についてより確信している試行ほど、ゲームでより最適行動を選択することが分かりました。さらに、学習するにつれて、強化学習を司っている脳部位(大脳基底核)と、メタ認知を司っている脳部位(背外側前頭前野)との間で、学習と確信度の情報が同期しました。
  • 人工知能の難しい問題「学習サンプルが少数個しか無い時に、どのようにして非常に大規模で複雑な問題を学習するか」の解決にメタ認知が必要なことが分かりました。
  • ヒト脳で得られた本研究成果により、次世代AI学習アルゴリズムにおいても同様に、複雑な問題の解決にメタ認知が応用できる可能性が示されました。

ATR 脳情報通信総合研究所のAurelio Cortese 主任研究員、川人 光男 所長、カリフォルニア州立大学 ロサンゼルス校と香港大学のHakwan Lau 教授は、ヒトが金銭報酬を得るために自身の意識下の脳内情報を読み取り、成功失敗の情報だけから試行錯誤で(強化)学習できることを発見しました。さらに、確信度(メタ認知能力の重要な要素)がこの学習過程に含まれていることを明らかにしました。これらの結果は、脳がメタ認知を利用して、超多次元の複雑な問題を簡単化し、少数のサンプルだけから高速で効率的な学習をしていることを示しています。本研究成果は次世代のAI開発に有用な指針を与えます。

本成果は2020年8月31日(英国時間)に英国科学誌「Nature Communications」でオンライン公開されます。

本研究は、科学技術振興機構(JST) ERATO「池谷脳-AIハイブリッドプロジェクト」(JPMJER1801)(研究総括 池谷 裕二)の一環として行われたものです。一部は、日本医療研究開発機構(AMED) 戦略的国際脳科学研究推進プログラムの「脳科学とAI技術に基づく精神神経疾患の診断と治療技術開発とその応用」課題(JP18dm0307008)(代表 川人 光男)の支援を受けています。またHakwan Lau 教授は、米国National Institute of Health(NIH)(R01NS088628)からの支援も部分的に受けています。

詳しい資料は≫

<論文タイトル>
“Unconscious reinforcement learning of hidden brain states supported by confidence”
DOI:10.1038/s41467-020-17828-8
<お問い合わせ先>
<研究内容に関すること>

株式会社国際電気通信基礎技術研究所(ATR) 経営統括部 企画・広報チーム

<JST事業に関すること>

内田 信裕(ウチダ ノブヒロ)
科学技術振興機構 研究プロジェクト推進部 グリーンイノベーショングループ

<報道担当>

科学技術振興機構 広報課

タイトルとURLをコピーしました