意識下の強化学習能力をメタ認知で開花させる

2020-09-01

2020-08-31 株式会社国際電気通信基礎技術研究所,カリフォルニア州立大学ロサンゼルス校,科学技術振興機構

ポイント

ｆＭＲＩニューロフィードバック手法を利用して、意識下の脳活動パターンが最適な行動を決めるように、試行錯誤の賭けゲームを設定し、ヒトを対象に強化学習実験を行いました。
ヒトは自身の脳内の意識下の情報を読み取って利用し、数百試行以内に、試行錯誤で強化学習ができました。
実験参加者が自身の視覚知覚判断についてより確信している試行ほど、ゲームでより最適行動を選択することが分かりました。さらに、学習するにつれて、強化学習を司っている脳部位（大脳基底核）と、メタ認知を司っている脳部位（背外側前頭前野）との間で、学習と確信度の情報が同期しました。
人工知能の難しい問題「学習サンプルが少数個しか無い時に、どのようにして非常に大規模で複雑な問題を学習するか」の解決にメタ認知が必要なことが分かりました。
ヒト脳で得られた本研究成果により、次世代ＡＩ学習アルゴリズムにおいても同様に、複雑な問題の解決にメタ認知が応用できる可能性が示されました。

ＡＴＲ脳情報通信総合研究所のＡｕｒｅｌｉｏＣｏｒｔｅｓｅ　主任研究員、川人光男　所長、カリフォルニア州立大学ロサンゼルス校と香港大学のＨａｋｗａｎＬａｕ　教授は、ヒトが金銭報酬を得るために自身の意識下の脳内情報を読み取り、成功失敗の情報だけから試行錯誤で（強化）学習できることを発見しました。さらに、確信度（メタ認知能力の重要な要素）がこの学習過程に含まれていることを明らかにしました。これらの結果は、脳がメタ認知を利用して、超多次元の複雑な問題を簡単化し、少数のサンプルだけから高速で効率的な学習をしていることを示しています。本研究成果は次世代のＡＩ開発に有用な指針を与えます。

本成果は２０２０年８月３１日（英国時間）に英国科学誌「ＮａｔｕｒｅＣｏｍｍｕｎｉｃａｔｉｏｎｓ」でオンライン公開されます。

本研究は、科学技術振興機構（ＪＳＴ）ＥＲＡＴＯ「池谷脳－ＡＩハイブリッドプロジェクト」（ＪＰＭＪＥＲ１８０１）（研究総括　池谷裕二）の一環として行われたものです。一部は、日本医療研究開発機構（ＡＭＥＤ）戦略的国際脳科学研究推進プログラムの「脳科学とＡＩ技術に基づく精神神経疾患の診断と治療技術開発とその応用」課題（ＪＰ１８ｄｍ０３０７００８）（代表　川人光男）の支援を受けています。またＨａｋｗａｎＬａｕ　教授は、米国ＮａｔｉｏｎａｌＩｎｓｔｉｔｕｔｅｏｆＨｅａｌｔｈ（ＮＩＨ）（Ｒ０１ＮＳ０８８６２８）からの支援も部分的に受けています。

詳しい資料は≫