Natural reinforcement learning integrating intrinsic motivation and sociality

2022 Fiscal Year Final Research Report

• Project/Area Number: 20H04259
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61040:Soft computing-related
• Research Institution: Tokyo Denki University
• Principal Investigator: Takahashi Tatsuji 東京電機大学, 理工学部, 教授 (00514514)
• Co-Investigator(Kenkyū-buntansha): 甲野 佑 東京電機大学, 理工学部, 研究員 (10870313) ; 玉造 晃弘 東京電機大学, 理工学部, 研究員 (10876361) ; 太田 宏之 防衛医科大学校(医学教育部医学科進学課程及び専門課程、動物実験施設、共同利用研究施設、病院並びに防衛, 薬理学, 講師 (20535190) ; 浦上 大輔 日本大学, 生産工学部, 准教授 (40458196) ; 大用 庫智 関西学院大学, 総合政策学部, 講師 (60755685)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 強化学習 / 満足化 / 限定合理性 / 動物実験 / 機械学習

Outline of Final Research Achievements

aIn this project, we have formalized the mechanisms and merits of the natural reinforcement learning that humans and animals do. The formalization was done reconsidering the concepts of reward, motivation, task formalization (in terms of theory of computation), and sociality. Theoretically, we succeeded in a unification of bounded rationality, decision-making, and foraging theories from the notion of subjective regret. Some industrial applications were done and a principle of social learning under uncertainty was formulated. We also found that mice adaptively control the (asymmetric) learning rates under uncertainty, according to the environments that they face. It leads to a generalization of our theory.

Free Research Field

計算論的認知科学

Academic Significance and Societal Importance of the Research Achievements

人間や動物がどのように不確実な環境において学習しているかについての知見を深めました。これは今後、教育、訓練、社会活動などをどのように行うべきかについて指針を与える可能性があります。また、ChatGPTなどが人間と対話できるようにするために肝要な強化学習技術について、学習の目標を定めれば、それに向かって非常に効率的に学習を行えるようになりました。これは、生成AI、ゲーム技術、ロボット制御などにおいて広範な応用を得る可能性があります。