Learning Platform of Episodic Memory on Adaptive Resonance Theory Multilayer Networks

2019 Fiscal Year Final Research Report

• Project/Area Number: 17K00384
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Research Field: Kansei informatics
• Research Institution: Akita Prefectural University
• Principal Investigator: Madokoro Hirokazu 秋田県立大学, システム科学技術学部, 准教授 (10373218)
• Co-Investigator(Kenkyū-buntansha): 下井 信浩 秋田県立大学, システム科学技術学部, 教授 (10300542) ; 佐藤 和人 秋田県立大学, システム科学技術学部, 教授 (80390904)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Keywords: 適応共鳴理論 / 自己組織化マップ / エピソード記憶 / パートナロボット / カテゴリマップ / 表情空間 / 分類粒度制御 / ビジランスパラメータ

Outline of Final Research Achievements

This study aimed to develop a new learning and memorizing system for hierarchically visualizing episodes according to the degree of emotions inferred from facial expressions. Although computer memories have improved quantitatively, its system architecture remains within a semantic memory. Therefore, the system that includes intelligent and friendly behavior used for robots has not been actualized. For this study, we constructed a new network that realizes episodic memory based on a deep learning framework through multi-layered learning. We employed adaptive resonance theory networks that enable stability and plasticity concerning time-series input features and incremental learning. During three years for this project, we have automatically extracted the number of categories, adaptive controlled the parameters that control the classification granularity, and established benchmark datasets.

Free Research Field

情報工学

Academic Significance and Societal Importance of the Research Achievements

本研究では，情動により対応付けられたエピソード記憶を基盤とする新しい情報記憶方式を確立するためのプラットフォームを開発した．また，評価のためのベンチマークデータセットを構築した．一般シーンの画像からコンテクストを生成し理解する研究と顔画像から表情を認識する研究はコンピュータビジョン分野の研究において個別に取り組まれていたが，本研究のように両者を同時に扱い，その発展型としてエピソード記憶へと結び付けた研究は初めての試みであった．本研究成果は，人間共生型のロボットへの応用に加えて，コンピュータや組込み機器においても利用者のエピソードに基づくインターフェスの設計に寄与できる．