Construction of concept model based on segmenting multimodal time-series information

2019 Fiscal Year Final Research Report

• Project/Area Number: 17K12758
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Multi-year Fund
• Research Field: Intelligent robotics
• Research Institution: The University of Electro-Communications
• Principal Investigator: Nakamura Tomoaki 電気通信大学, 大学院情報理工学研究科, 准教授 (50723623)
• Project Period (FY): 2017-04-01 – 2020-03-31
• Keywords: 教師なし学習 / 物体概念 / 隠れセミマルコフモデル / マルチモーダル

Outline of Final Research Achievements

The purpose of this study is to develop a method to learn concepts using multimodal information that can be acquired by a robot. We developed a concept acquisition model using time-series multimodal information, and a method for learning concepts and word meanings interactively using joint attention. This allows unsupervised segmentation and classification of time-series information from the robot's sensors. Furthermore, by using joint attention, robots can learn the concepts in a cluttered environment where it is difficult for robots to learn by conventional methods.

Free Research Field

知能ロボティクス

Academic Significance and Societal Importance of the Research Achievements

ロボットが取得可能なセンサデータはラベル付けされておらず，また連続的な時系列情報である．このようなデータから教師なしでロボットによる学習を実現した．さらに，従来のロボットによる物体学習に関する研究では，教示対象物体以外が存在しない，または存在していたとして少数しかない環境で学習が行われていた．一方，本研究では，より実際の家庭環境に近い，物体が乱雑に置かれているような環境におけるロボットの物体学習を実現した．