Research on the act of viewing/looking/seeing and signs for acquiring visual autonomy in robots

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K19899
• Research Category: Grant-in-Aid for Early-Career Scientists
• Allocation Type: Multi-year Fund
• Review Section: Basic Section 61050:Intelligent robotics-related
• Research Institution: Kyoto University of Advanced Science
• Principal Investigator: Sato Yoshihiro 京都先端科学大学, 工学部, 講師 (00607591)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: ロボティクス

Outline of Final Research Achievements

The study explored three areas: collecting data on the human "act of seeing," modeling vision-related behavior, and reproducing the behavior with a robot. However, COVID-19 made it difficult to conduct experiments on human subjects. For data collection, we set up a simple soundproof darkroom and developed a device that could collect data using a surveillance camera and environmental sensors. In modeling the behavior, I conducted self-observation and obtained basic data. However, we considered an automatic labeling algorithm because the fluctuation range of temperature and humidity was small and it was difficult to manually label the data. On the other hand, since the research field has greatly advanced with the progress of AI, we newly conducted basic research on communication with AI using EEG devices.

Free Research Field

ロボティクス

Academic Significance and Societal Importance of the Research Achievements

本研究では、COVID-19パンデミックの制約下で「人間の視る行為」についてデータ収集とモデル化を試みた。また人間の自然行動を模倣するロボットの開発により、人間の行動理解とAIとの新たなコミュニケーション手法の開発を目指した。開発したロボットの設計デザインはオンラインにて公開している。さらに、脳波デバイスを用いたAIとのコミュニケーションの基礎研究を開始した。これらの成果は、今後の実験によるデータ取得によって補完されて、当初目的のように自然なロボットの振る舞いを実現できるようになる。また、大規模言語モデルの大きな進展により、その外側を担うロボットの重要性が上がっており、開発の土台となるだろう。