Development of deep learning and recognition functions for a monitoring system based on the combined use of environmental sensors and a mobile robot

2022 Fiscal Year Final Research Report

• Project/Area Number: 20K12761
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 90150:Medical assistive technology-related
• Research Institution: Fukuoka Institute of Technology
• Principal Investigator: SATAKE Junji 福岡工業大学, 情報工学部, 准教授 (60392726)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 見守りシステム / 移動ロボット / 呼吸推定 / 機械学習

Outline of Final Research Achievements

In this research, we have developed a monitoring system based on the combined use of an environmental sensor and a mobile robot. Ceiling camera is used to detect anomalies such as a fall of a person, and a mobile robot approaches the fallen person to estimate respiration.
In order to improve the recognition performance of the monitoring system, we adopted machine learning technology. We developed a method for estimating the pose of a fallen person using CNN, which is image-based machine learning. In addition, we developed a method to acquire chest movements using Kinect and determine whether breathing is normal or not.

Free Research Field

医療福祉工学関連

Academic Significance and Societal Importance of the Research Achievements

本研究では移動ロボットが人物に近づいて状態確認を行う見守りシステムの開発を行ってきた。ユーザがセンサを装着する方法ではないため、ユーザの負担が小さく、システムに未登録のユーザにも対応できる。また、ロボットが移動することで、従来の監視カメラなどでは計測できない詳細な情報を取得できる。さらに、環境センサと連携することで、移動ロボット単体よりも高度な観測を行える。
なお、本研究が対象とする計測技術は、特に福祉・介護の分野で重要な技術であり、見守りシステムが自動化できれば人員不足の問題などを解消できる。また、詳細な状態確認が可能になれば、より安心・安全な社会を実現することができる。