Development of deep learning and recognition functions for a monitoring system based on the combined use of environmental sensors and a mobile robot

2020 Fiscal Year Research-status Report

• Project/Area Number: 20K12761
• Research Institution: Fukuoka Institute of Technology
• Principal Investigator: 佐竹 純二 福岡工業大学, 情報工学部, 准教授 (60392726)
• Project Period (FY): 2020-04-01 – 2023-03-31
• Keywords: 見守りシステム / 移動ロボット / 呼吸推定 / 機械学習

Outline of Annual Research Achievements

環境センサと移動ロボットを連携させ、見守りを行うシステムの開発を行っている。具体的には、設置したカメラから得られる画像を用いて人物を発見・追跡し、人物の姿勢や動きをもとに状況を確認する。そして、人物が倒れ、より詳しい状態の推定が必要であると判断された場合には、移動ロボットが自動的に人物の傍へ行き、呼吸状態などのバイタルサインの確認や通報を行う。本研究では機械学習の技術を取り入れ、見守りシステムの認識性能を向上させることを目的とする。
2020年度の実績としては、次の3つのテーマについて研究開発を行った。
①天井カメラ映像を用いた転倒人物の姿勢推定：呼吸推定を行うためには移動ロボットを人物の背中側ではなく正面側から近づける必要があるが、Kinectでは転倒人物の姿勢を正しく認識できない。そこで、画像ベースの機械学習であるCNNを用いて転倒姿勢を推定する方法を開発した。
②距離変動からの呼吸推定方法の改良：先行研究ではKinectの距離画像を用いて人物の胸の動きから呼吸を推定する方法を提案していたが、腕や体などの動きを誤検知してしまい、正確な認識を行えていなかった。そこで、距離変動の波形をCNNで学習させ、呼吸による胸の動きとそれ以外の箇所の動きを判別する方法を開発した。
③骨格認識のズレに対応した姿勢推定：Kinectから取得できる骨格情報には誤りも多く、ズレが生じた際には姿勢を正しく判別できない。そこでSVMとNNの二つの機械学習手法を用い、骨格認識のズレに対応できる姿勢推定方法について研究した。骨格認識がズレた状態の骨格情報を含む学習データを用意し、それらも含めて学習させることで、正しく姿勢を認識できることを確認した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

新型コロナウィルスの影響により現時点では外部への研究発表はできていないが、当初の計画通り、機械学習の技術を用いて見守りシステムの認識性能を向上させる方法について研究を行った。当該年度には、天井カメラ映像を用いた転倒人物の姿勢推定や、距離変動からの呼吸推定方法の改良、骨格認識のズレに対応した姿勢推定方法などを開発した。
今後は高性能な深層学習用ワークステーションを用い、より大量のデータを学習させながら、さらに認識性能を向上させる方法について研究する。
そして、これまでの研究成果をまとめ、学会発表や論文投稿を行う。

Strategy for Future Research Activity

当初の計画通り、構築したシステムを用いて実証実験を行い、システムのさらなる改良や高機能化を行う。
2020年度には画像ベースの機械学習であるCNNなどを用いて認識を行う方法を開発した。今後は高性能な深層学習用ワークステーションを導入し、より大量の学習データを収集しながら、これまでの手法の改良や、新しい方法を用いて認識性能を向上させる方法について研究する。
また、2020年度は新型コロナウィルスの影響によって遠隔での作業が多くなったため、移動ロボットなどの実機を用いた研究作業を思うように進めることができなかった。しかし、移動ロボットを用いることで人同士の接触を避けることができる見守りシステムの需要は今後さらに高まると考えられ、そのような社会に役立つ研究開発を進めていく。

Causes of Carryover

当初の計画では「深層学習用ワークステーション」を購入する予定であったが、新型コロナウィルスの影響によって半導体が品薄＆価格高騰し、遠隔作業では実機の設定や大量の学習データ収集などが難しいこともあり、購入を次年度に延期することにした。