2021 Fiscal Year Research-status Report
Development of deep learning and recognition functions for a monitoring system based on the combined use of environmental sensors and a mobile robot
| Project/Area Number |
20K12761
|
|---|
| Research Institution | Fukuoka Institute of Technology |
|---|
Principal Investigator |
佐竹 純二 福岡工業大学, 情報工学部, 准教授 (60392726)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 見守りシステム / 移動ロボット / 呼吸推定 / 機械学習 |
|---|
| Outline of Annual Research Achievements |
環境センサと移動ロボットを連携させ、見守りを行うシステムの開発を行っている。具体的には、設置したカメラから得られる画像を用いて人物を発見・追跡し、人物の姿勢や動きをもとに状況を確認する。そして、人物が倒れ、より詳しい状態の推定が必要であると判断された場合には、移動ロボットが自動的に人物の傍へ行き、呼吸状態などのバイタルサインの確認や通報を行う。本研究では機械学習の技術を取り入れ、見守りシステムの認識性能を向上させることを目的とする。
2021年度の実績としては、次の3つのテーマについて研究開発を行った。
①深層学習のための環境構築：2020年度に試作したシステムを改良し、大量の学習データを用いて深層学習を行うための環境構築を行った。ワークステーションを導入することで学習時間を大幅に削減し、学習パラメータの可視化を実装することで学習傾向を確認できるようにした。また、ネットワークの構成や各パラメータの検証などを行った。
②人物の姿勢推定方法の改良：画像を用いて人物の姿勢推定を行うため、服装や体格の違いに対する汎用性を高める方法について研究した。Kinectを用いて人物の骨格情報を取得し、画像に骨格情報を追加することで、未学習の人物に対しても高い認識率が得られることを確認した。
③距離変動からの呼吸推定方法の改良：先行研究ではKinectの距離画像を用いて人物の胸の動きから呼吸を推定する方法を提案していたが、腕や体などの動きを誤検知してしまい、正確な認識を行えていなかった。そこで、1次元畳み込みを用いたニューラルネットワークで呼吸波形を学習させ、呼吸による胸の動きとそれ以外の箇所の動きを判別する方法を開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2021年度は主に次の3つのテーマについて研究開発を行った。
①環境構築：前年度に試作したシステムではTensorflow 1系を使用していたが、より新しいTensorflow 2系にアップグレードした。それに伴って必要なライブラリを更新し、学習データの増加に対応するためのGPU対応も行った。その際、Anaconda環境ではうまく動かないことが判明し、それらを考慮してワークステーションの選定を行った。学習の処理には数時間かかっており、今後さらに増加することが予想されるため、できるだけ高性能なワークステーションを購入した。今後はより大量のデータを学習させながら、さらに認識性能を向上させる方法について研究する。
②姿勢推定：従来の認識手法では未学習の人物に対する認識精度の低さが問題であったため、その解決方法について研究した。Kinectを用いて人物の骨格情報を取得し、画像上の人物領域にスケルトンを描画することで服装の変化や未学習の人物に対する汎用性を高め、さらにスケルトンに色を付けることで身体の部位の意味的情報を追加する。その画像を畳み込みニューラルネットワーク（CNN）で学習させることで、実際に未学習の人物に対する認識精度が向上することを確認した。2022年9月の学会で成果発表を行う予定である。
③呼吸推定：前年度のシステムを改良し、呼吸波形を1次元畳み込みを用いたCNNで学習させ、呼吸と呼吸以外の波形を判別する方法を開発した。データの切り出し方や縮小率を変更して認識率の比較検証を行い、実際に呼吸による胸の動きを識別できることを確認した。そして、3月の学会で成果発表を行った。
|
| Strategy for Future Research Activity |
当初の計画通り、構築したシステムを用いて実証実験を行い、システムのさらなる改良や高機能化を行う。そして、研究成果をまとめ、外部発表を行う。
特にこれまでには画像ベースの機械学習であるCNNなどを用いて認識を行うシステムを開発し、高性能な深層学習用ワークステーションを導入した。
今後はより大量の学習データを収集しながら、これまでの手法の改良や、新しい方法を用いて認識性能を向上させる方法について研究する。
また、最近は新型コロナウィルスの影響も大きく、移動ロボットを用いることで人同士の接触を避けることができる見守りシステムの需要は今後さらに高まると考えられ、そのような社会に役立つ研究開発を進めていく。
|
| Causes of Carryover |
当初の計画では研究成果発表や調査のための学会参加用旅費に使用する予定であったが、新型コロナウィルスの影響によって学会がオンライン開催となり、旅費が不要になった。
移動時間も無く参加しやすくなったため、調査用の学会参加を増やし、学会参加費やこれまでの研究成果発表のための論文投稿費用などに使用する。
|
