2021 Fiscal Year Research-status Report
全方位画像と装着センサ群利用で一人称・三人称の状況可視化と状態検知する遠隔見守り
| Project/Area Number |
21K12806
|
|---|
| Research Institution | Ibaraki University |
|---|
Principal Investigator |
城間 直司 茨城大学, 理工学研究科(工学野), 准教授 (90312826)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 視覚共有 / 画像安定化 / 全方位画像 / 状態推定 / 遠隔見守り |
|---|
| Outline of Annual Research Achievements |
本研究では、安心安全な行動や外出支援のための遠隔からの見守りの実現を目指す。見守られる人の見ている事柄を共有して共感できるために、お互いに負荷の少ない全方位の一人称視点による視覚共有手法の実現、見守られる人の状況を俯瞰的に可視化して直感的に把握する手法の実現、そして、見守られる人の状態の自動検知手法の実現が本研究の目的である。
令和3年度は、全方位画像を取得する複数カメラシステムの開発、全方位安定化画像による一人称視点による視覚共有手法の開発、見守られる人の自己位置姿勢推定手法の開発、見守られる人の全身の姿勢推定手法の開発を目指し研究を進めた。
頭頂部搭載でカメラ位置と目線位置が離れているこれまでのカメラシステムに対し、新しいカメラの検討を図り、目線の高さにより近いところの頭部前方と後方に1台ずつカメラを配置して周囲の画像を取得する複数カメラシステムの開発を試みた。新たな複数カメラシステムを使用して一人称視点による視覚共有手法の適用を試みた。見守られる人の自己位置姿勢推定に使用するためにステレオカメラによる位置推定を試みた。これまでの視覚共有手法における画像安定化はカメラの回転運動を補償するものであったが、ステレオカメラによる推定自己位置を利用して、カメラの並進運動も補償する画像安定化手法の開発を試みた。ステレオカメラ以外に全方位カメラ画像を予め環境中の地図として離散的に複数保存して、その離散的な画像情報及び、事前に取得した占有格子地図とレーザセンサによる計測との地図参照を行うことで自己位置推定を行う手法の開発を試みた。三次元姿勢センサを人の片腕に2つ、片足に1つ搭載し、そのうち片腕1つ，片足1つのセンサは気圧も計測可能であり，気圧情報も含めて見守られる人の状態推定手法の開発を試みた。深度カメラを移動させながら環境中の対象物の抽出とモデリング手法の開発を試みた。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
全方位画像を取得する複数カメラシステムの開発に関して、頭頂部搭載でカメラ位置と目線位置が離れているこれまでのカメラシステムに対し、新しいカメラの検討を図り、目線の高さにより近いところの頭部前方と後方に1台ずつカメラを配置して周囲の画像を取得する複数カメラシステムの開発を試みた。カメラの種類の選定とカメラの配置にはまだ改善の余地があり、今後もカメラ自体の選定と配置を検討する必要がある。全方位安定化画像による一人称視点による視覚共有手法の開発に関して、新たな複数カメラシステムを使用して一人称視点による視覚共有手法の適用を試みた。カメラシステムの今後の改善に伴う視覚共有手法の適用方法を検討する必要がある。見守られる人の自己位置姿勢推定手法の開発に関して、見守られる人の自己位置姿勢推定に使用するためにステレオカメラによる位置推定を試みたが、実際に人に搭載してのその精度の検証を今後行う必要がある。また、ステレオカメラ以外に全方位カメラ画像を予め環境中の地図として離散的に複数保存して、その離散的な画像情報及び、事前に取得した占有格子地図とレーザセンサによる計測との地図参照を行うことで自己位置推定を行う手法の開発を試みたが、その精度や安定性に関しての検証を今後行う必要がある。見守られる人の全身の姿勢推定手法の開発に関して、三次元姿勢センサを人の片腕に2つ、片足に1つ搭載し、気圧情報も含めて見守られる人の状態推定手法の開発を試みた。状態の推定の安定性について改善の余地がある。また、センサの配置数を増やして、より状態推定の詳細化を今後検討していく予定である。これまでの視覚共有手法における画像安定化はカメラの回転運動を補償するものであり、ステレオカメラによる推定自己位置を利用して、カメラの並進運動も補償する画像安定化手法の開発を試みたが、カメラ運動の補償方法には改善の余地がある。
|
| Strategy for Future Research Activity |
次年度は、初年度に開発した全方位画像を取得する複数カメラシステムの改良を行う。全方位安定化画像による一人称視点の視覚共有手法の開発を初年度から改良したカメラシステムに対しても適用していく。初年度に開発した見守られる人の自己位置姿勢推定に使用するためのステレオカメラによる位置推定手法を実際に人に搭載し、その精度の検証を行っていく。初年度に開発した見守られる人の全身の姿勢推定手法において状態の推定の安定性について改善を行っていく。また、センサの配置数を増やして、より状態推定の詳細化を検討していく。そして、当初計画していた見守られる人を三人称視点から見る画像生成手法や見守られる人の状態の自動検知手法の開発を行っていく予定である。
|
| Causes of Carryover |
（理由）当初の計画の初年度において、研究発表、および、調査研究のための学会参加費等の旅費を見込んでいたが、学会参加費等の旅費を使用しなかったためである。
（使用計画）次年度使用額は、次年度においての開発システムの改良が必要であるため、そのための物品費の一部、および、学会参加費等の旅費の一部として使用する予定である。また、翌年度分として請求した助成金は、当初の計画のとおりのシステムの開発のための物品費、および、学会参加費等の旅費として使用する予定である。
|
