自律ロボット導入のための人のマルチモーダル業務分析

• Project/Area Number: 23K03751
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 20010:Mechanics and mechatronics-related
• Research Institution: Keio University
• Principal Investigator: 高橋 正樹 慶應義塾大学, 理工学部(矢上), 教授 (10398638)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,810,000 (Direct Cost: ¥3,700,000、Indirect Cost: ¥1,110,000); Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000); Fiscal Year 2024: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000); Fiscal Year 2023: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
• Keywords: 一人称画像 / シーングラフ / 業務推定 / Egocentric Vision / Visual SLAM / ウェアラブルコンピューティング

Outline of Research at the Start

一人称視点の小型センサユニットを開発し、ロボットの代表的な能動的動作である移動、マニピュレーション、コミュニケーションの視点で人を動作、音声、生体情報などマルチモーダルに計測し、人の業務を同定するシステムを構築する。同定された業務はグラフ表現を用いて環境地図上に埋め込まれ、業務や物体との関係を表現する記号的な処理に加えて、物体までの距離や動きを同時に考慮することが可能となる。また、環境地図に埋め込まれたグラフ表現を用いることで、ロボットに代替可能な人の業務を抽出するアルゴリズムを提案する。提案システムにより人の業務分析をすることで真に意味のあるロボット業務を抽出可能であるかを評価する。

Outline of Annual Research Achievements

本申請課題では、一人称視点の小型センサユニットを開発し、ロボットの代表的な能動的動作である移動、マニピュレーション、コミュニケーションの視点で人を動作、音声、生体情報などマルチモーダルに計測し、場所と周囲物体の属性を考慮することで人の業務を同定するシステムを構築することを目的としている。また、同定された業務はグラフ表現を用いて環境地図上に埋め込まれ、業務や物体との関係を表現する記号的な処理に加えて、物体までの距離や動きを同時に考慮することが可能となることを目指している。
今年度は、具体的な人の業務中の手や顔の動きを撮影することで小型センサユニットに搭載するカメラおよびレンズの選定を行った。人の業務中の手の動きは周辺の物体などで隠れが生じることが多く、計測および追跡が困難であることが明らかになった。また、業務遂行中の手の動きを計測し続けなくても、人の位置と周辺の物体から関連する人の業務の推定であることが分かったため、人の業務推定アルゴリズムの設計方針を変更し、シーングラフを用いて画像内に含まれる物体と人の位置関係から人の業務を推定するためのシステム構築に向けてデータ取得とラベル付けを行った。
また、一人称視点の画像に基づく人の自己位置推定については、小型センサユニットに搭載するバッテリーの持ち時間を少しでも長くするため、環境に設置したRGB-Dカメラから取得する方針とし、システム構築を行った。実際の病院に設置させていただき、病棟全体の深度情報を取得させていただき、人を検出可能なアルゴリズムを開発し、取得したデータで人検出精度について検証した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

実験結果に基づいてシステム構成の変更を行ったが、当初予定の通り、計測データと業務内容を対応付けたデータセット作成のための準備と計測データ取得、取得したデータへのアノテーションに取り掛かっている。また、一人称視点の画像に基づく自己位置推定については小型センサユニットに搭載するバッテリーの持ち時間を少しでも長くするため、環境に設置したRGB-Dカメラから取得する方針とし、システム構築を行った。実際の病院に設置させていただき、病棟全体の深度情報を取得させていただき、人を検出可能なアルゴリズムを開発し、取得したデータで人検出精度について検証した。

Strategy for Future Research Activity

今後は、前年度に構築した小型センサユニットから取得したデータに対して、物体、業務情報、環境設置型のセンシングシステムで取得した人の位置情報のアノテーションを継続して実施し、データセットを作成する。そのデータセットに基づいて、本研究の主題である人の位置、周辺の物体との関係性から遂行している業務を同定するアルゴリズムを開発する。さらに、加速度などの運動情報と生体情報から業務遂行中の人の活動量やストレスを評価するアルゴリズムを開発する。年度後半では協力病院にて開発したシステムによる計測実験と手動による業務分析を実施し、それらの結果を比較することにより開発システムの妥当性を検証し、必要に応じてシステムや各アルゴリズムを改良する。