2023 年度実施状況報告書

自律ロボット導入のための人のマルチモーダル業務分析

研究課題

研究課題/領域番号	23K03751
研究機関	慶應義塾大学
研究代表者	高橋正樹慶應義塾大学, 理工学部(矢上), 教授 (10398638)
研究期間 (年度)	2023-04-01 – 2026-03-31
キーワード	一人称画像 / シーングラフ / 業務推定
研究実績の概要	本申請課題では、一人称視点の小型センサユニットを開発し、ロボットの代表的な能動的動作である移動、マニピュレーション、コミュニケーションの視点で人を動作、音声、生体情報などマルチモーダルに計測し、場所と周囲物体の属性を考慮することで人の業務を同定するシステムを構築することを目的としている。また、同定された業務はグラフ表現を用いて環境地図上に埋め込まれ、業務や物体との関係を表現する記号的な処理に加えて、物体までの距離や動きを同時に考慮することが可能となることを目指している。今年度は、具体的な人の業務中の手や顔の動きを撮影することで小型センサユニットに搭載するカメラおよびレンズの選定を行った。人の業務中の手の動きは周辺の物体などで隠れが生じることが多く、計測および追跡が困難であることが明らかになった。また、業務遂行中の手の動きを計測し続けなくても、人の位置と周辺の物体から関連する人の業務の推定であることが分かったため、人の業務推定アルゴリズムの設計方針を変更し、シーングラフを用いて画像内に含まれる物体と人の位置関係から人の業務を推定するためのシステム構築に向けてデータ取得とラベル付けを行った。また、一人称視点の画像に基づく人の自己位置推定については、小型センサユニットに搭載するバッテリーの持ち時間を少しでも長くするため、環境に設置したRGB-Dカメラから取得する方針とし、システム構築を行った。実際の病院に設置させていただき、病棟全体の深度情報を取得させていただき、人を検出可能なアルゴリズムを開発し、取得したデータで人検出精度について検証した。
現在までの達成度 (区分)	現在までの達成度 (区分) 2: おおむね順調に進展している理由実験結果に基づいてシステム構成の変更を行ったが、当初予定の通り、計測データと業務内容を対応付けたデータセット作成のための準備と計測データ取得、取得したデータへのアノテーションに取り掛かっている。また、一人称視点の画像に基づく自己位置推定については小型センサユニットに搭載するバッテリーの持ち時間を少しでも長くするため、環境に設置したRGB-Dカメラから取得する方針とし、システム構築を行った。実際の病院に設置させていただき、病棟全体の深度情報を取得させていただき、人を検出可能なアルゴリズムを開発し、取得したデータで人検出精度について検証した。
今後の研究の推進方策	今後は、前年度に構築した小型センサユニットから取得したデータに対して、物体、業務情報、環境設置型のセンシングシステムで取得した人の位置情報のアノテーションを継続して実施し、データセットを作成する。そのデータセットに基づいて、本研究の主題である人の位置、周辺の物体との関係性から遂行している業務を同定するアルゴリズムを開発する。さらに、加速度などの運動情報と生体情報から業務遂行中の人の活動量やストレスを評価するアルゴリズムを開発する。年度後半では協力病院にて開発したシステムによる計測実験と手動による業務分析を実施し、それらの結果を比較することにより開発システムの妥当性を検証し、必要に応じてシステムや各アルゴリズムを改良する。
次年度使用額が生じた理由	小型センサユニットに搭載したカメラから業務遂行中の人の腕や手の推定が困難であることが分かり、取得した画像情報から業務を推定するための方針を変更したこと、また、それに伴いシステム構成を検討するための選定や検証実験に時間を費やしたため、当初予定していたよりも実験の回数を減らしたことで予算執行が予定から変更された。その残額については次年度の実験費用や環境設置型のセンシングシステムの長時間計測に対応可能なデータ蓄積システム構築のために使用する予定である。