円滑な一対多遠隔作業支援を実現するための異なる共通基盤の融合手法の開発

2023 Fiscal Year Research-status Report

• Project/Area Number: 23K16924
• Research Institution: Japan Advanced Institute of Science and Technology
• Principal Investigator: 王 子洋 北陸先端科学技術大学院大学, 先端科学技術研究科, 助教 (60963593)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Keywords: 共通基盤 / 遠隔コラボレーション

Outline of Annual Research Achievements

遠隔側の指示者（以下，指示者）がPC等を介して現地側の物体を参照し，現地側の作業者（以下，作業者）に目的の物体を操作させる遠隔作業支援において，それらの物体の参照表現（呼び方など）に対し，互いに同じ認識（共通基盤）を持たない場合，対話に齟齬が生じ，作業が円滑に進められない。複数の作業者がいる一対多遠隔作業支援では，共通基盤が不一致の問題が多発する．本研究では，指示者と作業者の共通基盤を解析できるAIモデルを開発する．そして，これらのAIモデルを用い，リアルタイムで指示者の指示から参照している対象物を推定して，作業者がより正しく速やかに対象物を把握できるように支援する遠隔作業支援システムを開発する．

2023年度，共通基盤を解析するAIモデルを開発するため，一対多遠隔作業支援の実験を行った．遠隔参加者は現地参加者に指示し，現地参加者はタスクを行った．この実験では，指示者の視野映像や発話，ジェスチャなどの情報を，共通基盤の解析特徴の候補としてHMDとビデオカメラを用いて収集した．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究実施で設定した「課題① 共通基盤の解析の開発」のうち、2023年度までに①に関する「課題①－1【学習データの収集】」に取り組みを実施しています．そのうち，実験実施はすでに完了し，現在データの整理を行っている最中である．研究実施で設定されたスケジュールに沿ったものであり，プロジェクトは概ね順調に進捗していると判断される．

Strategy for Future Research Activity

引き続き、2024年度に「課題① 共通基盤の解析の開発」に実施していく。具体的に、「課題①－1【学習データの収集】」で収集したデータを分析し，機械学習モデルを開発する．一方，文献を調査し，融合手法を検討する．

Causes of Carryover

実験の精度を向上させるために，精度が高いモーションキャプチャーカメラにした．レート変動で予定した台数より少ない台数を購入したが，本来想定した精度と変わらなかった．
次年度使用額では「課題①－1【学習データの収集】」で収集したデータを整理するために，研究補助の謝金として使用する予定である．