| Project/Area Number |
23K16924
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61020:Human interface and interaction-related
|
|---|
| Research Institution | Japan Advanced Institute of Science and Technology |
|---|
Principal Investigator |
王 子洋 北陸先端科学技術大学院大学, 先端科学技術研究科, 助教 (60963593)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2024: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Fiscal Year 2023: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | 共通基盤 / 遠隔コラボレーション / 遠隔作業支援 |
|---|
| Outline of Research at the Start |
遠隔側の指示者（以下，指示者）がPC等を介して現地側の物体を参照し，現地側の作業者（以下，作業者）に目的の物体を操作させる遠隔作業支援において，それらの物体の参照表現（呼び方など）に対し，互いに同じ認識（共通基盤）を持たない場合，対話に齟齬が生じ，作業が円滑に進められない。複数の作業者がいる一対多遠隔作業支援では，共通基盤が不一致の問題が多発する。本研究では，指示者と作業者の共通基盤を解析できるAIモデルを開発する。そして，これらのAIモデルを用い，リアルタイムで指示者の指示から参照している対象物を推定して，作業者がより正しく速やかに対象物を把握できるように支援する遠隔作業支援システムを開発する。
|
| Outline of Annual Research Achievements |
遠隔側の指示者（以下，指示者）がPC等を介して現地側の物体を参照し，現地側の作業者（以下，作業者）に目的の物体を操作させる遠隔作業支援において，それらの物体の参照表現（呼び方など）に対し，互いに同じ認識（共通基盤）を持たない場合，対話に齟齬が生じ，作業が円滑に進められない。複数の作業者がいる一対多遠隔作業支援では，共通基盤が不一致の問題が多発する．本研究では，指示者と作業者の共通基盤を解析できるAIモデルを開発する．そして，これらのAIモデルを用い，リアルタイムで指示者の指示から参照している対象物を推定して，作業者がより正しく速やかに対象物を把握できるように支援する遠隔作業支援システムを開発する．
2023年度，共通基盤を解析するAIモデルを開発するため，一対多遠隔作業支援の実験を行った．遠隔参加者は現地参加者に指示し，現地参加者はタスクを行った．この実験では，指示者の視野映像や発話，ジェスチャなどの情報を，共通基盤の解析特徴の候補としてHMDとビデオカメラを用いて収集した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究実施で設定した「課題① 共通基盤の解析の開発」のうち、2023年度までに①に関する「課題①－1【学習データの収集】」に取り組みを実施しています．そのうち，実験実施はすでに完了し，現在データの整理を行っている最中である．研究実施で設定されたスケジュールに沿ったものであり，プロジェクトは概ね順調に進捗していると判断される．
|
| Strategy for Future Research Activity |
引き続き、2024年度に「課題① 共通基盤の解析の開発」に実施していく。具体的に、「課題①－1【学習データの収集】」で収集したデータを分析し，機械学習モデルを開発する．一方，文献を調査し，融合手法を検討する．
|
