Operation support for personal mobility considering the sense of agency based on the estimation of user's intention

• Project/Area Number: 23K11269
• Research Category: Grant-in-Aid for Scientific Research (C)
• Allocation Type: Multi-year Fund
• Section: 一般
• Review Section: Basic Section 61050:Intelligent robotics-related
• Research Institution: Tohoku University
• Principal Investigator: 田村 雄介 東北大学, 工学研究科, 准教授 (40515798)
• Project Period (FY): 2023-04-01 – 2026-03-31
• Project Status: Granted (Fiscal Year 2023)
• Budget Amount: ¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000); Fiscal Year 2025: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000); Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000); Fiscal Year 2023: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
• Keywords: パーソナルモビリティ / 意図推定 / 操作支援

Outline of Research at the Start

本研究では、パーソナルモビリティ搭乗者の意図推定と、それに基づいた運動主体感を損なわない操作支援の実現を目的とする。具体的には、物体認識や視線計測、操作入力情報等に基づいたパーソナルモビリティ搭乗者の意図推定手法の開発、搭乗者の意図を考慮した自律制御アルゴリズムの出力と操作入力の類似度に基づく操作支援手法の開発を行い、これらの意図推定手法・操作支援手法を実装したパーソナルモビリティを用いて、被験者実験により意図を考慮した操作支援における運動主体感の評価を行う。

Outline of Annual Research Achievements

本研究では、パーソナルモビリティの操作支援において、ユーザの意図に沿った動作を生成することで、運動主体感を損なわない支援が実現可能かを検証するべく、パーソナルモビリティ搭乗者の意図推定と、それに基づいた運動主体感を損なわない操作支援の実現を目的としている。

令和5年度は、まず、本研究で使用するパーソナルモビリティの基盤構築を行った。パーソナルモビリティとしては電動車椅子Whillを用い、搭乗者や周辺状況を認識するためのカメラ等のセンサを取り付けた。
また、パーソナルモビリティ搭乗者の意図推定手法について検討した。特に、障害物回避等を含む局所的な目的地推定の手法を構築した。提案手法では、電動車椅子を用い、電動車椅子に取り付けられた単眼のRGBカメラによる搭乗者の視線推定と、搭乗者による操作入力等に基づき、搭乗者の局所的な目的地推定を行う。搭乗者の方を向いて電動車椅子に取り付けられたRGBカメラからの入力に対し、実時間での3次元視線推定の方法であるRT-GENE　（Real-Time Eye Gaze Estimation in Natural Environment)を用い、搭乗者の視線方向および頭部方向を取得するソフトウェアを開発した。得られた視線方向・頭部方向、および電動車椅子の並進/回転速度、搭乗者によるジョイスティック入力の時系列データを入力とし、Δt秒後の局所的な目的地を出力するニューラルネットワークを構築した。
実験室環境において、予備的な目的地推定実験を行い、提案手法が局所的な目的地推定においてある程度有効であることを確認した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

搭乗者の視線推定機能を含むパーソナルモビリティの基盤が整い、局所的な目的地推定が可能になった。

Strategy for Future Research Activity

今後は、周辺環境認識も含めた搭乗者の意図推定技術を引き続き開発するとともに、推定された意図を考慮した操作支援手法を構築する。

Research Products

• [Remarks] パーソナルモビリティの操作支援
  • URL: https://tamlab.jp/project/personal-mobility/