2022 Fiscal Year Research-status Report

Research on gaze control using Mixed Reality and operational performance improvement of welfare vehicles for the elderly

Research Project

Project/Area Number	20K04353
Research Institution	Kumamoto University
Principal Investigator	松永信智熊本大学, 大学院先端科学研究部(工), 教授 (10363508)
Co-Investigator(Kenkyū-buntansha)	岡島寛熊本大学, 大学院先端科学研究部(工), 准教授 (40452883)
Project Period (FY)	2020-04-01 – 2024-03-31
Keywords	ビジュアルアシスト制御系 / 拡張現実感 / 複合現実 / 福祉車両 / 仮想隊列制
Outline of Annual Research Achievements	操縦しやすい環境を複合現実（MR)上に実現した仮想隊列制御系を利用することで，現実世界での福祉車両の操作性が改善することが報告されている。しかし，利用者が漫然と操作すると福祉車両といえども危険が伴う。常に利用者の注意を一定のレベルに維持できれば福祉車両は安全な操作が可能となる。仮想隊列を使ったビジュアルアシスト制御系はMR技術を使って操縦をアシストする技術であり，高齢者にも利用可能な手法である。初心者を対象とした実験では，操縦の上達はトレーニングの際に視線のコントロールを行うことが重要な点であることがわかった。2020年度は，MRを利用して，トレーニングシステムのプロトタイプを作成し，注意すべき仮想障害物の自動色変更を行う機能を追加した。2021，2022年度は，さらにMRデバイスを使って動作中の視線計測ができるシステムを構築し，操作中の視線位置の計測と分析を行った。この中で，視線誘導のために注視すべきエリアの強調処理を行った。メンタルワークロードの主観的評価法であるNASA-TLXを使って強調処理の効果を評価した結果，初心者にとって視線の動きが上達に深く関連していることがわかった。片や運転中は意図的に注視を続けることはできず，異常に素早く対処できるように周辺の状況を確認している。その注視点の移動の中から，注意すべきところに注視点が向いているか判定する必要がある。代表者らはメディアンフィルタを利用した視線の推定に利用可能なMCVオブザーバを提案した。
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason 実験中に実験車両STAViが故障した。STAViの修理が困難なために，2022年度にWHILLを購入しシステムを再構築した。そのため，実験と成果のまとめが予定年内で完了していない。
Strategy for Future Research Activity	初心者にとって，視線の動きが上達に深く関連していることがわかったが，注視している点ではない眼球の動き（視線の外れ値）を除去するためにはロバストな視線推定機構（オブザーバ）が必要である。代表者らは，2021年に視線の推定のためにメディアンフィルタを利用したMCVオブザーバの設計法を提案しているが，現在は数値例の検証にとどまっている。そこで，最終年度では福祉車両の運転時の視線の外れ値を抑制するMCVオブザーバを構成して，ロバストな検出システムを構築する。
Causes of Carryover	現在，本課題はまとめのフェーズであり，研究成果の発表の準備中である。研究成果をジャーナルへ投稿し，学会参加費に主に使う予定である。