• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Research on gaze control using Mixed Reality and operational performance improvement of welfare vehicles for the elderly

Research Project

Project/Area Number 20K04353
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 20010:Mechanics and mechatronics-related
Research InstitutionKumamoto University

Principal Investigator

Matsunaga Nobutomo  熊本大学, 大学院先端科学研究部(工), 教授 (10363508)

Co-Investigator(Kenkyū-buntansha) 岡島 寛  熊本大学, 大学院先端科学研究部(工), 准教授 (40452883)
Project Period (FY) 2020-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2020: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Keywordsビジュアルアシスト制御 / 複合現実 / パーソナルビークル / 仮想隊列制御 / 視線コントロール / 拡張空間 / トレーニング / 自立支援 / 複合現実(MR) / ビジュアルアシスト制御系 / 拡張現実感 / 福祉車両 / 仮想隊列制 / 拡張現実 / 操作の誘発
Outline of Research at the Start

利用者の視線は外部から直接制御することは難しい。そこで本研究では,現実世界に仮想現実を反映する拡張現実(AR)やそれらを融合する複合現実(MR)を利用した操縦支援システムを構築する。利用者の視線コントロールを制御工学的にとらえ,視線を可視化し制御することで,利用者の操作を誘発することで利用者の操作を誘発する手法を提案する。また,福祉車両の操作性向上や利用者の能力の維持・向上を目指したリハビリへの応用についても検討する。

Outline of Final Research Achievements

Personal vehicles (PVs) are becoming widely used to support people with mobility handicaps, such as disabled people with reduced physical function and elderly people who require support. If mixed reality (MR) can be used to improve the operating environment of PV and control the user's attention, it is thought that controlabillity and safety in the real world will be improved. In this study, we used the MCV Observer to measure and analyze gaze position while driving. Next, we created a prototype training system that uses MR to guide the driver's gaze by highlighting areas of interest in real time. Finally, the results of the NASA-TLX experiment showed that novices' eye movements were strongly related to their improvement in PV operation.

Academic Significance and Societal Importance of the Research Achievements

MR上の仮想PVを見ながら運転することで、PVの操作性を改善する人間機械系の設計スキームが注目されている。安全なシステムの構築には、利用者の注意を常に一定のレベルに維持し、安全性を担保する必要もある。近年のウエラブルセンサの進化により、実時間での視線計測が可能となり、拡張空間の仮想オブジェクトを効果的に修飾することができるようになった。
この結果、的確なトレーニングを施すことで、自ら運転ができるようになる高齢者はかなりの数に達すると考えられる。今後、世界に先駆けて超高齢社会に突入する我が国においては、高齢者の自立支援のために常に学習を促進するスキームに取り組む必要がある。

Report

(5 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (29 results)

All 2023 2022 2021 2020 Other

All Journal Article (13 results) (of which Peer Reviewed: 12 results,  Open Access: 10 results) Presentation (15 results) Remarks (1 results)

  • [Journal Article] Navigation System for Personal Mobility Vehicles Following a Cluster of Pedestrians in a Corridor Using Median of Candidate Vectors Observer2023

    • Author(s)
      Matsunaga Nobutomo、Yamamoto Ikuo、Okajima Hiroshi
    • Journal Title

      Journal of Robotics and Mechatronics

      Volume: 35 Issue: 6 Pages: 1562-1572

    • DOI

      10.20965/jrm.2023.p1562

    • ISSN
      0915-3942, 1883-8049
    • Year and Date
      2023-12-20
    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Robust Cooperative Transport System with Model Error Compensator Using Multiple Robots with Suction Cups2023

    • Author(s)
      Matsunaga Nobutomo、Murata Kazuhi、Okajima Hiroshi
    • Journal Title

      Journal of Robotics and Mechatronics

      Volume: 35 Issue: 6 Pages: 1583-1592

    • DOI

      10.20965/jrm.2023.p1583

    • ISSN
      0915-3942, 1883-8049
    • Year and Date
      2023-12-20
    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Design of Observer-Based Feedback Controller for Multi-Rate Systems With Various Sampling Periods Using Cyclic Reformulation2023

    • Author(s)
      Okajima Hiroshi、Arinaga Kenta、Hayashida Atsuo
    • Journal Title

      IEEE Access

      Volume: 11 Pages: 121956-121965

    • DOI

      10.1109/access.2023.3329117

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] State Observer Under Multi-Rate Sensing Environment and Its Design Using l<sub>2</sub>-Induced Norm2023

    • Author(s)
      Okajima Hiroshi、Hosoe Yohei、Hagiwara Tomomichi
    • Journal Title

      IEEE Access

      Volume: 11 Pages: 20079-20087

    • DOI

      10.1109/access.2023.3249187

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Model Error Compensator for adding Robustness toward Existing Control Systems?2023

    • Author(s)
      Okajima Hiroshi
    • Journal Title

      IFAC-PapersOnLine

      Volume: 56 Issue: 2 Pages: 3622-3629

    • DOI

      10.1016/j.ifacol.2023.10.1524

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Crowd Tracking of Electric Wheelchair using RGB-D Camera with Median of Candidate Vectors Observer2022

    • Author(s)
      Ikuo Yamamoto, Kouich Nakamura, Nobutomo Matsunaga and Hiroshi Okajima
    • Journal Title

      SICE2002

      Pages: 174-178

    • DOI

      10.23919/sice56594.2022.9905807

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] Learning analysis of obstacle avoidance to beginners at trial times using NASA-TLX for drive assist system of welfare vehicle using Mixed Reality2022

    • Author(s)
      松永 信智、中村怜央,武内雄大,岡島 寛
    • Journal Title

      Transactions of the JSME (in Japanese)

      Volume: 88 Issue: 905 Pages: 21-00241-21-00241

    • DOI

      10.1299/transjsme.21-00241

    • NAID

      130008144383

    • ISSN
      2187-9761
    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] 発達障害児の学校生活適応に向けたVirtual Reality(VR)を用いた評価方法の検討2022

    • Author(s)
      大河内彩子,松永信智,佐藤弘
    • Journal Title

      熊本大学医学部保健学科紀要

      Volume: 18 Pages: 55-62

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Journal Article] A Preliminary Study of Assessing Gaze, Interoception and School Performance among Children with Neurodevelopmental Disorders: The Feasibility of VR Classroom2022

    • Author(s)
      Ide-Okochi Ayako、Matsunaga Nobutomo、Sato Hiro
    • Journal Title

      Children

      Volume: 9 Issue: 2 Pages: 250-250

    • DOI

      10.3390/children9020250

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Driving Assistance of Welfare Vehicle using Mixed Reality2021

    • Author(s)
      松永 信智、岡島 寛
    • Journal Title

      SYSTEMS, CONTROL AND INFORMATION

      Volume: 65 Issue: 9 Pages: 364-369

    • DOI

      10.11509/isciesci.65.9_364

    • ISSN
      0916-1600, 2424-1806
    • Year and Date
      2021-09-15
    • Related Report
      2021 Research-status Report
    • Open Access
  • [Journal Article] State estimation method using median of multiple candidates for observation signals including outliers2021

    • Author(s)
      Okajima Hiroshi、Kaneda Yasuaki、Matsunaga Nobutomo
    • Journal Title

      SICE Journal of Control, Measurement, and System Integration

      Volume: 14 Issue: 1 Pages: 257-267

    • DOI

      10.1080/18824889.2021.1985702

    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Deep Feature-based RGB-D Odometry using SuperPoint and SuperGlue2021

    • Author(s)
      Satoshi Fujimoto, Nobutomo Matsunaga
    • Journal Title

      The 6th International Conference on Computer Science and Computational Intelligence (ICCSCI)

      Volume: 0 Pages: 261-265

    • Related Report
      2021 Research-status Report
    • Peer Reviewed
  • [Journal Article] A construction method of obstacle avoidance system for welfare vehicle by spatial mapping of driving environment using mixed reality2021

    • Author(s)
      松永信智, 武内雄大, 岡島寛
    • Journal Title

      Transactions of the JSME (in Japanese)

      Volume: 87 Issue: 894 Pages: 20-00033-20-00033

    • DOI

      10.1299/transjsme.20-00033

    • NAID

      130007991531

    • ISSN
      2187-9761
    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access
  • [Presentation] 混雑環境における歩行者群追従を利用した福祉車両のナビゲーション2023

    • Author(s)
      中村光一, 山本郁夫, 松永信智,岡島寛
    • Organizer
      ロボティクス・メカトロニクス 講演会,2P1-H04
    • Related Report
      2023 Annual Research Report
  • [Presentation] ステートマシンによるフォーメーション変更を伴う協調搬送システムの状態制御2023

    • Author(s)
      松尾大誠, 村田一陽,松永信智
    • Organizer
      ロボティクス・メカトロニクス 講演会、1A1-G01
    • Related Report
      2023 Annual Research Report
  • [Presentation] Mixed Reality を用いた視覚誘発電位によるパーソナルビークルの操縦意図検出システムの実験検証2023

    • Author(s)
      奥園康太, 森千紘,松永信智
    • Organizer
      2023 年度 電気・情報関係学会九州支部連合大会,09-1P-05
    • Related Report
      2023 Annual Research Report
  • [Presentation] MRによる視覚誘発電位を用いたパーソナルモビリティビークルの自動運転システムの評価2023

    • Author(s)
      奥園康太,森千紘,松永信智
    • Organizer
      計測自動制御学会九州支部,102A2
    • Related Report
      2023 Annual Research Report
  • [Presentation] パーソナルビークルの模倣学習を用いた衝突回避システム2023

    • Author(s)
      中村光一,松永信智,岡島寛
    • Organizer
      計測自動制御学会九州支部,102A1
    • Related Report
      2023 Annual Research Report
  • [Presentation] 360 度カメラを使ったマルチロボットによる協調搬送実験2023

    • Author(s)
      松尾大誠,Almira Budiyanto,松永信智
    • Organizer
      計測自動制御学会九州支部、102B4
    • Related Report
      2023 Annual Research Report
  • [Presentation] 混雑環境におけるMCVオブザーバを使った福祉車両の歩行者群追従制御2022

    • Author(s)
      山本郁生,松永信智,岡島寛
    • Organizer
      第23回 SICE システムインテグレーション部門講演会
    • Related Report
      2022 Research-status Report
  • [Presentation] 自動運転アルゴリズムを利用した福祉車両のセーフマニュアル制御の提案2022

    • Author(s)
      奥園康太,森千紘,松永信智
    • Organizer
      計測自動制御学会SICE九州支部
    • Related Report
      2022 Research-status Report
  • [Presentation] 透過型HMDと振動グローブを用いたアバターとの共同作業の訓練システム2022

    • Author(s)
      時枝 朋史, 松永信智
    • Organizer
      ロボティクス・メカトロニクス 講演会 2022
    • Related Report
      2022 Research-status Report
  • [Presentation] NASA-TLXを用いたMRによる福祉車両の操作支援系の訓練度の分析2021

    • Author(s)
      中村怜央,武内雄大,松永信智,岡島寛
    • Organizer
      ロボティクス・メカトロニクス 講演会 2021
    • Related Report
      2021 Research-status Report
  • [Presentation] 福祉車両の操縦支援システムにおける複合環境での視線分析2021

    • Author(s)
      中村怜央,奥園康太,松永信智
    • Organizer
      SICE九州支部学術講演会
    • Related Report
      2021 Research-status Report
  • [Presentation] 人混みにおける移動ロボットの最適な走行位置の探索アルゴリズム2021

    • Author(s)
      山本郁生,松永信智
    • Organizer
      SICE九州支部学術講演会
    • Related Report
      2021 Research-status Report
  • [Presentation] MRを用いた福祉車両の操縦支援システムの初心者と熟練者の視覚的注意領域の比較2021

    • Author(s)
      奥園康太,中村怜央,松永信智
    • Organizer
      SICE システムイングレーション
    • Related Report
      2021 Research-status Report
  • [Presentation] ドライバの脇見を考慮した運転状態の分類とその評価2020

    • Author(s)
      本田拓也,松永信智,岡島寛
    • Organizer
      第21回 SICE システムインテグレーション部門講演会,1H1-11
    • Related Report
      2020 Research-status Report
  • [Presentation] 複合現実を用いた福祉車両の操縦支援システムのNASA-TLXによる評価2020

    • Author(s)
      武内雄大,松永信智,岡島寛
    • Organizer
      第21回 SICE システムインテグレーション部門講演会,3G3-11
    • Related Report
      2020 Research-status Report
  • [Remarks] System Integration and Control Lab

    • URL

      http://ictrl.cs.kumamoto-u.ac.jp/research.html

    • Related Report
      2021 Research-status Report 2020 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi