• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2019 Fiscal Year Annual Research Report

Understanding and control of mind through gaze

Research Project

Project/Area Number 18H03312
Research InstitutionHiroshima City University

Principal Investigator

満上 育久  広島市立大学, 情報科学研究科, 准教授 (00467458)

Project Period (FY) 2018-04-01 – 2022-03-31
Keywords注視推定 / VR / e-learning / 視覚探索課題 / ドローン / 人物行動解析
Outline of Annual Research Achievements

「眼球・頭部協調運動モデリング」:眼球と頭部の協調運動を機械学習によりモデル化し俯瞰カメラで観測される人の頭部運動から注視方向を推定する技術を開発するため,昨年度は,様々な環境下での頭部と眼球の運動を大規模にデータ収集できるVRシステムを開発し,実際に16名の実験参加者からデータを収集した.本年度は,このVR環境下データから構築したモデルと,我々が過去に収集していた眼球・頭部協調運動データから構築したモデルを用いて,相互に注視推定を行う実験を行い,両モデル間に互換性があること(VR環境下のモデルが実環境での注視推定に利用可能であること)を確認した.また,このVR環境下で人の全身の三次元姿勢を推定するために昨年度は複数台のKinectを用いていたが,本年度は複数のWebカメラを用いることとで,より安定な姿勢推定を実現した.
「VR視覚探索課題による心の健康状態推定」:昨年度は,VR環境下での視覚探索において,視覚探索時間が人の主観的幸福度の高低により有意に異なることを,大学生23名の実験参加者データによって確認した.本年度は,引き続き大学生の実験参加者データを増やすとともに,民間企業の協力により異なる属性の実験参加者のデータの収集も行った.どちらの群でも幸福度の高低により視覚探索時間が異なることが確認され,この傾向が一般的に成立する可能性が示唆された.また,この視覚探索時間の差が生じる要因を調べるため,視覚探索中の頭部運動ログを解析した.
「人物自動追従ドローン」:マラソンなどのように広範囲を移動する人物の歩行・走行からその疲労度を推定する技術を実現するために,そのような人物に自動的に追従し常に一定の距離・歩行から観測し続けるドローンシステムを開発した.
その他,人の氏名や属性などを視野にリアルタイム重畳表示可能な「人物認識ウェアラブルシステム」の開発なども行った.

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

「眼球・頭部協調運動モデリング」については概ね計画通りの進展だったが,「VR視覚探索課題による心の健康状態推定」については,本研究課題に関する研究代表者の講演に興味を持った民間企業から協力の提案があり,大学生とは異なる実験参加者からのデータ収集が可能となったことは,当初計画を超える成果であった.また,これによって,視覚探索時間と幸福度の関係が一般的に成立する可能性が高まったことも,当初計画には想定していなかった大きな進展である.また,当初計画には無かった「人物自動追従ドローン」や「人物認識ウェアラブルシステム」などの開発も行うことができた.以上の状況から「当初の計画以上に進展している」と判断した.

Strategy for Future Research Activity

「眼球・頭部協調運動モデリング」においては,眼球・頭部協調運動モデルを用いて注視推定という応用の他に,計測された注視・頭部方向がこのモデルに沿うものかどうかを調べることによりその注視行動の「自然さ」を識別する問題を取り扱う.
「VR視覚探索課題による心の健康状態推定」では,幸福度の高低により視覚探索時間が異なるメカニズムについて,データ分析と認知心理学的考察の両面から調べる.データ収集についても継続する.また,心の状態を推定するだけでなく,改善の方向に促す(申請書では「心をコントロールする」と表現している)方向の研究についても具体的に検討を始める.
「人物自動追従ドローン」については,複数人が混在するシーンでも同一の人物を安定に追従するための人物同定技術を開発する.さらに,実際に長時間歩行する人物のデータを収集し,疲労に伴う歩行の変化について解析する.

  • Research Products

    (23 results)

All 2019

All Journal Article (4 results) (of which Peer Reviewed: 4 results,  Open Access: 2 results) Presentation (19 results) (of which Int'l Joint Research: 8 results,  Invited: 3 results)

  • [Journal Article] Statistical Analysis of Dual-task Gait Characteristics for Dementia Score Estimation2019

    • Author(s)
      Taku Matsuura, Kazuhiro Sakashita, Andrey Grushnikov, Fumio Okura, Ikuhisa Mitsugami, Yasushi Yagi
    • Journal Title

      Scientific Reports

      Volume: 9 Pages: 1-12

    • DOI

      10.1038/s41598-019-56485-w

    • Peer Reviewed / Open Access
  • [Journal Article] A Video-Based Gait Disturbance Assessment Tool for Diagnosing Idiopathic Normal Pressure Hydrocephalus2019

    • Author(s)
      Ruochen Liao, Yasushi Makihara, Daigo Muramatsu, Ikuhisa Mitsugami, Yasushi Yagi, Kenji Yoshiyama, Hiroaki Kazui, Masatoshi Takeda
    • Journal Title

      IEEJ Transactions on Electrical and Electronic Engineering

      Volume: 15 Pages: 433-441

    • DOI

      10.1002/tee.23072

    • Peer Reviewed
  • [Journal Article] バランスとキネマティクスに着目した左膝関節固定時の歩行分析2019

    • Author(s)
      山添大丈, 満上育久, 小川拓也, 八木康史
    • Journal Title

      看護理工学会誌

      Volume: 7 Pages: 33-42

    • DOI

      10.24462/jnse.7.0_33

    • Peer Reviewed / Open Access
  • [Journal Article] Analysis of head and chest movements during walking that correspond to gaze directions2019

    • Author(s)
      Hirotake Yamazoe, Ikuhisa Mitsugami, Tsukasa Okada, Yasushi Yagi
    • Journal Title

      Experimental Brain Research

      Volume: 237 Pages: 3047-3058

    • DOI

      10.1007/s00221-019-05650-8

    • Peer Reviewed
  • [Presentation] Gaze from Head: Gaze Estimation without Observing Eye2019

    • Author(s)
      Jun'ichi Murakami, Ikuhisa Mitsugami
    • Organizer
      The 5th Asian Conference on Pattern Recognition
    • Int'l Joint Research
  • [Presentation] Dataset of Eye-Head Coordination under VR Experiences2019

    • Author(s)
      Jun'ichi Murakami, Ikuhisa Mitsugami
    • Organizer
      The International Workshop on Electronics, Information and Communication
    • Int'l Joint Research
  • [Presentation] Integration of Body Poses Captured by Asynchronous Multiple Kinects2019

    • Author(s)
      Takashi Morimoto, Ikuhisa Mitsugami
    • Organizer
      The International Workshop on Electronics, Information and Communication
    • Int'l Joint Research
  • [Presentation] Gaze Distribution related to Degree of Understanding under VR-based E-learning System2019

    • Author(s)
      Asuka Kuroda, Ikuhisa Mitsugami
    • Organizer
      The International Workshop on Electronics, Information and Communication
    • Int'l Joint Research
  • [Presentation] VR-based Eye and Head Motion Collection for Modeling Their Coordination2019

    • Author(s)
      Jun'ichi Murakami, Ikuhisa Mitsugami
    • Organizer
      2019 IEEE 8th Global Conference on Consumer Electronics
    • Int'l Joint Research
  • [Presentation] Motion Capture System by Spatio-Temporal Integration of Multiple Kinects2019

    • Author(s)
      Takashi Morimoto, Ikuhisa Mitsugami
    • Organizer
      2019 IEEE 8th Global Conference on Consumer Electronics
    • Int'l Joint Research
  • [Presentation] The effect of mood state on visual search times under VR environment2019

    • Author(s)
      Ikuhisa Mitsugami, Miyu Sakai, Rina Yonami, Jun'ichi Murakami, Noriko Yamagishi
    • Organizer
      The 15th Asia-Pacific Conference on Vision
    • Int'l Joint Research
  • [Presentation] Gaze from Head: Gaze Estimation without Observing Eyes2019

    • Author(s)
      Ikuhisa Mitsugami
    • Organizer
      APSCIT 2019 Annual Meeting
    • Int'l Joint Research / Invited
  • [Presentation] コンピュータビジョン・VRを活用した注視行動分析2019

    • Author(s)
      満上育久
    • Organizer
      電子情報通信学会ヒューマン情報処理研究会
    • Invited
  • [Presentation] 心を推し量るための人物映像解析技術2019

    • Author(s)
      満上育久
    • Organizer
      広島市立大学産学連携研究発表会
    • Invited
  • [Presentation] デュアルタスク歩行解析に基づく高齢者の認知機能スコア推定2019

    • Author(s)
      松浦拓, 大倉史生, 槇原靖, 周成菊, 青木工太, 満上育久, 八木康史
    • Organizer
      電子情報通信学会ヒューマンコミュニケーション基礎研究会
  • [Presentation] 歩行者の全身を撮影し続けるためのドローン制御2019

    • Author(s)
      山下浩豊, 満上育久
    • Organizer
      第21回IEEE広島支部学生シンポジウム
  • [Presentation] KinectとOpenPoseの統合による姿勢推定性能向上のための関節点の対応関係調査2019

    • Author(s)
      森本隆志, 満上育久
    • Organizer
      第18回情報科学技術フォーラム
  • [Presentation] VR講義動画視聴における理解度と注視分布の関係の分析2019

    • Author(s)
      黒田明日香, 満上育久
    • Organizer
      第18回情報科学技術フォーラム
  • [Presentation] 視線追跡型VRゴーグルを用いた眼球・頭部協調運動データ収集システム2019

    • Author(s)
      村上純一, 満上育久
    • Organizer
      画像の認識・理解シンポジウム
  • [Presentation] 視線追跡型VRゴーグルを用いた眼球・頭部協調運動データ収集システム2019

    • Author(s)
      村上純一, 満上育久
    • Organizer
      情報処理学会CVIM研究会
  • [Presentation] 複数Kinectの姿勢データの時空間統合によるモーションキャプチャシステム2019

    • Author(s)
      森本隆志, 満上育久
    • Organizer
      情報処理学会CVIM研究会
  • [Presentation] VR環境を用いた受講生の理解度と注視運動の関係性の調査2019

    • Author(s)
      黒田明日香, 満上育久
    • Organizer
      情報処理学会CVIM研究会
  • [Presentation] 多重時間幅オプティカルフローによる顔の各部位の微小動作検出2019

    • Author(s)
      田川聖一, 越後富夫, 満上育久
    • Organizer
      第63回システム制御情報学会研究発表講演会

URL: 

Published: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi