• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Understanding and control of mind through gaze

Research Project

Project/Area Number 18H03312
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 61050:Intelligent robotics-related
Research InstitutionHiroshima City University

Principal Investigator

満上 育久  広島市立大学, 情報科学研究科, 教授 (00467458)

Project Period (FY) 2018-04-01 – 2022-03-31
Project Status Granted (Fiscal Year 2021)
Budget Amount *help
¥17,030,000 (Direct Cost: ¥13,100,000、Indirect Cost: ¥3,930,000)
Fiscal Year 2021: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2020: ¥5,330,000 (Direct Cost: ¥4,100,000、Indirect Cost: ¥1,230,000)
Fiscal Year 2019: ¥3,510,000 (Direct Cost: ¥2,700,000、Indirect Cost: ¥810,000)
Fiscal Year 2018: ¥5,330,000 (Direct Cost: ¥4,100,000、Indirect Cost: ¥1,230,000)
Keywords注視 / 人物行動解析 / 人物映像処理 / 理解度推定 / 健康状態推定 / 注視推定 / e-learning / 視覚探索課題 / ドローン / VR / 姿勢推定
Outline of Annual Research Achievements

前年度までに構築した眼球頭部協調運動モデル化による視線推定技術をさらに発展させ,視線方向の確率分布を推定する技術を開発した.これにより,従来法の問題となっていた「同一の頭部運動であればその際の視線方向は一意である」という仮定を取り払うことができ,また,確率分布の広がりにより視線推定の確からしさを評価できるようになった.また,実環境注視行動データセットおよびVR環境注視行動データセットそれぞれを用いてモデルを構築し,その互換性を調査した.

全身運動の計測については,昨年度までに実現した複数台Webカメラを用いたモーションキャプチャシステムと人物自動追従ドローンの技術を統合し,複数台ドローンカメラによるモーションキャプチャシステムを開発した.従来のモーションキャプチャシステムが,専用の機材を設置した限られた空間内でしか人の三次元姿勢を計測できなかったのに対して,このシステムは原理上,屋内外問わず人が広範囲を移動しても常にそのそばにドローンが自動追従することでどこでも三次元姿勢の計測が可能になるため,大きなアドバンテージがあると考えられる.

VR視覚探索課題による心の健康状態推定については,昨年度までに確認した「VR環境下での視覚探索において,視覚探索時間が人の主観的幸福度の高低により有意に異なる」という知見を論文にまとめ,バーチャルリアリティ学会論文誌に採択・掲載された.その後の展開として,視覚探索時間が主観的幸福度の高低により異なるメカニズムを解明に取り組んだ.具体的には,仮説として縦方向のcrowding effectが影響していると考え,従来よりも視覚探索課題の探索空間を縦方向に拡げて実験参加者データを収集し,分析を行った.

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

眼球頭部協調運動のモデル化による視線推定・視線確率分布推定については,これまでに構築した実環境注視動向データセットおよびVR環境注視行動データセットを用いた学習・評価が可能で新たなデータ収集が不要だったことから,順調に開発が進んだ.頭部方向を注視方向とみなすという単純な方法よりも大幅な視線推定精度の向上が確認されたことは期待以上の成果であった.

複数台ドローンを用いたモーションキャプチャについては,その有効性を確認するための最小限の実験を行うことはできたが,コロナ禍の影響により十分な性能評価ができなかった点で,やや期待を下回る結果となった.

VR視覚探索課題による心の健康状態推定については,本年度取り組んだcrowding effectの仮説検証において,これまでのところこれが視覚探索時間の差に影響を及ぼしているという客観的データは得られなかった.

Strategy for Future Research Activity

眼球頭部協調運動のモデル化による視線推定・視線確率分布推定は,本年度までにその効果は十分に確認できたため,これを誰もが容易に利用できるよう, Pythonのライブラリの形に整備する予定である.特に,この技術はアイトラッカーを備えない市販のVRゴーグルにおいて視線を推定するという用途に有用なため,そのような用途を想定してライブラリを設計・実装する.

VR視覚探索課題による心の健康状態推定において,これまではVRゴーグルから得られる視覚探索時間や頭部運動を対象とした分析しかできなかったことが分析の大きな妨げになっていた.しかし,上述の視線推定ライブラリにより,これまでに収集した実験参加者の頭部運動からも視線推定が可能となる.今後は,これにより復元された視線軌跡を用いて分析を進める予定である.

複数台ドローンを用いたモーションキャプチャについては,計測対象の人物の歩行開始・終了時など速度変化が生じるところで自動追従に遅れが生じ,それが三次元姿勢推定やその後の歩行分析の妨げになることがあったことから,そのような速度変化においてもスムーズに自動追従するための人物の未来位置予測技術やそれに基づくレスポンスのよい自動追従制御技術を開発する予定である.

Report

(3 results)
  • 2020 Annual Research Report
  • 2019 Annual Research Report
  • 2018 Annual Research Report

Research Products

(55 results)

All 2021 2020 2019 2018

All Journal Article (14 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 14 results,  Open Access: 11 results) Presentation (41 results) (of which Int'l Joint Research: 13 results,  Invited: 6 results)

  • [Journal Article] The Effect of Mood State on Visual Search Times under VR Environment2021

    • Author(s)
      坂井 美友、世波 里菜、村上 純一、満上 育久、山岸 典子
    • Journal Title

      TVRSJ

      Volume: 26 Issue: 1 Pages: 52-61

    • DOI

      10.18974/tvrsj.26.1_52

    • NAID

      130008014109

    • ISSN
      1344-011X, 2423-9593
    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Part-to-full shape matching of different human subjects2021

    • Author(s)
      Rakprayoon Panjawee、Ruchanurucks Miti、Thainimit Somying、Mitsugami Ikuhisa
    • Journal Title

      Heliyon

      Volume: 7

    • DOI

      10.1016/j.heliyon.2021.e08214

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Detecting Lower MMSE Scores in Older Adults Using Cross-Trial Features From a Dual-Task With Gait and Arithmetic2021

    • Author(s)
      Wu Shuqiong、Matsuura Taku、Okura Fumio、Makihara Yasushi、Zhou Chengju、Aoki Kota、Mitsugami Ikuhisa、Yagi Yasushi
    • Journal Title

      IEEE Access

      Volume: 9 Pages: 150268-150282

    • DOI

      10.1109/access.2021.3126067

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] 3D Pose Estimation Using Multiple Asynchronous Cameras2020

    • Author(s)
      Morimoto Takashi、Mitsugami Ikuhisa
    • Journal Title

      Smart Innovation, Systems and Technologies

      Volume: 204 Pages: 39-50

    • DOI

      10.1007/978-981-15-8944-7_3

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] A Video-Based Gait Disturbance Assessment Tool for Diagnosing Idiopathic Normal Pressure Hydrocephalus2020

    • Author(s)
      R. Liao, Y. Makihara, D. Muramatsu, I. Mitsugami, Y. Yagi, K. Yoshiyama, H. Kazui, M. Takeda
    • Journal Title

      IEEJ Transactions on Electrical and Electronic Engineering

      Volume: 15 Pages: 433-441

    • DOI

      10.1002/tee.23072

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Analysis of gait changes caused by fixing left knee joint focusing on balance and kinematics2020

    • Author(s)
      山添大丈, 満上育久, 小川拓也, 八木康史
    • Journal Title

      JNSE

      Volume: 7 Issue: 0 Pages: 33-42

    • DOI

      10.24462/jnse.7.0_33

    • NAID

      130007803844

    • ISSN
      2188-4323, 2432-6283
    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Statistical Analysis of Dual-task Gait Characteristics for Cognitive Score Estimation2019

    • Author(s)
      Taku Matsuura, Kazuhiro Sakashita, Andrey Grushnikov, Fumio Okura, Ikuhisa Mitsugami, Yasushi Yagi
    • Journal Title

      Scientific Reports

      Volume: 9 Pages: 1-12

    • DOI

      10.1038/s41598-019-56485-w

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Analysis of head and chest movements during walking that correspond to gaze directions2019

    • Author(s)
      Hirotake Yamazoe, Ikuhisa Mitsugami, Tsukasa Okada, Yasushi Yagi
    • Journal Title

      Experimental Brain Research

      Volume: 237 Pages: 3047-3058

    • DOI

      10.1007/s00221-019-05650-8

    • Related Report
      2019 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Early Detection of Lower MMSE Scores in Elderly Based on Dual-Task Gait2019

    • Author(s)
      Aoki Kota、Ngo Trung Thanh、Mitsugami Ikuhisa、Okura Fumio、Niwa Masataka、Makihara Yasushi、Yagi Yasushi、Kazui Hiroaki
    • Journal Title

      IEEE Access

      Volume: 7 Pages: 40085-40094

    • DOI

      10.1109/access.2019.2906908

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Depth Error Correction for Projector-Camera Based Consumer Depth Camera2018

    • Author(s)
      Hirotake Yamazoe, Hitoshi Habe, Ikuhisa Mitsugami, Yasushi Yagi
    • Journal Title

      Computational Visual Media

      Volume: 4 Pages: 103-111

    • DOI

      10.1007/s41095-017-0103-7

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] [Paper] Automatic Collection of Dual-task Human Behavior for Analysis of Cognitive Function2018

    • Author(s)
      Fumio Okura, Ikuhisa Mitsugami, Masataka Niwa, Kota Aoki, Chengju Zhou, Yasushi Yagi
    • Journal Title

      ITE Transactions on Media Technology and Applications

      Volume: 6 Issue: 2 Pages: 138-150

    • DOI

      10.3169/mta.6.138

    • NAID

      130006603032

    • ISSN
      2186-7364
    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Directional Characteristics Evaluation of Appearance-Based Gait Recognition2018

    • Author(s)
      Yui Shigeki, Fumio Okura, Ikuhisa Mitsugami, Kenichi Hayashi, Yasushi Yagi
    • Journal Title

      IPSJ Transactions on Computer Vision and Applications

      Volume: 10

    • DOI

      10.1186/s41074-018-0046-7

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] [Papers] Growth Assessment of School-age Children using Dualtask Observation2018

    • Author(s)
      Zhou Chengju、Mitsugami Ikuhisa、Okura Fumio、Aoki Kota、Yagi Yasushi
    • Journal Title

      ITE Transactions on Media Technology and Applications

      Volume: 6 Issue: 4 Pages: 286-296

    • DOI

      10.3169/mta.6.286

    • NAID

      130007493366

    • ISSN
      2186-7364
    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Estimating 3D human shape under clothing from a single RGB image2018

    • Author(s)
      Yui Shigeki, Fumio Okura, Ikuhisa Mitsugami, Yasushi Yagi
    • Journal Title

      IPSJ Transactions on Computer Vision and Applications

      Volume: 10

    • DOI

      10.1186/s41074-018-0052-9

    • Related Report
      2018 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] Autonomous Human-Following Drone for Monitoring a Pedestrian from Constant Distance and Direction2021

    • Author(s)
      Hiroto Yamashita, Takashi Morimoto, Ikuhisa Mitsugami
    • Organizer
      2021 IEEE 10th Global Conference on Consumer Electronics
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Gaze Analysis based on Computer Vision and Virtual Reality Technologies2021

    • Author(s)
      Ikuhisa Mitsugami
    • Organizer
      東北大学 電気通信研究所 令和元年度共同プロジェクト研究発表会
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] 心を推し量る人物行動解析2021

    • Author(s)
      満上育久
    • Organizer
      立命館大学稲盛経営哲学研究センターワークショップ
    • Related Report
      2020 Annual Research Report
    • Invited
  • [Presentation] 二人称映像を用いたアイトラッカー2021

    • Author(s)
      渡邊康平, 満上育久, 佐川立昌
    • Organizer
      情報処理学会CVIM研究会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 非同期・非固定カメラ群を用いたマーカーレスモーションキャプチャ2021

    • Author(s)
      山下浩豊, 森本隆志, 満上育久
    • Organizer
      画像の認識・理解シンポジウム
    • Related Report
      2020 Annual Research Report
  • [Presentation] スマートグラスを用いた人物認識ウェアラブルシステム2021

    • Author(s)
      住野奏, 脇田直也, 満上育久
    • Organizer
      画像の認識・理解シンポジウム
    • Related Report
      2020 Annual Research Report
  • [Presentation] VR講義動画視聴時の注視行動に基づく理解度推定2021

    • Author(s)
      胡間舞子, 黒田明日香, 満上育久
    • Organizer
      画像の認識・理解シンポジウム
    • Related Report
      2020 Annual Research Report
  • [Presentation] VR視覚探索時の頭部運動と心的状態の関係の調査2021

    • Author(s)
      清武優衣, 世波里菜, 山岸典子, 満上育久
    • Organizer
      画像の認識・理解シンポジウム
    • Related Report
      2020 Annual Research Report
  • [Presentation] サーマルカメラを用いた鼻呼吸数測定2021

    • Author(s)
      才野翔伍, 満上育久
    • Organizer
      第39回日本ロボット学会学術講演会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 眼球・頭部協調関係の学習による頭部運動からの視線確率分布推定2021

    • Author(s)
      村本修斗, 山下浩豊, 満上育久
    • Organizer
      第23回IEEE広島支部学生シンポジウム
    • Related Report
      2020 Annual Research Report
  • [Presentation] 複数台ドローンカメラを用いたマーカーレスモーションキャプチャ2021

    • Author(s)
      平井孝明, 山下浩豊, 森本隆志, 満上育久
    • Organizer
      第23回IEEE広島支部学生シンポジウム
    • Related Report
      2020 Annual Research Report
  • [Presentation] 3D Pose Estimation Using Multiple Asynchronous Cameras2020

    • Author(s)
      Takashi Morimoto, Ikuhisa Mitsugami
    • Organizer
      International Conference on Activity and Behavior Computing
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Drone Control for Monitoring a Walking Person from Constant Distance2020

    • Author(s)
      Hiroto Yamashita, Takashi Morimoto, Ikuhisa Mitsugami
    • Organizer
      International Conference on Activity and Behavior Computing
    • Related Report
      2020 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 広域移動する人物の映像解析のための自動追従ドローン2020

    • Author(s)
      山下浩豊, 満上育久
    • Organizer
      情報処理学会CVIM研究会
    • Related Report
      2020 Annual Research Report
  • [Presentation] 3次元姿勢推定に基づく人物自動追従ドローン2020

    • Author(s)
      山下浩豊, 満上育久
    • Organizer
      画像の認識・理解シンポジウム
    • Related Report
      2020 Annual Research Report
  • [Presentation] Gaze from Head: Gaze Estimation without Observing Eye2019

    • Author(s)
      Jun'ichi Murakami, Ikuhisa Mitsugami
    • Organizer
      The 5th Asian Conference on Pattern Recognition
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Dataset of Eye-Head Coordination under VR Experiences2019

    • Author(s)
      Jun'ichi Murakami, Ikuhisa Mitsugami
    • Organizer
      The International Workshop on Electronics, Information and Communication
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Integration of Body Poses Captured by Asynchronous Multiple Kinects2019

    • Author(s)
      Takashi Morimoto, Ikuhisa Mitsugami
    • Organizer
      The International Workshop on Electronics, Information and Communication
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Gaze Distribution related to Degree of Understanding under VR-based E-learning System2019

    • Author(s)
      Asuka Kuroda, Ikuhisa Mitsugami
    • Organizer
      The International Workshop on Electronics, Information and Communication
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] VR-based Eye and Head Motion Collection for Modeling Their Coordination2019

    • Author(s)
      Jun'ichi Murakami, Ikuhisa Mitsugami
    • Organizer
      2019 IEEE 8th Global Conference on Consumer Electronics
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Motion Capture System by Spatio-Temporal Integration of Multiple Kinects2019

    • Author(s)
      Takashi Morimoto, Ikuhisa Mitsugami
    • Organizer
      2019 IEEE 8th Global Conference on Consumer Electronics
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] The effect of mood state on visual search times under VR environment2019

    • Author(s)
      Ikuhisa Mitsugami, Miyu Sakai, Rina Yonami, Jun'ichi Murakami, Noriko Yamagishi
    • Organizer
      The 15th Asia-Pacific Conference on Vision
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Gaze from Head: Gaze Estimation without Observing Eyes2019

    • Author(s)
      Ikuhisa Mitsugami
    • Organizer
      APSCIT 2019 Annual Meeting
    • Related Report
      2019 Annual Research Report
    • Int'l Joint Research / Invited
  • [Presentation] コンピュータビジョン・VRを活用した注視行動分析2019

    • Author(s)
      満上育久
    • Organizer
      電子情報通信学会ヒューマン情報処理研究会
    • Related Report
      2019 Annual Research Report
    • Invited
  • [Presentation] 心を推し量るための人物映像解析技術2019

    • Author(s)
      満上育久
    • Organizer
      広島市立大学産学連携研究発表会
    • Related Report
      2019 Annual Research Report
    • Invited
  • [Presentation] デュアルタスク歩行解析に基づく高齢者の認知機能スコア推定2019

    • Author(s)
      松浦拓, 大倉史生, 槇原靖, 周成菊, 青木工太, 満上育久, 八木康史
    • Organizer
      電子情報通信学会ヒューマンコミュニケーション基礎研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 歩行者の全身を撮影し続けるためのドローン制御2019

    • Author(s)
      山下浩豊, 満上育久
    • Organizer
      第21回IEEE広島支部学生シンポジウム
    • Related Report
      2019 Annual Research Report
  • [Presentation] KinectとOpenPoseの統合による姿勢推定性能向上のための関節点の対応関係調査2019

    • Author(s)
      森本隆志, 満上育久
    • Organizer
      第18回情報科学技術フォーラム
    • Related Report
      2019 Annual Research Report
  • [Presentation] VR講義動画視聴における理解度と注視分布の関係の分析2019

    • Author(s)
      黒田明日香, 満上育久
    • Organizer
      第18回情報科学技術フォーラム
    • Related Report
      2019 Annual Research Report
  • [Presentation] 視線追跡型VRゴーグルを用いた眼球・頭部協調運動データ収集システム2019

    • Author(s)
      村上純一, 満上育久
    • Organizer
      画像の認識・理解シンポジウム
    • Related Report
      2019 Annual Research Report
  • [Presentation] 視線追跡型VRゴーグルを用いた眼球・頭部協調運動データ収集システム2019

    • Author(s)
      村上純一, 満上育久
    • Organizer
      情報処理学会CVIM研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 複数Kinectの姿勢データの時空間統合によるモーションキャプチャシステム2019

    • Author(s)
      森本隆志, 満上育久
    • Organizer
      情報処理学会CVIM研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] VR環境を用いた受講生の理解度と注視運動の関係性の調査2019

    • Author(s)
      黒田明日香, 満上育久
    • Organizer
      情報処理学会CVIM研究会
    • Related Report
      2019 Annual Research Report
  • [Presentation] 多重時間幅オプティカルフローによる顔の各部位の微小動作検出2019

    • Author(s)
      田川聖一, 越後富夫, 満上育久
    • Organizer
      第63回システム制御情報学会研究発表講演会
    • Related Report
      2019 Annual Research Report
  • [Presentation] VR環境下での視覚探索課題とその分析2019

    • Author(s)
      坂井美友, 山岸典子, 満上育久
    • Organizer
      日本視覚学会2019年冬季大会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Gaze from Head: Gaze Estimation without Observing Eyes2018

    • Author(s)
      Ikuhisa Mitsugami
    • Organizer
      脳情報通信融合研究センター
    • Related Report
      2018 Annual Research Report
    • Invited
  • [Presentation] 早期認知障害検出に向けた高齢者デュアルタスクデータセットの統計分析2018

    • Author(s)
      松浦 拓, 阪下 和弘, 満上 育久, 大倉 史生, 八木 康史
    • Organizer
      情報処理学会CVIM研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] 低解像度俯瞰映像からの注視推定2018

    • Author(s)
      沖中大和, 満上育久, 西野恒, 八木康史
    • Organizer
      第21回画像の認識・理解シンポジウム
    • Related Report
      2018 Annual Research Report
  • [Presentation] Estimating 3D human shape under clothing from a single RGB image2018

    • Author(s)
      Yui Shigeki, Fumio Okura, Ikuhisa Mitsugami, Yagi Yasushi
    • Organizer
      第21回画像の認識・理解シンポジウム
    • Related Report
      2018 Annual Research Report
  • [Presentation] 単一RGB画像からの着衣変化に頑健な体型推定および個人認証への応用2018

    • Author(s)
      繁木 結衣, 大倉 史生, モハメド ハサン, 満上 育久, 八木 康史
    • Organizer
      電子情報通信学会BioX研究会
    • Related Report
      2018 Annual Research Report
  • [Presentation] Gaze and Body Capture System under VR Experiences2018

    • Author(s)
      Jun'ichi Murakami, Takashi Morimoto, Ikuhisa Mitsugami
    • Organizer
      The 24th ACM Symposium on Virtual Reality Software and Technology
    • Related Report
      2018 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2018-04-23   Modified: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi