• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2019 Fiscal Year Annual Research Report

Proposal of gait model related to intellect, emotion, volition and physical and its application to suspicious person detection

Research Project

Project/Area Number 18H04115
Research InstitutionOsaka University

Principal Investigator

八木 康史  大阪大学, 産業科学研究所, 教授 (60231643)

Project Period (FY) 2018-04-01 – 2021-03-31
Keywordsコンピュータビジョン / パターン認識 / バイオメトリクス
Outline of Annual Research Achievements

P1-1) 知情意体のパラメタとその取得シナリオの検討: 前年度に引き続いて、データ収集とその整理によるデータセット構築に取り組む。具体的には、知情意体の内、意図・注意等に関連する「意」について、エキストラ被験者に携帯電話への注意を向けた歩行や運動のための早足歩行等の指示を与えた場合の歩行映像データを収集し、各データに対する「意」のアノテーション及び歩容特徴抽出を行った。また、情動に関連する「情」について、標準的な性格アンケートであるビッグ・ファイヴに対する回答結果と歩行映像のペアを収集した。また、前年度収集した「体」に関する体組成データについても、継続して収集した。
P1-2) 二入力による個別要因に対する相対モデル: 前年度に引き続いて、個別要因に対する相対モデルの構築に取り組んだ。具体的には、前年度開発した、人の近くに基づく歩容の良さ、即ち知情意体の「知」に関する相対属性モデルについて、入力の特徴表現を改善した。前年度までは、時間情報を圧縮した歩容特徴である平均シルエット(歩容エネルギー画像)を用いていたのに対して、人体特徴点に対する軌跡集合といった、時系列情報をより直接的に表現する入力表現を導入することで、属性推定の精度を向上させた。一方で、入力から出力までを一貫した深層ネットワークで学習する枠組みについても検討した。P1-3) 一入力による個別要因に対する絶対モデル: 一入力のデータに対するアノテーションは、一対データに対するアノテーションより困難であることが多く、結果として学習データ数が限られることが問題となる。そこで、一般的な歩容属性(腕振り等)をターゲットにして事前学習したネットワークを活用して、少数の学習データを持つ1入力データに対する追加学習を行う枠組みを構築すると共に、上記の「体」「意」「情」のデータに対する予備実験を実施した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

予定していた知情意体のデータ収集、及び、二入力による個別要因に対する相対モデルの拡張や、一入力による個別要因に対する絶対モデルの予備実験を実施したことから、概ね順調に進展していると言える.

Strategy for Future Research Activity

平均シルエットに基づく相対モデルや,人体特徴点付近から抽出したオプティカルフロー情報に基づく相対モデルを,従来の機械学習手法から,入力から出力までを一貫した深層ネットワークで学習する枠組みへ拡張することで、「知」属性の推定精度向上を目指す。更に、アノテータ毎のラベルの違いを当該属性の不確かさであると見なして、ラベル分布学習の枠組みによってその不確かさをモデリングすることで、更なる精度向上を目指す。

  • Research Products

    (17 results)

All 2020 2019

All Journal Article (8 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 8 results,  Open Access: 4 results) Presentation (9 results) (of which Int'l Joint Research: 8 results)

  • [Journal Article] A Video-Based Gait Disturbance Assessment Tool for Diagnosing Idiopathic Normal Pressure Hydrocephalus2020

    • Author(s)
      R. Liao, Y. Makihara, D. Muramatsu, I. Mitsugami, Y. Yagi, K. Yoshiyama, H. Kazui, M. Takeda
    • Journal Title

      IEEJ Transactions on Electrical and Electronic Engineering

      Volume: 15 Pages: 433-441

    • DOI

      10.1002/tee.23072

    • Peer Reviewed
  • [Journal Article] Joint Intensity Transformer Network for Gait Recognition Robust against Clothing and Carrying status2019

    • Author(s)
      X. Li, Y. Makihara, C. Xu, Y. Yagi, M. Ren
    • Journal Title

      IEEE Transactions on Information Forensics and Security

      Volume: 14 Pages: 3102-3115

    • DOI

      10.1109/TIFS.2019.2912577

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Statistical Analysis of Dual-task Gait Characteristics for Cognitive Score Estimation2019

    • Author(s)
      Taku Matsuura, Kazuhiro Sakashita, Andrey Grushnikov, Fumio Okura, Ikuhisa Mitsugami, Yasushi Yagi
    • Journal Title

      Scientific Reports

      Volume: 9 Pages: 1-12

    • DOI

      10.1038/s41598-019-56485-w

    • Peer Reviewed
  • [Journal Article] patio-temporal silhouette sequence reconstruction for gait recognition against occlusion2019

    • Author(s)
      M.Z. Uddin, D. Muramatsu, N. Takemura, M.A.R. Ahad, Y. Yagi
    • Journal Title

      IPSJ Trans. on Computer Vision and Applications

      Volume: 11 Pages: 1-18

    • DOI

      10.1186/s41074-019-0061-3

    • Peer Reviewed / Open Access
  • [Journal Article] Pedestrian segmentation based on a spatio-temporally consistent graph cut with optimal transport2019

    • Author(s)
      Y. Yu, Y. Makihara, Y. Yagi
    • Journal Title

      IPSJ Trans. on Computer Vision and Applications

      Volume: 11 Pages: 1-17

    • DOI

      10.1186/s41074-019-0062-2

    • Peer Reviewed / Open Access
  • [Journal Article] Speed-Invariant Gait Recognition Using Single-Support Gait Energy Image2019

    • Author(s)
      C. Xu, Y. Makihara, X. Li, Y. Yagi, J. Lu
    • Journal Title

      Multimedia Tools and Applications

      Volume: 78 Pages: 26509-26536

    • DOI

      10.1007/s11042-019-7712-3

    • Peer Reviewed / Open Access
  • [Journal Article] Gait-based age estimation using multi-stage convolutional neural network2019

    • Author(s)
      A. Sakata, N. Takemura, Y. Yagi
    • Journal Title

      IPSJ Trans. on Computer Vision and Applications

      Volume: 11 Pages: 1-4

    • DOI

      10.1186/s41074-019-0054-2

    • Peer Reviewed / Open Access
  • [Journal Article] Gait-based Age Progression/Regression: A Baseline and Performance Evaluation by Age Group Classification and Cross-age Gait Identification2019

    • Author(s)
      C. Xu, Y. Makihara, Y. Yagi, J. Lu
    • Journal Title

      Machine Vision and Applications

      Volume: 30 Pages: 629-644

    • DOI

      10.1007/s00138-019-01015-x

    • Peer Reviewed
  • [Presentation] Spatio-temporal silhouette sequence reconstruction for gait recognition against occlusion2020

    • Author(s)
      MZ Uddin, D Muramatsu, N Takemura, Md Atiqur Rahman Ahad, and Y Yagi
    • Organizer
      23rd SANKEN International Symposium on Scientific and Industrial Research for Space Age
    • Int'l Joint Research
  • [Presentation] Statistical analysis of dual-task gait characteristics for cognitive score estimation2020

    • Author(s)
      Taku Matsuura, Kazuhiro Sakashita, Andrey Grushnikov, Fumio Okura, Ikuhisa Mitsugami, Yasushi Yagi
    • Organizer
      The 2nd International Symposium on Symbiotic Intelligent Systems
    • Int'l Joint Research
  • [Presentation] oes My Gait Look Nice? Human Perception-Based Gait Relative Attribute Estimation Using Dense Trajectory Analysis2020

    • Author(s)
      A.S. Hassanein, Y. Hayashi, Y. Makihara, D. Muramatsu, Y. Yagi
    • Organizer
      The 2nd International Symposium on Symbiotic Intelligent Systems
    • Int'l Joint Research
  • [Presentation] Does My Gait Look Nice? Human Perception-Based Gait Relative Attribute Estimation Using Dense Trajectory Analysis2020

    • Author(s)
      A.S. Hassanein, Y. Hayashi, Y. Makihara, D. Muramatsu, Y. Yagi
    • Organizer
      The 23rd SANKEN International Symposium
    • Int'l Joint Research
  • [Presentation] OU-ISIR Wearable Sensor-based Gait Challenge: Age and Gender2020

    • Author(s)
      T.T. Ngo, M.A.R. Ahad, A.D. Antar, M. Ahmed, D. Muramatsu, Y. Makihara, Y. Yagi, S. Inoue, T. Hossain, Y. Hattori
    • Organizer
      The 23rd SANKEN International Symposium
    • Int'l Joint Research
  • [Presentation] デュアルタスク歩行解析に基づく高齢者の認知機能スコア推定2020

    • Author(s)
      松浦 拓, 大倉 史生, 槇原 靖, 周 成菊, 青木 工太, 満上 育久, 八木 康史
    • Organizer
      電子情報通信学会 技術研究報告
  • [Presentation] Does My Gait Look Nice? Human Perception-based Gait Relative Attributes Estimation by Dense Trajectory Analysis2019

    • Author(s)
      A.S. Hassanein, Y. Hayashi, Y. Makihara, D. Muramatsu, Y. Yagi
    • Organizer
      5th Asian Conference on Pattern Recognition
    • Int'l Joint Research
  • [Presentation] Make the Bag Disappear: Carrying Status-invariant Gait-based Human Age Estimation using Parallel Generative Adversarial Networks2019

    • Author(s)
      X. Li, Y. Makihara, C. Xu, Y. Yagi, M. Ren
    • Organizer
      the IEEE 10th Int. Conf. on Biometrics: Theory, Applications and Systems
    • Int'l Joint Research
  • [Presentation] OU-ISIR Wearable Sensor-based Gait Challenge: Age and Gender2019

    • Author(s)
      T.T. Ngo, M.A.R. Ahad, A.D. Antar, M. Ahmed, D. Muramatsu, Y. Makihara, Y. Yagi, S. Inoue, T. Hossain, Y. Hattori
    • Organizer
      12th IAPR International Conference On Biometrics
    • Int'l Joint Research

URL: 

Published: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi