Development of Model-based Gait Recognition based on Probability Distributions of Joinits' Positions and Continuous Contour Tracking

• Project/Area Number: 17K18379
• Research Category: Grant-in-Aid for Young Scientists (B)
• Allocation Type: Multi-year Fund
• Research Field: Perceptual information processing; Social systems engineering/Safety system
• Research Institution: National Research Institute of Police Science
• Principal Investigator: Imoto Daisuke 科学警察研究所, 法科学第二部, 研究員 (10760902)
• Project Period (FY): 2017-04-01 – 2021-03-31
• Project Status: Completed (Fiscal Year 2020)
• Budget Amount: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000); Fiscal Year 2019: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000); Fiscal Year 2018: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000); Fiscal Year 2017: ¥2,600,000 (Direct Cost: ¥2,000,000、Indirect Cost: ¥600,000)
• Keywords: 法科学 / 歩容解析 / モデルベース手法 / 機械学習 / 輪郭動態トラッキング / 高さ制約 / 高さ方向の制約条件（高さ制約） / 低フレームレート / 個人識別精度 / モデルベース歩容解析 / 関節位置の確率分布 / モデルベース歩容認証 / 輪廓動態トラッキング

Outline of Final Research Achievements

In this study, we tried to solve the problems of human footage analysis caused by low frame rate and difference in clothing and viewing directions. First, we developed a novel boundary dynamics tracking algorithm that is suitable for human footage analysis based on height constraint assumption (proposed method I). The proposed method I can successfully compensate the information loss between the two silhouette images, and showed improvement in accuracy under low frame rate conditions in the applications of gait analysis and 3D human body shape reconstruction. In addition, the analysis method using feature points and dynamic shape features (Proposed Method II) and the analysis method based on 3D camera calibration (Proposed Method III) can improve the accuracy of gait analysis under the differences in clothing and viewing directions, respectively.

Academic Significance and Societal Importance of the Research Achievements

本研究により、低フレームレート、服装及び撮影角度の相違に起因する歩容解析の精度向上が図られ、法科学における応用が期待される。特に、低フレームレートと撮影角度の条件緩和（提案手法I及びIII）については、アルゴリズムの適用における映像としての撮影角度条件の制約が少ない（注：比較映像同士の条件の制約はある）ため、今後の実応用が期待される。また、細胞・流体の解析に用いられてきた既存の輪郭動態のトラッキング（レベルセット法、最小二乗基準による方法）は人物映像に適さないことが明らかになったことで、提案手法Iの高さ制約の仮定の人物映像解析一般への波及が期待される。

Research Products

• [Journal Article] Model-Based Interpolation for Continuous Human Silhouette Images by Height-Constraint Assumption (2020)
  • Author(s): Daisuke Imoto, Kenji Kurosawa, Masakatsu Honma, Ryo Yokota, Manato Hirabayashi, Yoshinori Hawai
  • Journal Title: ICVISP 2020: Proceedings of the 2020 4th International Conference on Vision, Image and Signal Processing Volume: ICVISP 2020 Pages: 1-11
  • DOI: 10.1145/3448823.3448835
  • Peer Reviewed
• [Journal Article] Evaluation of gait recognition using dynamics of feature points and local shape features under clothing variation conditions (2019)
  • Author(s): 井元 大輔, 黒沢 健至, 土屋 兼一, 黒木 健郎, 平林 学人, 秋葉 教充, 角田 英俊
  • Journal Title: Japanese Journal of Forensic Science and Technology Volume: 24 Issue: 1 Pages: 23-41
  • DOI: 10.3408/jafst.745
  • NAID: 130007583994
  • ISSN: 1880-1323, 1881-4689
  • Peer Reviewed / Open Access
• [Presentation] 3次元カメラパラメータの校正に基づく歩容解析の射影歪み頑健性評価 (2020)
  • Author(s): 井元大輔、黒沢健至、本間正勝、横田亮、平林学人、羽合佳範
  • Organizer: 画像電子学会第294回研究会（映像学技報, 44(22), p.27-30, 2020）
• [Presentation] 三次元カメラ校正に基づく撮影角度の相違に頑健な歩容解析 (2020)
  • Author(s): 井元大輔、黒沢健至、本間正勝、横田亮、平林学人、羽合佳範
  • Organizer: 日本法科学技術学会第26回学術集会（講演要旨集, p.69)
• [Presentation] Model-Based Interpolation for Continuous Human Silhouette Images by Height-Constraint Assumption (2020)
  • Author(s): Daisuke Imoto, Kenji Kurosawa, Masakatsu Honma, Ryo Yokota, Manato Hirabayashi, Yoshinori Hawai
  • Organizer: ICVISP 2020: the 2020 4th International Conference on Vision, Image and Signal Processing
• [Presentation] 高さの制約による連続した人物シルエット映像のフレーム補間手法の開発 ～ 低フレームレート条件における歩容解析への適用 ～ (2019)
  • Author(s): 井元大輔, 黒沢健至 , 本間正勝 , 横田亮, 平林学人, 羽合佳範
  • Organizer: 信学技報, vol. 119, no. 192, PRMU2019-19, pp. 43-48, 2019年9月.
• [Presentation] 動的特徴と相違度の統合による歩容解析の撮影角度に対する頑健性の向上 (2019)
  • Author(s): 井元大輔, 黒沢健至 , 本間正勝 , 横田亮, 平林学人, 羽合佳範
  • Organizer: 法科学技術学会 第25回学術集会発表要旨集
• [Presentation] 相対高さの制約を加味した連続した人物シルエット映像のフレーム補間手法 (2019)
  • Author(s): 井元大輔, 黒沢健至 , 本間正勝 , 横田亮, 平林学人, 羽合佳範
  • Organizer: バイオメカニズム学術講演会予稿集 (バイオメカニズム学術講演会講演予稿集)
• [Presentation] A Novel Human Identification Method by Gait using Dynamics of Feature Points and Local Shape Features (2018)
  • Author(s): Daisuke Imoto, Kenji Kurosawa, Ken'ichi Tsuchiya, Kenro Kuroki, Manato Hirabayasi, Norimitsu Akiba, Hidetoshi Kakuda, Kosuke Tanabe, Yoshinori Hawai
  • Organizer: EUVIP 2018: proceedings of the IEEE 7th European Workshop on Visual Information
  • Int'l Joint Research
• [Presentation] 歩容解析における射影歪み除去による撮影角度依存性の改善 (2018)
  • Author(s): 井元大輔、黒沢健至、土屋兼一、黒木健郎、平林学人、秋葉教充、横田亮、角田英俊、田辺鴻典、羽合佳範
  • Organizer: 日本法科学技術学会第24回学術集会
• [Presentation] 特徴点と形状情報の動的特徴を用いた歩容解析手法 (2018)
  • Author(s): 井元大輔、黒沢健至、土屋兼一、黒木健郎、平林学人、秋葉教充、角田英俊
  • Organizer: 第8回バイオメトリクスと認識・認証シンポジウム(SBRA)
• [Presentation] 二次元姿勢推定ツールを用いたモデルベース歩容認証法の提案 (2017)
  • Author(s): 井元大輔, 黒沢健至, 土屋兼一, 黒木健郎, 平林学人, 秋葉教充, 角田英俊
  • Organizer: 第16回情報科学技術フォーラム（FIT2017）
• [Presentation] 二次元姿勢推定ツールを用いたモデルベース歩容解析の効率化 (2017)
  • Author(s): 井元大輔, 黒沢健至, 土屋兼一, 黒木健郎, 平林学人, 秋葉教充, 角田英俊
  • Organizer: 第23回 法科学技術学会学術集会
• [Presentation] 特徴点と形状情報を用いたモデルベース歩容認証法の服装相違条件における精度評価 (2017)
  • Author(s): 井元大輔, 黒沢健至, 土屋兼一, 黒木健郎, 平林学人, 秋葉教充, 角田英俊
  • Organizer: 第7回バイオメトリクスと認識・認証シンポジウム（SBRA2017）
• [Remarks] Researchmap
  • URL: https://researchmap.jp/read10760902/