• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Research-status Report

物体表面画像の微視的特徴の同定と情報抽出

Research Project

Project/Area Number 20K11777
Research InstitutionHosei University

Principal Investigator

藤田 悟  法政大学, 情報科学部, 教授 (40513776)

Co-Investigator(Kenkyū-buntansha) 内田 薫  法政大学, 情報科学研究科, 教授 (40735651)
Project Period (FY) 2020-04-01 – 2023-03-31
Keywords画像照合 / 生体情報抽出 / 画像特徴量 / GAN
Outline of Annual Research Achievements

本研究では、高解像、かつ、高機能化したスマートフォンのカメラにより撮影した画像を微視的かつ時間軸上に詳細分析し、曲面を持つ剛体を含む物体の個体識別や、人体のように曲面かつ柔軟体である物体の個体識別を行い、加えて、脈拍のような時間変化に関する情報抽出を行う技術について研究している。
2020年度は、顔映像からの脈拍抽出を研究した。顔映像の中に現れる脈拍は、256階調のRGB信号の1階調を下回るレベルの微小な色変化として観測される。これを、短時間では脈拍は大きく変化しないこと、異なる肌も同じ周期で脈拍が観測できることから、連続時間での観測と、複数領域での脈拍測定を行い、脈拍測定の精度改善を行った。さらに、顔映像上の特徴点ををトラッキングすることで、同一特徴点での色変化をとらえることに成功した。
2021年度は、掌の微小な画像特徴量を用いて認証する手法と、目の瞳孔測定について研究を進めた。掌の認証手法については、高解像度の画像を用いて、指紋に相当する微細な特徴量を抽出することに成功し、これを照合に用いた。掌は立体形状を持つため、小領域に分割した affine 変換を用いることで、照合可能であることをしめした。瞳孔抽出については、赤外線カメラを用いて瞳孔を撮影し、エッジ抽出とハフ変換を用いて概形を抽出することに成功した。
このほか、画像からの個体識別用特徴抽出高度化の一手法として、敵対的生成ネットワーク(GAN)を適用して画像を高精度に変換する方式に関し、基本方式の検討を進めた。特に、学習用データが十分でない状況(data-imbalanced setting)でも変換を高精度化できるCross-modal and Semantics-Augmented Asymmetric CycleGAN という手法を提案した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

2021年度は、掌の微細画像の分析に立ち戻って、その照合技術の研究を進めた。掌全体の高精度画像は、情報量も多いことから、小領域に分割した照合や、全体照合の後の部分照合など、様々な方法で精度と速度の改善を進めることができた。また、目の瞳孔径から精神状態を推定する取り組みを始め、赤外線写真からの瞳孔抽出に成功した。以上のように、当初の計画に沿って、順調に研究を進めている。2022年度は、上記の研究を進めることに加えて、深層学習を用いた画像技術にも焦点を充てて研究を進めたいと考えている。

Strategy for Future Research Activity

2022年度については、引き続き、掌の照合と目の瞳孔抽出の研究を中心に進める。
掌の照合については、3次元形状を復元しながらの照合を行う予定である。これまで、掌の表面模様で照合を行ってきたが、これに加えて、3次元形状による照合を可能にする予定である。3次元形状を構築するには微細な特徴点の精度の高いマッチングが必要であり、それを実現する手法を中心に研究を進める。3次元の形状照合が可能になれば、逆に表面の模様の照合もしやすくなることから、相互補完した照合技術になることを期待している。
瞳孔抽出については、2021年度にある程度の精度での抽出に成功していることから、さらなる精度向上に加えて、動画に対しての抽出を行って、時間軸上の瞳孔径の変化を観測可能にする予定である。本来の目標である非接触の健康管理への応用について検討を進める。
深層学習の敵対的生成ネットワークを適用した高精度な画像変換方式に関しても、基本方式の検討を進める。特に、圧縮撮影画像を効率的かつ高性能に復元するための圧縮センシングプロセスにおいてGANを利用する手法を検討する。さらに、深層学習の学習高速化を目指し、深層学習の重み配列の分析を進める。

Causes of Carryover

2020年度に引き続き、新型コロナウイルス感染症の感染拡大により、海外で開催される国際会議への出張機会がなく、2021年度も、出張予定支出額が抑えられることになった。繰り越しとなった予算については、研究に必要な備品の購入と、新型コロナウイルス感染症の感染状況を見た上での国際会議参加に利用したい。

  • Research Products

    (6 results)

All 2022 2021

All Journal Article (1 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (5 results)

  • [Journal Article] Cross-modal and Semantics-Augmented Asymmetric CycleGAN for Data-Imbalanced Anime Style Face Translation2021

    • Author(s)
      Deng Shiping、Uchida Kaoru、Yin Zhengwei
    • Journal Title

      Proceedings of 2021 3rd International Conference on Video, Signal and Image Processing

      Volume: 3 Pages: 43-51

    • DOI

      10.1145/3503961.3503969

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] 精神状態推定のための非接触な瞳孔径測定手法2022

    • Author(s)
      小池実輝哉, 藤田 悟
    • Organizer
      情報処理学会第84回全国大会
  • [Presentation] 掌画像の局所特徴量を用いた物体照合の研究2022

    • Author(s)
      佐久間実花, 藤田 悟
    • Organizer
      情報処理学会第84回全国大会
  • [Presentation] ニューラルネットワークの重みパターンの分析と初期値設定手法の提案2022

    • Author(s)
      廣瀬理陽, 藤田 悟
    • Organizer
      情報処理学会第84回全国大会
  • [Presentation] Cross-modal CycleGAN for Low-Resource Anime Style Face Translation2021

    • Author(s)
      Shiping Deng, Kaoru Uchida
    • Organizer
      電子情報通信学会 パターン認識・メディア理解研究会
  • [Presentation] wganBCS: Block-wise image compressive sensing and reconstruction model using adversarial training to eliminate block effects2021

    • Author(s)
      Boyan Chen, Kaoru Uchida
    • Organizer
      電子情報通信学会 画像工学研究会

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi