• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

物体表面画像の微視的特徴の同定と情報抽出

研究課題

研究課題/領域番号 20K11777
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分60060:情報ネットワーク関連
研究機関法政大学

研究代表者

藤田 悟  法政大学, 情報科学部, 教授 (40513776)

研究分担者 内田 薫  法政大学, 情報科学研究科, 教授 (40735651)
研究期間 (年度) 2020-04-01 – 2025-03-31
研究課題ステータス 交付 (2023年度)
配分額 *注記
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2022年度: 1,300千円 (直接経費: 1,000千円、間接経費: 300千円)
2021年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2020年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
キーワード画像認識 / 画像照合 / ニューラルネットワーク / 人体計測 / 生体情報抽出 / 画像特徴量 / GAN / 脈拍推定 / フーリエ変換 / ウェーブレット変換 / 特異値分解 / 特徴点トラッキング / 物体指紋 / 特徴点照合 / 生体情報
研究開始時の研究の概要

本研究では、高解像、かつ、高機能化したスマートフォンのカメラにより撮影した画像を微視的かつ時間軸上に詳細分析し、曲面を持つ剛体を含む物体の個体識別や、人体のように曲面かつ柔軟体である物体の個体識別を行い、加えて、脈拍や紅潮のような時間変化に関する情報抽出を行う技術について研究する。応用領域として、私物の判定や個人認証などの物体の個体識別を可能にすることと、心拍数を始めとする人体の状態観察を非接触で行うことによる健康管理システムの構築を想定している。タグを利用しない野生動物の個体管理や、動物の健康管理(心拍数管理)など、指示や異常通知が難しい動物管理への応用も可能になると考える。

研究実績の概要

本研究では、高解像、かつ、高機能化したカメラにより撮影した画像を微視的かつ時間軸上に詳細分析する研究を進めている。特に、人体のように曲面かつ非剛体である物体に対する画像を分析し、個体識別や健康情報の抽出を行う技術を中心に研究を進めている。
本研究は、2020年度に研究を開始し、2020年度は、顔映像からの脈拍抽出に関する研究を進め、顔映像の時間と空間の連続性を用いて、脈拍の観測が可能であることを示した。そして、2021年度には、目の瞳孔径測定について研究を進め、赤外線カメラを用いて瞳孔を撮影し、エッジ抽出とハフ変換を用いて概形を抽出する手法を提案した。2022年度には、従来研究を上回る精度の認識手法を確立した。
2021年度からは、掌の微小な画像特徴量を用いて認証する手法について着手し、指紋に相当する微細な特徴量を抽出することに成功した。引き続き、2022年度に、ニューラルネットワークを用いた特徴点抽出と特徴点マッチングの手法の研究に着手した。そして、2023年度には、粗粒度と微細粒度の2レベルのパターン認識を行うニューラルネットワークの構築に成功し、非剛体に対する物理的な位置制約に基づく照合技術として報告した。
2022年度からは、複数カメラによる人体の同時撮影システムを用いて、人体の3次元的な特徴をモデル化する手法の研究に着手した。2023年度には、複数カメラの画像から構築した人体の3D表面モデルに対して、骨格を推定する研究を行い、複数のニューラルネットワークを組み合わせることで、骨格推定が可能であることを示した。
この他、上記のようなニューラルネットワークを用いた分析手法の高度化を目的に、ニューラルネットワーク自身の研究も深め、few-shot learning や、重みパラメータの効率的な学習手法、3次元の複雑表面を持つ画像の生成研究に成果を納めた。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

掌の照合技術について、2022年度に、ニューラルネットワークを利用して照合を行なう方向性を示し、2023年度に、粗粒度と微細粒度の2レベルのパターン認識をニューラルネットワークが担う手法を提案し、掌の照合が可能なことを示した。入力画像は、画像認識で一般的な CNN を用いて、特徴量が抽出され、それを、位置的制約と特徴量の類似制約を合わせて最適な画像照合の組み合わせを探索する手法であり、その全体をニューラルネットワークで一貫して学習できる点が特徴である。認識精度を高めるには、ニューラルネットワーク内部の深い理解が必要であり、ニューラルネットワークの重みの変化量の可視化や、正解に収束しやすいネットワーク構成などについて、研究を進める。
人体の照合には、表面の特徴量の照合に加えて、骨格のような人体内部の構造に対しても分析が必要であると考え、2022年度から、人体の表層モデルに対して骨格を推定する研究を進めている。100台近いカメラを用いて、複数方向の人体を撮影し、その画像を合成することで、3Dの人体モデルを形成する手法は、photo geometry として知られているが、これが生成する3Dの表層モデルから、内部の動作メカニズムを提供する骨格を推定することは、人物照合にも重要な観点を与える研究と考えている。現在、人体の表層のポリゴンモデルから、骨格と関節を推定するニューラルネットワークについて研究を進めており、今後も、この研究を強化したいと考える。
研究の基盤としてニューラルネットワークの重要性が高まる中、学習過程における重みパラメータの分析や、few shot learning などについての研究も強化している。特に、学習の収束性を高めるためには、重み分布を学習する必要があると考え、Bayesian Neural Network にも注目し、研究を進める。

今後の研究の推進方策

全体的には、ニューラルネットワークの活用と研究を積極的に進める。
掌の照合技術についての認識精度を高めるには、ニューラルネットワーク内部の深い理解と技術開発が必要であり、ニューラルネットワークの重みに注目し、正解に収束しやすいネットワークについて、研究を進める予定である。
人体の骨格推定についても、人体の表層のポリゴンモデルから、骨格と関節を推定するニューラルネットワークが必要であり、GNNなど、複数の候補について調査しつつ、研究を進める。
研究の基盤としてニューラルネットワークの重要性が高まる中、few shot learning などについての研究も強化していく。特に、Bayesian Neural Network にも注目した研究を進める予定である。

報告書

(4件)
  • 2023 実施状況報告書
  • 2022 実施状況報告書
  • 2021 実施状況報告書
  • 2020 実施状況報告書
  • 研究成果

    (29件)

すべて 2024 2023 2022 2021 2020

すべて 雑誌論文 (5件) (うち国際共著 4件、 査読あり 5件、 オープンアクセス 1件) 学会発表 (24件) (うち国際学会 4件)

  • [雑誌論文] Natural Text-Driven, Multi-Attribute Editing of Facial Images with Robustness in Sparse Latent Space2023

    • 著者名/発表者名
      Jianpeng Zou, Kaoru Uchida, Wenxin Yao, Kashing Yuen
    • 雑誌名

      Proceedings of 2023 3rd Asia-Pacific Conference on Communications Technology and Computer Science

      巻: -

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] Image-based fashion recommendation with attention to users' interests2022

    • 著者名/発表者名
      Wenxin Yao, Kaoru Uchida, Jianpeng Zou, Xiaolin Zhong
    • 雑誌名

      Proceedings of 2022 4th International Conference on Video, Signal and Image Processing

      巻: - ページ: 81-86

    • DOI

      10.1145/3577164.3577177

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり / 国際共著
  • [雑誌論文] wganBCS: Block-wise Image Compressive Sensing: Model using Wasserstein GAN2022

    • 著者名/発表者名
      Boyan Chen, Kaoru Uchida
    • 雑誌名

      Proceedings of the 2022 4th International Conference on Video, Signal and Image Processing

      巻: - ページ: 68-73

    • DOI

      10.1145/3577164.3577175

    • 関連する報告書
      2022 実施状況報告書
    • 査読あり
  • [雑誌論文] Cross-modal and Semantics-Augmented Asymmetric CycleGAN for Data-Imbalanced Anime Style Face Translation2021

    • 著者名/発表者名
      Deng Shiping、Uchida Kaoru、Yin Zhengwei
    • 雑誌名

      Proceedings of 2021 3rd International Conference on Video, Signal and Image Processing

      巻: 3 ページ: 43-51

    • DOI

      10.1145/3503961.3503969

    • 関連する報告書
      2021 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Improving Adversarial Attacks on Face Recognition Using a Modified Image Translation Model2021

    • 著者名/発表者名
      Zhengwei Yin, Kaoru Uchida, Shiping Deng
    • 雑誌名

      3rd International Conference on Image, Video and Signal Processing

      巻: IV0016 ページ: 1-6

    • DOI

      10.1145/3459212.3459217

    • 関連する報告書
      2020 実施状況報告書
    • 査読あり / 国際共著
  • [学会発表] Deformation Invariant Palmprint Recognition with Multiple-Resolution Feature Matching2024

    • 著者名/発表者名
      Sakuma, M., Fujita, S.
    • 学会等名
      The 8th IIEEJ International Conference on Image Electronics and Visual Computing (IEVC 2024)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Learning Weight Parameter Distribution in Neural Network2024

    • 著者名/発表者名
      Fujita, S.
    • 学会等名
      The 8th IIEEJ International Conference on Image Electronics and Visual Computing (IEVC 2024)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] Automatic Rigging for 3D Human Scanning Data using Edge Convolution2024

    • 著者名/発表者名
      Li, Y., Fujita, S.
    • 学会等名
      The 8th IIEEJ International Conference on Image Electronics and Visual Computing (IEVC 2024)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] FoodGAN: Realistic Cuisine Image Synthesis with Multi-Scale GANs2024

    • 著者名/発表者名
      Xia, W., Fujita, S.
    • 学会等名
      The 8th IIEEJ International Conference on Image Electronics and Visual Computing (IEVC 2024)
    • 関連する報告書
      2023 実施状況報告書
    • 国際学会
  • [学会発表] 事前学習を用いた多重解像度による掌紋認識特徴マッチング2024

    • 著者名/発表者名
      佐久間 実花、藤田 悟
    • 学会等名
      2024年電子情報通信学会 総合大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] Prototypical Networkの中間層における2クラス間共通特徴の学習2024

    • 著者名/発表者名
      佐藤亮太,藤田 悟
    • 学会等名
      情報処理学会第86回全国大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] ダミーデータを用いた低次元特徴量空間のFew-shot学習性能の改善2024

    • 著者名/発表者名
      坂 侑拓,藤田 悟
    • 学会等名
      情報処理学会第86回全国大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] タイトル予測を用いたクローズドブック質問応答の知識強化2024

    • 著者名/発表者名
      矢嶋 梨穂, 藤田 悟
    • 学会等名
      2024年電子情報通信学会 総合大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 統計予測モデルと深層学習を融合した複数の周期性を持つ時系列データの予測手法2024

    • 著者名/発表者名
      小川寛也,藤田 悟
    • 学会等名
      情報処理学会第86回全国大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 歩行軌跡の予測における特徴別学習の有効性について2024

    • 著者名/発表者名
      小林光乃佑,藤田 悟
    • 学会等名
      情報処理学会第86回全国大会
    • 関連する報告書
      2023 実施状況報告書
  • [学会発表] 赤外線を用いた非接触瞳孔径測定手法2023

    • 著者名/発表者名
      小池実輝哉,藤田 悟
    • 学会等名
      情報処理学会第85回全国大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 掌画像の局所特徴量を用いた非剛体の物体照合2023

    • 著者名/発表者名
      佐久間実花,藤田 悟
    • 学会等名
      情報処理学会第85回全国大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 学習済みパラメータの分析に基づくモデル圧縮と転移学習への応用2023

    • 著者名/発表者名
      廣瀬理陽,藤田 悟
    • 学会等名
      情報処理学会第85回全国大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 時空間のTransformerによる歩行軌跡予測2023

    • 著者名/発表者名
      笹沢成豪,藤田 悟
    • 学会等名
      情報処理学会第85回全国大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] Transformerを用いたCOVID-19の感染者数の推移予測におけるノイズ付加の効果分析2023

    • 著者名/発表者名
      山下穂乃花,藤田 悟
    • 学会等名
      情報処理学会第85回全国大会
    • 関連する報告書
      2022 実施状況報告書
  • [学会発表] 精神状態推定のための非接触な瞳孔径測定手法2022

    • 著者名/発表者名
      小池実輝哉, 藤田 悟
    • 学会等名
      情報処理学会第84回全国大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 掌画像の局所特徴量を用いた物体照合の研究2022

    • 著者名/発表者名
      佐久間実花, 藤田 悟
    • 学会等名
      情報処理学会第84回全国大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] ニューラルネットワークの重みパターンの分析と初期値設定手法の提案2022

    • 著者名/発表者名
      廣瀬理陽, 藤田 悟
    • 学会等名
      情報処理学会第84回全国大会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] Cross-modal CycleGAN for Low-Resource Anime Style Face Translation2021

    • 著者名/発表者名
      Shiping Deng, Kaoru Uchida
    • 学会等名
      電子情報通信学会 パターン認識・メディア理解研究会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] wganBCS: Block-wise image compressive sensing and reconstruction model using adversarial training to eliminate block effects2021

    • 著者名/発表者名
      Boyan Chen, Kaoru Uchida
    • 学会等名
      電子情報通信学会 画像工学研究会
    • 関連する報告書
      2021 実施状況報告書
  • [学会発表] 主要信号抽出とウェーブレット変換による非接触脈拍数推定法2021

    • 著者名/発表者名
      坂巻 燎,藤田 悟
    • 学会等名
      情報処理学会第83回全国大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] 画素の最適選択とトラッキング強化による顔映像からの心拍数測定精度の向上2021

    • 著者名/発表者名
      小池実輝哉,藤田 悟
    • 学会等名
      情報処理学会第83回全国大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] セマンティックセグメンテーションネットワークを用いた超解像2021

    • 著者名/発表者名
      廣瀬理陽,藤田 悟
    • 学会等名
      情報処理学会第83回全国大会
    • 関連する報告書
      2020 実施状況報告書
  • [学会発表] GAN based feature-level supportive method for improved adversarial attacks on face recognition2020

    • 著者名/発表者名
      Zhengwei Yin, Kaoru Uchida
    • 学会等名
      電子情報通信学会 バイオメトリクス研究会
    • 関連する報告書
      2020 実施状況報告書

URL: 

公開日: 2020-04-28   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi