• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

High Risk Pedestrian Detection for Early Danger Avoidance

Research Project

Project/Area Number 22K12103
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionHitotsubashi University

Principal Investigator

WANG YU  一橋大学, 情報基盤センター, 准教授 (60724169)

Co-Investigator(Kenkyū-buntansha) 加藤 ジェーン  立命館大学, 情報理工学部, 教授 (70251882)
Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Keywords歩行者検出 / 歩行者属性認識 / 交通シーン理解
Outline of Research at the Start

交通事故による死者数のうち,最大の割合を占めるのは歩行者である.歩行者の死亡事故を将来にわたって削減していくためには,運転者に対する歩行者に特化した危険回避支援が必要となる.本研究はこの視点に立ち,車載カメラ映像から,潜在的な危険を有する「要注意歩行者」を早い段階で検出する技術を開発する.本研究の実施により,運転者に対して,より重要な情報をより早い時点で提供することが可能となり,時間の余裕をもった危険回避操作の促しなどで,事故を未然に防ぐ効果が期待できる.また,自動運転技術などへの波及効果も見込まれる.

Outline of Annual Research Achievements

本研究は、交通危険の早期回避を支援するために、「要注意歩行者」の検出技術の確立を目標としている。この目標は、[1]歩行者検出と環境属性認識手法の開発、[2]歩行者固有属性詳細認識手法の開発、[3]歩行者行動属性認識手法の開発、及び[4]「要注意歩行者」の判定手法の開発により実現する。令和5年度は各項目について、それぞれの研究開発を行った。
研究項目[1]については、令和4年度に開発した「2.5D候補領域生成アルゴリズム」の基本実装を改良した。OpenMMLabというオープンソースのライブラリを参考にして、基本実装の半分以上のソースコードを書き直し、実行速度を約1割程度向上させた。
研究項目[2]については、nuImagesから抽出した歩行者の画像データを対象に、歩行者の危険度予測に役立つ年齢層、服装および所持品についてラベル付けを行った。この新たに作成したデータセットを用いて、令和4年度に開発したCross-layer Mutual Attention Learning Networkの評価実験を行い、その有効性を確認した。また、作成したデータセットにラベル分布の不均衡問題を確認した。そこで、外部データを活用した詳細認識手法を提案し、認識精度を約5%程度向上させた。
研究項目[3]については、人物行動認識における代表的な深層モデルである3D ConvNetsを解釈するためのSTCE手法を開発した。STCEを用いて学習済みの行動認識3D ConvNetsモデルの判断根拠を特定でき、モデルの信頼性および透明性を向上させることができた。また、STCEを用いたConcept Fusionを提案し、行動認識の性能向上に有効であることを確認できた。
研究項目[4]について、「要注意歩行者」の判定ルールを学習するための学習サンプルの収集作業を行った。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究項目[1]-[3]については順調に進んでいる。研究項目[4]については、大規模な学習実験に十分なデータ数を収集できなかったが、データ収集作業自体はおおむね順調にすすめているため、研究全体の進展への影響はないと考えている。

Strategy for Future Research Activity

研究項目[1]に関して、畳み込みニューラルネットワークの代わりに、Vision Transformerを「2.5D候補領域生成アルゴリズム」のバックボーンモデルとして活用し、認識精度のさらなる向上を目指す。
研究項目[2]に関して、学習データにおける不均衡問題の対策として、詳細認識モデルのCross-layer Mutual Attention Learning Networkに外部データの活用手法を取り入れる。
研究項目[3]に関して、STCEおよびConcept Fusionの実装をさらに改良する。また、Video Vision Transformerをバックボーンモデルとした行動属性認識手法の開発に取り組む。
研究項目[4]に関して、データ収集のペースを上げて、令和6年度の前期までに大規模の学習実験を始められる環境を整える。

Report

(2 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • Research Products

    (11 results)

All 2023 2022

All Journal Article (4 results) (of which Peer Reviewed: 4 results,  Open Access: 3 results) Presentation (7 results) (of which Int'l Joint Research: 5 results)

  • [Journal Article] Social Relation Atmosphere Recognition with Relevant Visual Concepts2023

    • Author(s)
      JI Ying、WANG Yu、MORI Kensaku、KATO Jien
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E106.D Issue: 10 Pages: 1638-1649

    • DOI

      10.1587/transinf.2023PCP0008

    • ISSN
      0916-8532, 1745-1361
    • Year and Date
      2023-10-01
    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Learning Local Similarity with Spatial Interrelations on Content-Based Image Retrieval2023

    • Author(s)
      ZHAO Longjiao、WANG Yu、KATO Jien、ISHIKAWA Yoshiharu
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E106.D Issue: 5 Pages: 1069-1080

    • DOI

      10.1587/transinf.2022EDP7163

    • ISSN
      0916-8532, 1745-1361
    • Year and Date
      2023-05-01
    • Related Report
      2023 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Learn from each other to Classify better: Cross-layer mutual attention learning for fine-grained visual classification2023

    • Author(s)
      Liu Dichao、Zhao Longjiao、Wang Yu、Kato Jien
    • Journal Title

      Pattern Recognition

      Volume: 140 Pages: 109550-109550

    • DOI

      10.1016/j.patcog.2023.109550

    • Related Report
      2023 Research-status Report 2022 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Toward Extremely Lightweight Distracted Driver Recognition With Distillation-Based Neural Architecture Search and Knowledge Transfer2023

    • Author(s)
      Liu Dichao、Yamasaki Toshihiko、Wang Yu、Mase Kenji、Kato Jien
    • Journal Title

      IEEE Transactions on Intelligent Transportation Systems

      Volume: 24 Issue: 1 Pages: 764-777

    • DOI

      10.1109/tits.2022.3217342

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Presentation] Using Classifier Discrepancy for Cross-domain Image Retrieval2023

    • Author(s)
      Longjiao Zhao, Yu Wang and Jien Kato
    • Organizer
      IEEE 2023 International Conference on Image Processing (ICIP2023)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Spatial-temporal Concept based Explanation of 3D ConvNets2023

    • Author(s)
      Ying Ji, Yu Wang and Jien Kato
    • Organizer
      The IEEE / CVF Computer Vision and Pattern Recognition Conference 2023 (CVPR2023)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] Long-tailed Image Recognition with Dynamic Re-weighting2023

    • Author(s)
      Xinyuan Li, Yu Wang and Jien Kato
    • Organizer
      2023 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2023)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] 外部データを活用した歩行者属性の詳細認識2023

    • Author(s)
      村井琉風, 王彧, 劉家慶, 加藤ジェーン
    • Organizer
      電子情報通信学会パターン認識・メディア理解研究会
    • Related Report
      2023 Research-status Report
  • [Presentation] One-shot Network Pruning at Initialization with Discriminative Image Patches2022

    • Author(s)
      Yinan Yang, Yu Wang, Ying Ji, Heng Qi and Jien Kato
    • Organizer
      British Machine Vision Conference 2022
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Contrastive Representation Learning for Expression Recognition from Masked Face Images2022

    • Author(s)
      Fanxing Luo, Longjiao Zhao, Yu Wang and Jien Kato
    • Organizer
      The 1st Workshop on User-Centric Narrative Summarization of Long Videos at ACMMM 2022
    • Related Report
      2022 Research-status Report
    • Int'l Joint Research
  • [Presentation] Content Matters: concept-based explainable network pruning2022

    • Author(s)
      Yinan Yang, Ying Ji, Yu Wang, Heng Qi and Jien Kato
    • Organizer
      第25回画像認識・理解シンポジウム
    • Related Report
      2022 Research-status Report

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi