• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Estimation method and dataset of visual attention for dashcam images

Research Project

Project/Area Number 20K11828
Research Category

Grant-in-Aid for Scientific Research (C)

Allocation TypeMulti-year Fund
Section一般
Review Section Basic Section 60080:Database-related
Research InstitutionShizuoka University

Principal Investigator

Ohashi Gosuke  静岡大学, 工学部, 教授 (80293603)

Project Period (FY) 2020-04-01 – 2023-03-31
Project Status Completed (Fiscal Year 2022)
Budget Amount *help
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2020: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Keywordsデータセット / 車載カメラ映像 / 注視領域 / 顕著性マップ / 深層学習 / ドライビング・シミュレーター
Outline of Research at the Start

車載カメラ映像から、運転者がどこを注視するかを知ることは、運転支援技術の開発に有用である。この注視領域を画像から計算モデルで検出するのが、顕著性マップである。そこで、本研究では、車載カメラ映像(動画像)に対して、運転者がどこを注視しやすいかを高精度に推定できる深層学習に基づく顕著性マップ推定モデルを開発することを目的としている。さらに、既存の膨大な映像データに顕著性マップを適用し、注視情報付きのデータセットを構築する。
本研究の成果により、既存の膨大な車載カメラ映像データを有効に活用でき、運転者の注視領域を明らかにすることが可能になり、運転支援システムの開発に貢献できる。

Outline of Final Research Achievements

The comparison of saliency maps between the static image and moving image proved that the gaze is fixated ahead on the moving target object, and the target object can not be gazed at for objects that change motion in a scene. Moreover, it was found that visual attention is biased toward the moving direction of the target object and affected by the target object's motion before the motion changes.
The nighttime dataset of the dashcam image is created from the existing dataset of the daytime dashcam image using the image transformation model for the Carla simulator and real images. A visual attention model was proposed incorporating FOE from the optical flow and verified the model's effectiveness by predicting visual attention with high accuracy using the dashcam image dataset.

Academic Significance and Societal Importance of the Research Achievements

本研究では、車載カメラ映像に対して、運転者の注視領域の推定モデルを開発することとデータセットを構築することを目的としている。注視情報付きデータセットで公開されている一般的な動画像(映像)を対象としたものは、車載カメラ映像における注視領域とは異なる。したがって、本研究成果の学術的意義は、1)静止画と映像(動画像)との相違点、2)車載カメラ映像のデータセット、3)運転者の注視特性、を明らかにしたことである。本研究成果の社会的意義は、本研究の成果により、既存の膨大な映像データを有効に活用でき、運転者の注視領域を明らかにすることが可能になり、運転支援システムの開発に貢献できる。

Report

(4 results)
  • 2022 Annual Research Report   Final Research Report ( PDF )
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (10 results)

All 2023 2022 2021

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (9 results) (of which Int'l Joint Research: 3 results)

  • [Journal Article] Prediction of Driver's Visual Attention in Critical Moment Using Optical Flow2023

    • Author(s)
      R. Sultana, G. Ohashi
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E106.D Issue: 5 Pages: 1018-1026

    • DOI

      10.1587/transinf.2022EDP7146

    • ISSN
      0916-8532, 1745-1361
    • Year and Date
      2023-05-01
    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Presentation] ドライビングシミュレータを用いたNバック課題による水平有効視野の測定2023

    • Author(s)
      金澤陽, 平賀晃介, 池野谷玲太, 大橋剛介
    • Organizer
      第29回画像センシングシンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] GAN Based Image-to-Image Translation Model for Nighttime Road Scene Dataset2022

    • Author(s)
      Rebeka Sultana, Yuki Hikosaka, Gosuke Ohashi
    • Organizer
      The 29th International Display Workshops (IDW ’22)
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] 動的顕著性の特徴に着目した視線解析2022

    • Author(s)
      池野谷玲太, 大橋剛介
    • Organizer
      第27回知能メカトロニクスワークショップ
    • Related Report
      2022 Annual Research Report
  • [Presentation] 動的顕著性マップ予測モデルのための視線解析2022

    • Author(s)
      池野谷玲太, 大橋剛介
    • Organizer
      電気学会 電子・情報・システム部門大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] FOE に着目した車載カメラ画像の注視予測モデル2022

    • Author(s)
      丸山裕太, 大橋剛介
    • Organizer
      第28回画像センシングシンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] Predicting Driver’s Visual Attention In BDD-A Dataset Using Optical Flow2022

    • Author(s)
      Rebeka Sultana,Gosuke Ohashi
    • Organizer
      The Eleventh International Workshop on Image Media Quality and its Applications (IMQA 2022)
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Pre-training Dataset Generation for Classifying Beams of Vehicle Headlights from Nighttime Camera Image2021

    • Author(s)
      Tatsuya Oyabu, Rebeka Sultana, Gosuke Ohashi
    • Organizer
      Quality Control by Artificial Vision(QCAV2021)
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] ドライビングシミュレータを用いた注視領域,顕著性マップ,深層学習の判断根拠の比較・解析2021

    • Author(s)
      伊熊宗介,大橋剛介
    • Organizer
      電気学会 電子・情報・システム部門大会
    • Related Report
      2021 Research-status Report
  • [Presentation] Predicting driver’s attention in BDD-A dataset using Multi-Level Feature-Based attention map and ConvLSTM2021

    • Author(s)
      スルタナレベッカ,大橋剛介
    • Organizer
      電気学会知覚情報/次世代産業システム合同研究会
    • Related Report
      2020 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2024-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi