• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

先進運転支援システムのための運転画像と運転意図のマルチモーダル教師なし深層学習

Research Project

Project/Area Number 16J08577
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section国内
Research Field Soft computing
Research InstitutionRitsumeikan University

Principal Investigator

劉 海龍  立命館大学, 情報理工学研究科, 特別研究員(DC2)

Project Period (FY) 2016-04-22 – 2018-03-31
Project Status Completed (Fiscal Year 2017)
Budget Amount *help
¥1,900,000 (Direct Cost: ¥1,900,000)
Fiscal Year 2017: ¥900,000 (Direct Cost: ¥900,000)
Fiscal Year 2016: ¥1,000,000 (Direct Cost: ¥1,000,000)
Keywords運転行動分析 / 運転環境の理解 / 深層学習 / 機械学習 / 特徴抽出
Outline of Annual Research Achievements

自動車運転システムは運転者,車両と運転環境の相互作用により諸変数が変化していく動的なシステムと考えられる.本研究では,運転者への入力とする運転環境(視覚情報)が運転行動にどのように影響を与えるかを深層学習の技術活用により分析する手法の開発を目的として研究を行った.本研究では,複数のセンサ情報を含む運転行動データと運転画像から未来の運転行動を予測するモデルを構築した.そして,Gradient-weighted Class Activation Mapping(Grad-CAM)を利用し,運転者が運転する際に注目したところを表示した。
まず,運転行動時系列データの中に,外部環境およびセンサ障害によって引き起こされる一連の欠損情報を含む.一連の欠損情報は,運転行動の分析に大きな影響を与える.故に,誤差逆伝播法によるDeep Sparse Auto Encoder(DSAE-BP)との運転行動時系列データための欠損修復手法を提案した.実験により,欠損値補間に対して体系的な研究を行い,DSAE-BPの有効性を示した.この研究成果が国際ジャーナルSensorsに採録された.
そして,運転者が運転する際に運転行動と運転環境の関係を分析するため,運転行動データと運転画像を利用し,Sequence to Sequenceモデルにより,未来の運転行動を予測するモデルを構築した.そして,Grad-CAMを用いて,未来の運転行動の予測に対して,運転画像での貢献が高い部分をヒートマップとして表示した.実験を通してGrad-CAMの結果が良好であるかどうかを評価することが極めて難しいということが,実践的知見として得られた.運転者の視線情報があれば,Grad-CAMの結果を数値的に評価することが可能であると考えられる.Grad-CAMの結果に対して,有効な数値評価の設計が今後の課題として,続き検討する.

Research Progress Status

29年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

29年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2017 Annual Research Report
  • 2016 Annual Research Report
  • Research Products

    (4 results)

All 2018 2017 2016 Other

All Int'l Joint Research (1 results) Journal Article (2 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 2 results,  Open Access: 2 results) Presentation (1 results) (of which Int'l Joint Research: 1 results)

  • [Int'l Joint Research] The DENSO International America, Inc.(米国)

    • Related Report
      2017 Annual Research Report
  • [Journal Article] Defect-Repairable Latent Feature Extraction of Driving Behavior via a Deep Sparse Autoencoder2018

    • Author(s)
      HaiLong Liu, Tadahiro Taniguchi, Kazuhito Takenaka and Takashi Bando
    • Journal Title

      Sensors

      Volume: 18(2) Issue: 2 Pages: 608-608

    • DOI

      10.3390/s18020608

    • Related Report
      2017 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Visualization of Driving Behavior based on Hidden Feature Extraction by using Deep Learning2017

    • Author(s)
      Hailong Liu, Tadahiro Taniguchi, Yusuke Tanaka, Kazuhito Takenaka and; Takashi Bando
    • Journal Title

      IEEE Transactions on Intelligent Transportation Systems

      Volume: PP Issue: 9 Pages: 1-13

    • DOI

      10.1109/tits.2017.2649541

    • Related Report
      2016 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] Reducing the Negative Effect of Defective Data on Driving Behavior Segmentation via a Deep Sparse Autoencoder2016

    • Author(s)
      [2]HaiLong Liu, Tadahiro Taniguchi, Yusuke Tanaka, Kazuhito Takenaka, Takashi Bando
    • Organizer
      The 5th IEEE Global Conference on Consumer Electronics
    • Place of Presentation
      Mielparque Kyoto(京都府、京都市)
    • Year and Date
      2016-10-11
    • Related Report
      2016 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2016-05-17   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi