• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Understanding the impact of adversarial inputs on autonomous driving systems and developing countermeasure technologies

Research Project

Project/Area Number 22H00519
Research Category

Grant-in-Aid for Scientific Research (A)

Allocation TypeSingle-year Grants
Section一般
Review Section Medium-sized Section 60:Information science, computer engineering, and related fields
Research InstitutionWaseda University

Principal Investigator

森 達哉  早稲田大学, 理工学術院, 教授 (60708551)

Co-Investigator(Kenkyū-buntansha) 菅原 健  電気通信大学, 大学院情報理工学研究科, 准教授 (60785236)
澤田 賢治  電気通信大学, i-パワードエネルギー・システム研究センター, 准教授 (80550946)
佐久間 淳  東京工業大学, 情報理工学院, 教授 (90376963)
Project Period (FY) 2022-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2024)
Budget Amount *help
¥42,380,000 (Direct Cost: ¥32,600,000、Indirect Cost: ¥9,780,000)
Fiscal Year 2024: ¥13,910,000 (Direct Cost: ¥10,700,000、Indirect Cost: ¥3,210,000)
Fiscal Year 2023: ¥13,910,000 (Direct Cost: ¥10,700,000、Indirect Cost: ¥3,210,000)
Fiscal Year 2022: ¥14,560,000 (Direct Cost: ¥11,200,000、Indirect Cost: ¥3,360,000)
Keywordsセキュリティ / 自動運転 / AI / センサ / 制御 / 機械学習 / センサー / 自動運転車 / 敵対的入力
Outline of Research at the Start

自動運転システムに対する敵対的入力が及ぼす影響を、センサ、ハードウェア、AI、そしてそれらを組み合わせたシステム全体で評価を行う。最初は個別のモジュールごとの評価を進めた後、それらを統合した評価をシミュレーション上で行う。最後にセンサ、カメラ、自動運転システムを搭載した実機を用い、シミュレーション評価で得られた知見の再現、ならびにシミュレーションと物理実験の差異を明らかにする。最終的に得られた知見に基づいた、有効な防御方式を開発する。

Outline of Annual Research Achievements

以下に研究実績の概要を報告する。
●【環境整備】
森班では、自動運転セキュリティの評価基盤として、OSS自動運転フレームワークである  autoware.universe を実装した実車(TOYOTA COMS)と、PIX Moving社のPIXKITを用いた実験環境を早稲田大学本庄キャンパスに構築した。自動運転システムに対する、リアリスティックな攻撃の検証や防御技術の開発を行う環境が整った。

●【攻撃評価】
森班では、(1)点群隠蔽攻撃による自己位置推定への影響評価、(2) LiDAR点群の特徴点検出と、赤外線除去マテリアルを用いた攻撃手法の評価、(3) 悪意ある人工霧がLiDAR点群に基づく歩行者認識に与える影響評価を行い、(1)を国内研究会で発表した。菅原班では、車載カメラと LiDAR への攻撃評価環境を構築し、安全性評価実験に着手した。人間にとって不可視だが車載カメラは感度を持つ赤外光を投光することで自度運転の道路標識の認識を妨害する脆弱性を発見し、初期的な評価を車載セキュリティに関する国際会議 (VehicleSec) で発表した。佐久間班では、ステガノグラフィを利用して、ある秘密情報を持つ分類器には通常に識別される画像として識別されるが、そうでない分類器には敵対的サンプルとして認識されるため、特定のラベルとしてしか認識されないような、revisesible adversarial exampleを提案し、ジャーナル論文誌で出版した。澤田班は汎用的な自動運転技術であるACCとCACCのセンサフィルタリング機能について検討した。 これにより,車両センサに対するサイバー攻撃により,前方車両誤認が発生したときの対策を考慮した。 同時に,車両制御に対応可能な対サイバー攻撃耐性についても検討した。これらの成果を論文誌、国際会議、研究会で多数発表した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

研究実績の概要で示したように、実験に必要な基盤として、研究代表者の所属大学で退任した教員から譲り受けた自動運転車の実機(TOYOTA COMS)、ならびに理化学研究所より借用したPIXKITを入手し、拠点の立ち上げ、機材の受け入れ、運搬・設置、自動運転OSSのインストールなどの環境セットアップにかかる実務作業を進め、次年度以降の本格実験の土台を構築した。環境整備に加え、攻撃の提案と評価に関し、各班が幅広いテーマに取り組み、着実な成果を得た。業績としては、全体として6件の国際会議および国際論文誌での論文出版と、13件の国内外での研究発表に至り、初年度として十分に成果が出たものと自己評価する。

Strategy for Future Research Activity

今後は初年度に得られた実機の環境を活用し、センサ、機械学習モデル、制御を含む End-to-End の自動運転システムに対する敵対的入力の評価を進める。特に、レベル4以上の自動運転を念頭に、悪天候や夜間などの特殊な環境における敵対的入力に焦点を当て、敵対的入力に対する頑健性評価を進める。また、数値実験、シミュレーションのアプローチも並行し、機械学習としてマルチタスクモデルや、強化学習などをターゲットとし、敵対的入力の影響評価を進める。End-to-End 評価において必要不可欠である、車両制御のシミュレーションも引き続き継続する。

Report

(2 results)
  • 2022 Comments on the Screening Results   Annual Research Report
  • Research Products

    (21 results)

All 2023 2022 Other

All Int'l Joint Research (2 results) Journal Article (6 results) (of which Int'l Joint Research: 4 results,  Peer Reviewed: 6 results,  Open Access: 4 results) Presentation (13 results) (of which Int'l Joint Research: 4 results)

  • [Int'l Joint Research] University of California, Irvine/University of Florida/University of Michigan(米国)

    • Related Report
      2022 Annual Research Report
  • [Int'l Joint Research] University of Science and Technology(中国)

    • Related Report
      2022 Annual Research Report
  • [Journal Article] Continuous-Time Receding-Horizon Estimation via Primal-Dual Dynamics on Vehicle Path-Following Control2023

    • Author(s)
      Kaito Sato, Kenji Sawada
    • Journal Title

      Journal of Robotics and Mechatronics

      Volume: 35 Issue: 2 Pages: 298-307

    • DOI

      10.20965/jrm.2023.p0298

    • ISSN
      0915-3942, 1883-8049
    • Year and Date
      2023-04-20
    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Unauthorized AI cannot recognize me: Reversible adversarial example2023

    • Author(s)
      Jiayang Liu, Weiming Zhang, Kazuto Fukuchi, Youhei Akimoto, Jun Sakuma
    • Journal Title

      Pattern Recognition

      Volume: 134 Pages: 1-9

    • DOI

      10.1016/j.patcog.2022.109048

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] WIP: Infrared Laser Reflection Attack Against Traffic Sign Recognition Systems2023

    • Author(s)
      Sato Takami、Bhupathiraju Sri Hrushikesh Varma、Clifford Michael、Sugawara Takeshi、Chen Qi Alfred、Rampazzi Sara
    • Journal Title

      Symposium on Vehicle Security and Privacy (VehicleSec) 2023

      Volume: -

    • DOI

      10.14722/vehiclesec.2023.23055

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Position Paper: Space System Threat Models Must Account for Satellite Sensor Spoofing2023

    • Author(s)
      Benjamin Cyr, Yan Long, Takeshi. Sugawara, and Kevin Fu
    • Journal Title

      SpaceSec 2023

      Volume: ---

    • DOI

      10.14722/spacesec.2023.231491

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Poster: Inaudible Acoustic Noise from Silicon Capacitors for Voice-Command Injection2023

    • Author(s)
      Kohei Doi and Takeshi Sugawara
    • Journal Title

      2022 ACM SIGSAC Conference on Computer and Communications Security

      Volume: --- Pages: 3339-3341

    • DOI

      10.1145/3548606.3563526

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Demand-for graph evaluation of traffic congestion due to Altruistic Lane Changes of CAVs2022

    • Author(s)
      Mochizuki Yukari、Sawada Kenji
    • Journal Title

      2022 IEEE Conference on Control Technology and Applications (CCTA)

      Volume: - Pages: 334-340

    • DOI

      10.1109/ccta49430.2022.9966139

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Presentation] LiDARへの攻撃に対する自己位置推定機能の頑健性評価2023

    • Author(s)
      南澤勇太、小林竜之輔、森達哉
    • Organizer
      情報処理学会コンピュータセキュリティ研究会(CSEC)2023-CSEC-100
    • Related Report
      2022 Annual Research Report
  • [Presentation] 自己混合干渉法による安価なレーザー振動計を用いた盗聴攻撃2023

    • Author(s)
      土井康平, 菅原健
    • Organizer
      2023年暗号と情報セキュリティシンポジウム (SCIS2023), 2E3-1, 2023
    • Related Report
      2022 Annual Research Report
  • [Presentation] Human in the loop systemによるドライバ操作と支援操作の協調性評価2023

    • Author(s)
      佐藤海斗,澤田賢治
    • Organizer
      第10回計測自動制御学会 制御部門マルチシンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] Connected ACCに対する前前方車情報を用いたフィルタリング機能の検討2023

    • Author(s)
      藤本拓磨,澤田賢治
    • Organizer
      第10回計測自動制御学会 制御部門マルチシンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] On switched objective function focused on driver's condition for shared control2023

    • Author(s)
      Yuzuna Horiuchi, Kenji Sawada
    • Organizer
      AROB 28th 2023
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] CACCシステムに対する予測ガバナの適用2022

    • Author(s)
      藤本拓磨,澤田賢治
    • Organizer
      第65回自動制御連合講演会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 自動運転機能と異なる判断基準を持つドライバを想定した切替型 Shared Control2022

    • Author(s)
      堀内柚那,澤田賢治
    • Organizer
      2022年電気学会電子・情報・システム部門大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 通信遅延を考慮した経路計画に基づく自動運転に関する研究2022

    • Author(s)
      兵藤剛士,藤本拓磨,國岡風我,澤田賢治
    • Organizer
      2022年電気学会電子・情報・システム部門大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 切替型Shared Controlにおけるドライバ支援方法の検討2022

    • Author(s)
      堀内柚那,山藤勝彦,松下遥香,澤田賢治
    • Organizer
      SCI'22
    • Related Report
      2022 Annual Research Report
  • [Presentation] 予測ガバナによる自車両のセンサ誤差を考慮したACCの設計2022

    • Author(s)
      藤本拓磨,松下遥香,澤田賢治,山藤勝彦
    • Organizer
      SCI'22
    • Related Report
      2022 Annual Research Report
  • [Presentation] Human-In-The-Loop System for Rear-Wheel Steering Control Via Primal-Dual Dynamics2022

    • Author(s)
      Kaito Sato, Kenji Sawada
    • Organizer
      SICE Annual Conference
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] On the Prediction Governor Application to Adaptive Cruise Control2022

    • Author(s)
      Takuma Fujimoto, Kenji Sawada
    • Organizer
      SICE Annual Conference
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research
  • [Presentation] Continuous-Time Receding-Horizon Estimation via Primal-Dual Dynamics2022

    • Author(s)
      Kaito Sato, Kenji Sawada
    • Organizer
      ROCOND
    • Related Report
      2022 Annual Research Report
    • Int'l Joint Research

URL: 

Published: 2022-04-19   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi