安定・安全を指向する逆強化学習に基づく運転行動モデリング

• Project/Area Number: 21H03517
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61050:Intelligent robotics-related
• Research Institution: Tokyo Institute of Technology
• Principal Investigator: 下坂 正倫 東京工業大学, 情報理工学院, 准教授 (40431796)
• Co-Investigator(Kenkyū-buntansha): 小竹 元基 東京工業大学, 工学院, 教授 (10345085)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Project Status: Completed (Fiscal Year 2023)
• Budget Amount: ¥17,030,000 (Direct Cost: ¥13,100,000、Indirect Cost: ¥3,930,000); Fiscal Year 2023: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000); Fiscal Year 2022: ¥6,760,000 (Direct Cost: ¥5,200,000、Indirect Cost: ¥1,560,000); Fiscal Year 2021: ¥5,980,000 (Direct Cost: ¥4,600,000、Indirect Cost: ¥1,380,000)
• Keywords: 逆強化学習 / 運転行動モデリング / 確率的パス探索 / RRT / 模倣学習 / 逆最適制御 / 高速パス探索 / 最大エントロピー学習 / パス探索 / 重点サンプリング / 運転行動予測

Outline of Research at the Start

交通事故撲滅に向け先進運転支援システムの技術開発が近年盛んに行われている．一方，生活道路中の死亡交通事故件数の減少率は緩慢であり，更なる知的支援技術の基盤として，熟練ドライバの運転特性を模倣するモデリング手法（行動予測・シミュレーション行動生成）に期待が高まっている．本研究では，逆強化学習を基盤に，既存技術に比べ高い安定性・安全性を指向する方法論の確立を目指す．具体的には1）大域的最適性を追求する探索ベースの予測技術（安定性），2）熟練者の教示（正例）に加えて負例を導入したモデリング（安全性）を構築し，構築した枠組の評価を行う．

Outline of Annual Research Achievements

近年，先進運転支援システムと呼ばれる，ドライバの運転をアシストする技術の開発が盛んである．それらの技術の発展に，熟練ドライバの運転規範の適切なモデル化と予測技術の開発が望まれている．本研究では，モデル化・予測の枠組の一つとして逆強化学習に注目する．本研究では，運転行動という応用上の特性を踏まえ，「安定性・安全性」に注目した方法論の確立を目指している．
今年度は，昨年度まで開発してきた非ホロノミックなRRTベース最適パス生成法を継続して取り組んだ．昨年度までに開発したアルゴリズムの基本構成をそのままに，手法の評価に注力して取り組んだ．実験を通じて，本研究で開発したアルゴリズムは，他のパス生成手法に比べ精度・計算時間のバランスに優れることを確認した．また，本研究が対象とする運転状況を拡大するため，動的な走行環境中での最適パス生成アルゴリズム，およびその逆強化学習にも取り組んだ．人工知能分野で提案されている歩行者経路予測モデルの出力に基づく報酬場を用意し，教示した運転データを用いて最適化するものである．
また，昨年度から継続して，負の運転事案を安全に収集するためのシミュレーション環境の開発に取り組んだ．年度途中から，オープンソースフレームワークであるCARLAの利用に切り替え，運転データ収集を実施した．通常の運転データに加え，負の事案として，障害物への衝突といった運転データを収集した．
また，昨年度開発した，ラグランジュ未定乗数法に基づく正例負例に基づく逆強化学習法の評価も継続して行った．この評価には，上述の環境を用いて収集した運転データを用いた．実験の結果，提案手法は，他の手法に比べ安定的な学習の収束性を担保し，また，得られた報酬場によって負の事案を抑制するような行動を生成できることを確認した．

Research Progress Status

令和5年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和5年度が最終年度であるため、記入しない。

Research Products

• [Journal Article] Driving Behavior Modeling in Residensial Roads with Inverse Reinforcement Learning (2021)
  • Author(s): 下坂正倫
  • Journal Title: Journal of the Robotics Society of Japan Volume: 39 Issue: 7 Pages: 631-636
  • DOI: 10.7210/jrsj.39.631
  • NAID: 130008083621
  • ISSN: 0289-1824, 1884-7145
• [Presentation] Inverse Reinforcement Learning with Failed Demonstrations towards Stable Driving Behavior Modeling (2024)
  • Author(s): Minglu Zhao, Masamichi Shimosaka
  • Organizer: 2024 IEEE Intelligent Vehicle Symposium (IV)
  • Int'l Joint Research
• [Presentation] 危険行動の時間的局所性に着目した負例導入逆強化学習の安定化 (2023)
  • Author(s): 趙 茗王路, 羊 少宇, 下坂 正倫
  • Organizer: ロボティクス・メカトロニクス講演会2023
• [Presentation] Improved Template-Based RRT for Efficient Kinodynamic Motion Planning (2023)
  • Author(s): Shaoyu Yang, Minglu Zhao, and Masamichi Shimosaka
  • Organizer: ロボティクス・メカトロニクス講演会2023
• [Presentation] Sequential 2D Continuous Kinodynamic RRT for Driving Behavior at Un-signalized Intersections with Stop Lines (2022)
  • Author(s): Shaoyu Yang and Masamichi Shimosaka.
  • Organizer: 日本ロボット学会
• [Presentation] RRT-based maximum entropy inverse reinforcement learning for robust and efficient driving behavior prediction (2022)
  • Author(s): Shinpei Hosoma, Masato Sugasaki, Hiroaki Arie, and Masamichi Shimosaka
  • Organizer: 2022 IEEE Intelligent Vehicles Symposium (IV)
  • Int'l Joint Research
• [Presentation] Smooth and Stopping Interval Aware Driving Behavior Prediction at Un-signalized Intersection with Inverse Reinforcement Learning on Sequential MDPs. (2021)
  • Author(s): Shaoyu Yang, Hiroshi Yoshitake, Motoki Shino, and Masamichi Shimosaka.
  • Organizer: 2021 IEEE Intelligent Vehicles Symposium (IV)
  • Int'l Joint Research
• [Presentation] 特徴量探索とパラメータ最適化の交互実行によるコンパクトな運転行動推定モデル (2021)
  • Author(s): 平川 優伎, 下坂 正倫
  • Organizer: 第22回 計測自動制御学会 システムインテグレーション部門講演会