• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Development of a Realistic LiDAR Simulator based on Deep Generative Models

Research Project

Project/Area Number 23K16974
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 61050:Intelligent robotics-related
Research InstitutionKyushu University

Principal Investigator

中嶋 一斗  九州大学, システム情報科学研究院, 助教 (20908420)

Project Period (FY) 2023-04-01 – 2026-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2025: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2024: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2023: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
Keywords深層生成モデル / LiDAR / Sim2Real
Outline of Research at the Start

自律移動ロボットの正確な環境認識を実現するために,3D LiDAR センサから得られる点群データに基づく機械学習モデルが注目されているが,モデル学習に必要な大規模点群データのアノテーションコストは非常に高い.解決策の一つとして,シミュレータから自動的に合成したラベル付き点群を活用するアプローチがあるが,計測特性の再現度が低く,実環境への汎化性能が低下する問題がある.本研究では,3D LiDAR センサの計測特性を自動的にプロファイリングする深層生成モデルを開発し,合成データの写実性向上に応用する.

Outline of Annual Research Achievements

LiDARシミュレータによるラベル付き点群の自動合成によって,機械学習モデル構築におけるアノテーションコスト削減が期待されているが,レーザ測距に伴うノイズの再現度や反射強度情報のギャップによって,汎化性能が低下する問題がある.本研究課題は,LiDARセンサの測距特性を学習する深層生成モデルを構築し,LiDARシミュレータの実環境適応性能を深層生成モデルによって向上させるSim2Realフレームワークの開発を目的としている.2023年度は,データ欠損に頑健な敵対的生成ネットワーク(GAN)を用いてLiDARデータの距離・欠損確率・反射強度をモデリングするマルチモーダル生成モデルを開発し,1件の国内会議(SI’23)で成果発表を行った.また,深層生成モデル学習の異なるフレームワークとして,拡散モデルの一種であるノイズ除去拡散確率モデル(DDPM)を用いた手法を開発し,既存手法に対する大幅な性能改善を実現した.それに加えて,学習済み拡散モデルを用いることで欠損修復・点群アップサンプリングを実現する手法も開発した.本成果は,1件の査読付き国内会議(ロボティクスシンポジア’24)にて発表および1件の査読付き国際会議(ICRA’24)に採択・発表予定である.深層生成モデルを用いたSim2Real手法の開発にも着手し,LiDARデータの欠損ノイズを再現する複数のSim2Real手法について,主要なLiDARデータセット・物体セグメンテーションモデルを用いたベンチマークを実施した結果について,1件の国内会議(RSJ’23)で成果発表を行った.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の予定通り,反射強度モダリティを含めた深層生成モデルの開発に着手し,既存手法である敵対的生成ネットワークを基にした手法,および新しく導入した拡散モデルを基にした手法に関する研究成果を国内外会議で発表することができた.また,本研究課題で開発する深層生成モデルをSim2Realに応用するためのフレームワーク開発と評価実験設計も進めることができている.

Strategy for Future Research Activity

コア技術である深層生成モデルの開発については,近年注目されている拡散モデルの導入により,副次的な学習モダリティの追加だけではなく,基本的な生成品質・多様性指標についても大幅な性能改善を実現することができた.一方,性能と引き換えに推論に要する計算コストが増大しており,今後の手法設計では品質と計算効率のトレードオフについて考慮する予定である.また,Sim2Realに基づくLiDARデータの認識タスクについて,現在はセマンティックセグメンテーションのみに着目しているが,今後は物体検出・移動体検出等の他タスクについても検証を行う予定である.

Report

(1 results)
  • 2023 Research-status Report
  • Research Products

    (4 results)

All 2024 2023

All Presentation (4 results) (of which Int'l Joint Research: 1 results)

  • [Presentation] LiDAR Data Synthesis with Denoising Diffusion Probabilistic Models2024

    • Author(s)
      Kazuto Nakashima, Ryo Kurazume
    • Organizer
      IEEE International Conference on Robotics and Automation (ICRA)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] 拡散モデルを用いたリサンプリングによる3D LiDARデータの欠損補完2024

    • Author(s)
      中嶋 一斗, 倉爪 亮
    • Organizer
      ロボティクスシンポジア
    • Related Report
      2023 Research-status Report
  • [Presentation] LiDARデータの距離・反射強度・欠損分布を表現する深層生成モデルの開発2023

    • Author(s)
      劉 瀟文, 中嶋 一斗, 宮脇 智也, 岩下 友美, 倉爪 亮
    • Organizer
      計測自動制御学会システムインテグレーション部門講演会 (SI)
    • Related Report
      2023 Research-status Report
  • [Presentation] 欠損確率の再現によるLiDAR Sim2Realの検討2023

    • Author(s)
      宮脇 智也, 中嶋 一斗, Xiaowen Liu, 岩下 友美, 倉爪 亮
    • Organizer
      日本ロボット学会学術講演会 (RSJ)
    • Related Report
      2023 Research-status Report

URL: 

Published: 2023-04-13   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi