小型移動ロボット向け深層学習ベースSLAM技術の開発とそのハードウェア化
| Project/Area Number |
22KJ2716
|
|---|
| Project/Area Number (Other) |
22J21699 (2022)
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund (2023)
Single-year Grants (2022) |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 60040:Computer system-related
|
|---|
| Research Institution | Keio University |
|---|
Principal Investigator |
杉浦 圭祐 慶應義塾大学, 理工学研究科(矢上), 特別研究員(DC1)
|
|---|
| Project Period (FY) |
2023-03-08 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥2,500,000 (Direct Cost: ¥2,500,000)
Fiscal Year 2024: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2023: ¥800,000 (Direct Cost: ¥800,000)
Fiscal Year 2022: ¥900,000 (Direct Cost: ¥900,000)
|
|---|
| Keywords | 点群処理 / FPGA / 経路計画 / PointNet / 点群レジストレーション / 点群特徴抽出 / SLAM / 専用アクセラレータ |
|---|
| Outline of Research at the Start |
SLAM(自己位置推定と地図構築の同時実行)は、ドローンや無人搬送車など多種多様なロボットの自律走行を実現するうえで不可欠な、極めて重要な技術である。3次元SLAMの計算負荷は高く、電力やサイズ、重量の面から計算資源が限られる小型ロボット上で、高機能なSLAMを動作させることは難しい。本研究では、近年急速に発展している深層学習技術を応用し、小型の組み込みデバイス上でリアルタイム動作可能な、軽量かつ高性能なSLAMを探求する。
|
| Outline of Annual Research Achievements |
昨年度に引き続き、ロボットの経路計画手法の研究に取り組んだ。経路計画とは、障害物を回避しつつ、現在の場所から指定された目的地へと向かう経路を求める問題である。申請者は深層学習ベースの手法に着目し、消費電力と性能に優れた専用アクセラレータを開発することで、(計算資源や電力に制約のある) エッジデバイス上で動作可能にすることを目指している。昨年度12月に国際会議で発表した内容をさらに発展させ、(i) アルゴリズム面の改良と、(ii) 深層ニューラルネットと衝突検知機能の2つを合わせた新たなアクセラレータの設計・実装によって、解の品質の向上、実行時間の短縮および消費電力性能の大幅な改善を実現した。この成果は、計算機アーキテクチャ分野の有名論文誌IEEE Transactions on Computers (TC) に採録された。
深層学習ベースの点群レジストレーション手法の研究にも取り組んだ。レジストレーション (位置合わせ) とは、2つの点群があるとき、それらを重ね合わせるために必要な、座標変換を求める問題である。申請者は、昨年度3月に国際会議で発表した研究内容を更に推し進め、2種類の深層学習ベースの手法 (PointNetLK、ReAgent) に対するアクセラレータを設計・実装した。この成果は、FPGA分野の有力論文誌ACM Transactions on Reconfigurable Technology and Systems (TRETS) に投稿され、現在査読を受けている。
上記のテーマのほか、エッジデバイス上で動作可能な、常微分方程式およびResNetを基にした軽量深層学習モデルの設計・実装、エッジデバイスとサーバとの協調動作による3次元のLiDAR SLAM (自己位置推定と地図構築の同時実行)、などを進めた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度は、深層学習ベースの経路計画、点群レジストレーション手法に関する研究成果を基に、論文誌を2つ執筆し、前者については計算機アーキテクチャ分野の有力論文誌であるIEEE Transactions on Computers (TC) に採録された。後者はACM Transactionsに投稿された。
当初は、PointNet特徴抽出と、Lucas-Kanade法を組み合わせたレジストレーション手法 (PointNetLK / CVPR 2019) に対する専用アクセラレータの設計・実装を計画していた。実際にはPointNetLKに加えて、模倣学習および強化学習を基にした手法 (ReAgent / CVPR 2021) についても調査を行い、FPGA上で実動作させることができた。ルックアップテーブルによる量子化手法 (LLT / CVPR 2022) を適用し、ニューラルネットワークの全パラメータをオンチップメモリに収めることで、外部メモリ (DRAM) との転送オーバヘッドを回避し、大幅な性能向上を実現した。LLTについては、FPGAに対する最初の実装例となった。
経路計画問題については、当初の研究計画には無かったものであるが、ロボットの自律動作において特に重要なタスクの1つであり、昨年度から取り組んでいる。上記のレジストレーションの研究で得られた知見を活かして、PointNetに基づく手法を新たに開発し、さらにそのFPGA実装を提示した。2・3次元環境の経路計画において、サンプリングベースの手法 (RRT*やBIT*など) よりも、速度・成功率・電力消費などの面で優れていることを示した。このように、研究は概ね順調に進展しており、期待する研究成果が得られている。
|
| Strategy for Future Research Activity |
点群処理向けの専用アクセラレータの設計・実装に取り組み、一定の研究成果が得られているが、今後も様々な改善が必要である。レジストレーションに関しては、実際のRGB-Dスキャンデータでの評価を既に行っているが、より広範囲の環境形状を捉えたLiDAR点群 (KITTIデータセットなど) に適合させるための、手法の改善が必要と考えている。経路計画についても、より難しい実験設定 (アームロボットなどの自由度の高い・制約付きの問題や、動的な環境など) で利用可能にするための、提案手法の拡張が求められる。また、点群特徴抽出モデルはPointNet以外にも数多く存在し、より新しいモデルの利用によって、性能を改善できる可能性がある。
高性能なLiDARセンサから得られる点群データは、数十万程度の点を含んでいる。重要な部分の形状を維持しつつ、サイズを削減するための圧縮は、重要な研究トピックとなっている。これまで調査してきたレジストレーション・経路計画手法に、点群の圧縮手法を適用することで計算量の更なる削減が期待される。ただ、近年の深層学習ベースの点群圧縮手法は、KPConvなどの高性能な特徴抽出モデルを利用していることもあって、それ自体で計算負荷が高い。出力結果の精度だけでなく、計算コストの低さにも焦点を当てた、圧縮手法の開発が必要である。
2020年ごろから、NeRF (Neural Radiance Field) を基にした、画像や点群からの3次元再構成や、入力データとは別視点からの画像・点群生成が流行している。より高精度で密な地図生成のため、NeRF-SLAMなどの応用分野が登場しており、それらを視野にいれた研究が必要と考えている。
|
Report
(2 results)
Research Products
(14 results)
