自律移動を目的とした意味論的領域分割向けデータセットの半自動生成に関する研究
| Project/Area Number |
22K12082
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Meiji University |
|---|
Principal Investigator |
宮本 龍介 明治大学, 理工学部, 専任准教授 (10452525)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,030,000 (Direct Cost: ¥3,100,000、Indirect Cost: ¥930,000)
Fiscal Year 2024: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2023: ¥520,000 (Direct Cost: ¥400,000、Indirect Cost: ¥120,000)
Fiscal Year 2022: ¥2,730,000 (Direct Cost: ¥2,100,000、Indirect Cost: ¥630,000)
|
|---|
| Keywords | ドメイン汎化 / ドメインギャップ / 意味論的領域分割 / スタイル変換 / 自律移動 / データセット / 3D スキャナ |
|---|
| Outline of Research at the Start |
カメラのみを外界センサとしてロボットの自律移動を行う手法として，意味論的領域分割に基づく手法が提案されています．意味論的領域分割とは，入力画像に対してピクセル単位で，道路，障害物，車等のクラスを推定する手法です．この手法では，走行可能領域を適切に推定できれば自律移動が可能なことが分かっていますが，精度の良い推定結果を得るためには適切なデータセットが不可欠です．本研究では，少ない労力でデータセットを生成する方法を研究します．
|
| Outline of Annual Research Achievements |
意味論的領域分割の結果のみを用いて自律移動を行う手法を対象とし、つくばチャレンジにおいて利用可能な程度の精度が得られる分類器の構築を目指した研究に取り組んでいる。つくば市役所周辺をスキャンして得た3次元点群モデルから、RGB画像およびクラスラベル画像からなる意味論的領域分割用データセットを生成し、ロボットに搭載されたカメラから得られる画像を入力とした場合の精度向上を目指す。本年度の研究においては、学習方式の変更により、3次元点群モデルが持つ欠損を埋めなくても適切に分類器を構築できるようになった。これに加えて、AdaINというスタイル変換手法を適用することによって、分類精度の向上を目指した。また、日差しが強い環境下における走行時に問題となる、自分自身や周辺に存在する歩行者、あるいは周辺の樹木や構造物による遮蔽の結果として生成される影に対する対策として、Kornia に実装されている Random Plasma Shadow をデータ拡張主張として採用した。基本的に夏の期間に計測された色付き3次元点群モデルから訓練用のデータセットを作成し、夏季に撮影された CityHall Summer、秋季に撮影された CityHall Autumn、および3次元点群モデルには含まれていないもののつくばチャレンジの走行コースに含まれている公園を対象とした Park データセットを用いた評価を行った。その結果、PSPNet、ICNet、PIDNet に対して何れかのデータ拡張手法によって14%程度の mIoU の改善が可能であることが分かった。また、並行して、意味論的領域分割の結果に基づく自律移動手法の改善も行い、つくばチャレンジ2022において確認走行区間を web カメラ1つで走破した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
3D スキャナによって得られた色付き3次元点群モデルから生成されたデータセットに対して、ドメイン汎化を目的としたデータセット拡張を行った結果、ロボットに搭載されたカメラから得られた実画像データセットに対して、mIoU を14%程度改善することができているから。
|
| Strategy for Future Research Activity |
これまでの研究においては、影の影響による精度劣化が問題であったものの、AdaINによるスタイル変換の適用や、それに加えてさらなる影対策として導入した Random Plasma Shadow は効果を発揮しなかった。そこで、色付き3次元点群モデルから生成されるRGBデータに対して適切に影を付与する方式の検討を行う。これには、Unity を用いた3次元空間における光源の設置並びにシェーディングの適用を検討している。
また、領域分割のモデルとしては、PSPNet、ICNet、および PIDNet を用いた研究を行ってきた。。その理由は、ロボットに搭載して実時間処理が可能な計算量において最も高い精度を示すモデルだからである。しかし、近年では世間を賑わせている ChatGPT にも採用されている Transformer が画像処理分野においても高い精度を示し始めている。そこで、Transformer に基づく手法の導入による精度向上の効果および計算速度の問題に関する検討を行う。
|
Report
(1 results)
Research Products
(5 results)
