2023 Fiscal Year Research-status Report
自律移動を目的とした意味論的領域分割向けデータセットの半自動生成に関する研究
| Project/Area Number |
22K12082
|
|---|
| Research Institution | Meiji University |
|---|
Principal Investigator |
宮本 龍介 明治大学, 理工学部, 専任准教授 (10452525)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | ドメインギャップ / データ拡張 / 意味論的領域分割 / 自律移動 / 3次元点群 |
|---|
| Outline of Annual Research Achievements |
ロボットのビジュアルナビゲーションに利用することを対象とし、意味論的領域分割処理の高精度化を目指して、3次元スキャナによって得られる3次元点群を用いたデータセットの半自動生成に取り組んでいる。前年度の研究において問題が残されていた走行可能領域上に存在する影の影響を除去することを目指し、実験対象となる環境の3次元モデルに対してUnity上において障害物を付加し、光源の設定を行うことで影を生成後の2次元画像に含めるデータ拡張手法の提案を行った。その結果、Unityを用いて生成したデータ拡張手法が精度改善に有効であることが実験的に確認できた。特に、影を含む領域の分類精度そのものを対象として評価した場合、Accuracy および IoU のどちらも大幅に改善でき、それぞれベストケースでは0.940および0.818となった。
データ拡張手法の検討と並行して、データセット生成時の視点の多様性や点群密度が最終的な2次元領域分割の精度に及ぼす影響の調査を行った。視点の多様性については位置や角度を変化させたとしても期待した程の効果が得られないことが分かった。この際、影の付与方法の検討を行ったが、はっきりした影が比較的効果があることが分かった。点群密度については、新たにスキャンしたデータを付加したより密な点群モデルを用いた場合の方が全てのテストセットに対して良いという結果になった。ただし、単純に密度を向上させれば精度が向上するというわけでもなく、ある程度の密度があれば良いという結果が得られた。この実験においては Transformer の導入による精度向上が確認された。
3次元点群データからの生成されたデータセットを用いて領域分割モデルを構築する過程から得られた知見を活用して、実画像データセットを訓練データとした場合の精度向上や、実ロボットの走行実験への応用を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
自律移動ロボットへの応用を考慮した3次元点群モデルからのデータセット生成に関する検討を順調に進め、特に領域分割結果のみを用いた自律移動において重要な情報となる走行可能領域の分類精度について、3次元点群の撮影時の季節である夏と似た時期におけるデータセットに関しては IoU を約 0.970 とすることができている。データ拡張によって3次元点群モデルの撮影時期とは異なる秋においても 0.868 を達成しており、現状では訓練データに含まれていないシーンに対しても 0.898 を達成できている。実画像データセットを用いずに3次元点群モデルから生成されたデータセットのみを用いて訓練した分類器を用いた場合でも、ある程度の精度でロボットの自律走行を実際の環境で行えることを確認できる状況になっており、順調に進展していると言える。
|
| Strategy for Future Research Activity |
これまでの研究の成果から、ある程度の精度改善が達成できているが、さらなる精度改善の余地が残されている。そこで、ドメインギャップを考慮したデータ拡張手法の検討を引き続き行う。特に、自律移動において走行可能領域の次に重要となる静的および動的障害物に対する分類精度の向上を狙う。
これに加えて、データセット生成における人の労力削減に関する検討にも取り組む。現在問題となっているのは、色付き3次元点群に対してクラスラベルを人手によって付与することで対応するクラスラベル点群を作成しなければならないことである。3次元点群に対する人手によるラベル付けは、一度行ってしまえば大量の2次元画像データセットの生成に利用可能であるため、領域分割に不可欠な画素単位のラベル付けが行われた大量の2次元画像からなるデータセットを構築することに比べると人手による作業の労力は圧倒的に少ない。しかし、分類精度を向上させるためには対象となる環境から得られた3次元点群モデルを用いることが効果的であるということが分かってきており、対象とする環境毎に計算機による補助なしに完全に人手でクラスラベルを付与することは現実的ではない。そこで、3次元点群モデルに対してクラスラベルを付与する際の人の労力を削減する方法の検討にも取り組む。
|
| Causes of Carryover |
最終年度において国際会議発表が見込まれ、より効果的に研究費を執行するために、次年度使用額が生じた。
|
