2020 Fiscal Year Research-status Report
3D LIDARからの複数物体点群データの自動補間システムの構築とその応用
| Project/Area Number |
20K04399
|
|---|
| Research Institution | Wakayama University |
|---|
Principal Investigator |
中村 恭之 和歌山大学, システム工学部, 教授 (50291969)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | PU-GAN / TecoGAN / 点群データの補間と補完 |
|---|
| Outline of Annual Research Achievements |
本研究課題では，3D LIDARセンサから取得される疎かつ偏在する3次元点群から観測された環境が持つ本来の構造を正確に反映するような密かつ一様な3次元点群を生成する（これをアップサンプリングと呼ぶ）手法の完成を目指している．R2年度は，この手法を完成させるため，次の2つの手法について検討した．
１．3D LIDARデータをアップサンプリングする手法
２．2D LIDARデータを補完する方法
１．疎な三次元点群データからより密な三次元点群データを生成する手法として，性能が高いと評される従来手法としてPU-GANという手法がある．PU-GANとはGANの技術を用いて三次元点群データの補間を行う手法である．本研究では，動画の時系列データを用いて超解像画像を生成する手法TecoGANで用いられている技法をPU-GANに組み込んだ新たな補間手法を開発した．この手法を用いてシミュレーション環境で作成した三次元点群を補間する実験を行った結果，PU-GANよりも優れた性能を持っていることを確認した．
２．１．の手法では，疎な三次元点群データが存在することが前提となっているが，周囲環境の状況によってはオクルージョン等の発生により，そもそも疎な三次元点群データが欠落している．そのような状況下では，欠落した三次元点群データを補完する手法が必要となる．そこでまず，欠落した二次元点群データを補完する手法を開発した．欠落のある二次元点群データと，それに対応する欠落のない二次元点群データの集合を教師データとして，欠落のある二次元点群データから，欠落した二次元点群データを推定するCNN型やLSTM型の深層ニューラルネットワークを構築した．この手法を用いてシミュレーション環境で作成した三種類の屋内環境を表す二次元点群データを補完する実験を行い，良好な結果が得られた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
R2年度に開発した手法1の性能に関して，点群を構成する点の増加率については，従来法のPU-GANが26.8%であるのに対して，提案手法では30.9%であった．このことから，提案手法のほうが補間密度が高くなっていることを確認した．また，新たに生成された点群データと正解の点群データとの誤差に関しては，従来法のPU-GANの誤差に対して提案手法の誤差は25.4% 減少しており，提案手法のほうが補間精度が高くなっていることを確認した．提案手法の性能をさらに向上させたうえで，研究成果を対外的な学会等で発表していく予定である．
R2年度に開発した手法2に関しては，欠落のある二次元点群データから欠落した二次元点群データを推定する深層ニューラルネットワークを構築することはできており，研究成果を対外的な学会等で発表する予定である．しかし，欠落のある三次元点群データを補完できる深層ニューラルネットワークの構築は，現在，実装が完了していない．この深層ニューラルネットワークの構築のアイデアは検討済みであり，GPU搭載の計算機でソフトウェアを構築する環境の準備は整っているが，実装する作業に時間を要している．
|
| Strategy for Future Research Activity |
本研究で開発予定の手法1の点群を構成する点の増加率については，現状の提案手法では30.9%にとどまっている．手法1の応用（三次元点群データを用いたインスタンスセグメンテーション）を考慮すると，点の増加率についてはさらなる性能向上を果たさなければならない．
R3年度前半に，Self-Attention機構や3D U-Netのネットワーク構造を参考にして，近傍の点群によって平面・局面を構成するといった，点群の持つ特性に応じて，局所的に点群を増加することのできるアップサンプリング用深層ニューラルネットワークの完成を目指す．この深層ニューラルネットワークの学習には，引き続き，車載Lidarセンサの時系列の連続した点群データを公開しているThe KITTI Datasetを利用し，検証用データとしては，ROSおよびGazeboを用いたシミュレーションによってLidarの点群データを複数作成するだけでなく，実際のLidarセンサから取得する三次元点群データを用いる予定である．
R3年度後半は，前半で実装した手法を検証するため，先述したデータを用いて，その点の増加率や正確性の観点からその性能について検証する．
本研究で開発予定の手法2の欠落のある三次元点群データを補完できる深層ニューラルネットワークの構築は，現在，実装が完了していないため，引き続き実装作業を行い，R3年度中頃の完成を目指す．また，最近，画像内でオクルージョンにより物体の一部が欠落した部分を復元する手法のAmodal-VAEやSegmentation completion networkなど，いくつか発表されてきている．これらの手法で使われている補間方法が，三次元点群データに適用可能か調査する．これらの学習方法を実装するための各種ライブラリは，使用するための準備は既に終わっており，これら複数のライブラリを組み合わせたソフトウェアを開発することで，R3年度後半の実装を目指したい．
|
| Causes of Carryover |
R2年度は，PCパーツ市場でGPUが全く手に入らない在庫不足の状態が続き，GPUを搭載した高性能計算機を購入することができなかったため次年度使用が生じた．
次年度においては，大量の三次元計測データと仮想的な環境モデルを大容量のメモリを搭載した高性能計算機を使用して統合する予定であり，本年度の残額と，次年度に使用する予定の研究費を用いて，このようなGPUを搭載した高性能計算機を購入するために使用する予定である．近年，GPUを搭載した高性能計算機の販売は盛んに行われているが，R2年度のようなGPU自体の品薄状態がR3年度前半は続く可能性がある．また，時間の進行とともにより高性能な計算機，GPUが販売される．従って，研究費を有効活用するために，実際にGPU搭載高性能計算機を購入する時期は，R3年度後半を予定している．
|
| Remarks |
今村大介：時系列データを用いる深層学習アルゴリズムを用いたLidarデータの補間に関する研究 ，和歌山大学システム工学研究科，2020年度修士論文
|
Research Products
(2 results)
