| 研究課題/領域番号 |
20K04399
|
|---|
| 研究機関 | 和歌山大学 |
|---|
研究代表者 |
中村 恭之 和歌山大学, システム工学部, 教授 (50291969)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| キーワード | 点群データの補間と補完 / PU-GAN / Rand-LA Net / マルチタスク学習 |
|---|
| 研究実績の概要 |
本研究課題では，3D LIDARセンサから取得される疎かつ偏在する3次元点群から観測された環境が持つ本来の構造を正確に反映するような密かつ一様な3次元点群を生成する（これをアップサンプリングと呼ぶ）手法の完成を目指している．R3年度は，この手法の要素技術となる次の2つの手法について検討した．
１．3D LIDARデータをアップサンプリングする手法
２．3D LIDARデータを補完する方法
１．疎な三次元点群データからより密な三次元点群データを生成する手法として，性能が 高いと評される従来手法としてPU-GANという手法がある．PU-GANとはGANの技術を用いて三次元点群データの補間を行う手法である．PU-GANのself-attention unitにおける計算量が膨大であるため，大規模な三次元点群データを処理するのが困難であることが判明した．
２．１．の手法では，疎な三次元点群データが存在することが前提となっているが，周囲環境の状況によってはオクルージョン等の発生により，そもそも疎な三次元点群データが欠落している．そのような状況下では，欠落した三次元点群データを補完する手法が必要となる．欠落した三次元点群データを補完する手法を開発するため，三次元点群データをセマンティックセグメンテーションする手法(RandLA-Net, PointNet, PointNet++など)について調査した．
これらの検討の結果，マルチタスク学習の枠組みを活用することで，環境の大域的形状を表現する三次元点群だけでなく、局所的形状を表現する三次元点群を生成ことが可能になるという見通しを得た．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
3: やや遅れている
理由
R3年度に検討した手法1に関して，PU-GANのSelf-attention Unitにおける計算量が膨大になる問題を解決するため，この部分をLambda Networkに置き換えたネットワークを構築して，シミュレーション環境で作成した三次元点群を補間する実験を行ったが，計算量が削減できることを示すことができなかった．
R3年度に検討した手法１，2を実現するため，RandLA-NetとPU-GANの特色を組み合わせたマルチタスク学習ネットワークを構築した．この深層ニューラルネットワークを用いて，現在，この分野のベンチマークデータであるSemantic KITTI datasetを用いて，欠落のある大規模三次元点群データから局所的な三次元点群データを補間し，また欠落した部分を補完する実験を繰り返している最中である．
これが完成すれば，研究成果を対外的な学会等で発表する予定である．
|
| 今後の研究の推進方策 |
本研究で開発予定の手法（RandLA-NetとPU-GANの特色を組み合わせたマルチタスク学習ネットワーク）において，以下について検討する予定である．
１．損失関数の設計
２．ハイパーパラメータの調整
R4年度前半に，検討項目１を完成させる．マルチタスク学習における主タスクと補助タスクの損失関数について，複数の組み合わせを検証して，最適な損失関数を決定する．R4年度10月頃までに，検討項目２を完成させる．ネットワーク構造や，複数の損失のバランスを制御する重み，ミニバッチのサイズ，データ拡張の種類とそのパラメータについて，可能な限り多くの組み合わせを検証して，最適なハイパーパラメータを決定する．この深層ニューラルネットワークの学習には，引き続き，車載Lidarセンサの時系列の連続した点群データを公開しているThe KITTI Datasetを利用し，検証用データとしては，ROSおよびGazeboを用いたシミュレーションによってLidarの点群データを複数作成するだけでなく，実際のLidarセンサから取得する三次元点群データを用いる予定である．R4年度後半は，前半で実装した手法を検証するため，先述したデータを用いて，その点の増加率や正確性の観点からその性能について検証する．検証の結果，改善が必要であれば，その問題点を解決する方法について検討する．
|
| 次年度使用額が生じた理由 |
R3年度も，PCパーツ市場でGPUが全く手に入らない在庫不足の状態が続き，GPUを搭載した高性能計算機を購入することができなかったため次年度使用が生じた．
R4年度においては，大量の三次元計測データと仮想的な環境モデルを大容量のメモリを搭載した高性能計算機を使用して統合する予定であり，R3年度の残額と，R4年度に使用する予定の研究費を用いて，このようなGPUを搭載した高性能計算機を購入するために使用する予定である．通常，時間の進行とともにより高性能な計算機，GPUが販売される．従って，研究費を有効活用するために，実際にGPU搭載高性能計算機を購入する時期は，R4年度のなるべく遅い時期を予定している．
また，近年，三次元点群データを取得するための装置が安価になってきている，様々な環境の三次元点群データを容易に取得するために，そのような装置の購入も検討したい．
|
