2019 Fiscal Year Research-status Report
Development of super-resolution method for 3D consumer scanner data using deep learning
Project/Area Number |
18K11418
|
Research Institution | Sasebo National College of Technology |
Principal Investigator |
手島 裕詞 佐世保工業高等専門学校, 電子制御工学科, 准教授 (60387503)
|
Project Period (FY) |
2018-04-01 – 2021-03-31
|
Keywords | 点群 / 欠損補間 / 機械学習 / 3次元スキャナー |
Outline of Annual Research Achievements |
本研究の課題は、3Dスキャナーを用いて取得した点群データ中に頻発するデータ欠損(穴などのノイズ)の問題に対して、信頼性の高い点群データを生成する手法の確立である。2019年度の主な課題は深層学習を用いて点群を超解像することであり、複数のニューラルネットワークを構築し、①点群に存在する穴(ノイズ)を補間する実験、および②点群のデータ数を増加させる実験を行った。実験データとしては、高精度の点群データを教師データ、欠損を含んでいるデータを学習用データとして、ネットワークに学習させてパラメータを最適化した。点群データの穴を補間する実験では、前年度に行った点群データをボクセルモデルに変換したあとに穴を補間する実験結果との比較を行った。ボクセルモデルでは、実数値で点の座標を表してる点群データを一定間隔でサンプリングするため、必然的に点群データの精度を下げることになる。そのため、今後の曲面近似的アプローチへ進む際に、点群データのまま穴を補間する場合とボクセル空間上で補間をする場合の比較と考察を進めておく必要がある。点群データのまま穴の補間を行った結果、平面部分の補間については高精度で補間がなされており、平面の位置や大きさ、向きに対してはボクセル空間上での補間と比べて、よりロバスト性を保持していることが分かった。また、点群のデータ数を増加させるネットワークを用いて超解像の実験を行ったところ、モデルの大局的特徴はとらえているが、局所的な特徴が平均化される傾向になり、曲面近似や点群整形を組み合わせることが効果的であることが分かった。引き続き、点群のデータ数を増加させて超解像を行うアプローチについても、深層学習のネットワークの再検討を行い、手法の可能性を探る。
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の課題は、3Dスキャナーを用いて取得した点群データに頻発する欠損の補間を行う手法の確立である。前年度の実験では、点群からボクセルモデルに変換して穴埋めを行う手法を検証したが、ボクセルモデルに変換することで点群の表現精度が低くなることと、ボクセルの解像度を大きくすると学習時間増加の問題がある。そこで、2019年度は点群データのまま欠損の補間を行う実験と点群の点数を増加させる実験を行い、検証を行った。今後は、曲面近似を行う手法と点群のまま超解像を行う手法の有用性をそれぞれ検討する。
|
Strategy for Future Research Activity |
点群データからボクセルモデルへの変換する際に点群の表現精度を下げるため、サンプリング間隔を大きくして表現精度を高めると学習時間が膨大になり、欠損補間の検証を効率よく行えないことが分かった。そのため、低解像度のボクセルデータだけではなく、点群データを入力とした深層学習のネットワークを構築し、欠損を補間する実験を行った。また、点群のデータ数を増加させるネットワークを構築し、実験を行った。最終年度は、低解像度のボクセルデータと点群データを入力としたニューラルネットワークで補間処理を行う手法を引き続き検証する。また、曲面近似や整形処理との組み合わせによって、生成される超解像データが変わってくるため、一連の流れを考慮した評価を行い、超解像処理の検証を行う。F値などの評価指標をもとに超解像精度の高い手法を確立させることで、低性能のスキャナーのスキャン精度を向上させる。
|
Causes of Carryover |
印刷代を計上している部分が大きいが、論文執筆において、超解像処理全体のコンセプトを論述するように修正を加えているため、論文の投稿が完了していない。今後については、手法の確立のための効果的な検証のために深層学習用PCの重要性が大きくなっており、追加で備えることも検討している。
|