2018 Fiscal Year Research-status Report
Development of super-resolution method for 3D consumer scanner data using deep learning
Project/Area Number |
18K11418
|
Research Institution | Sasebo National College of Technology |
Principal Investigator |
手島 裕詞 佐世保工業高等専門学校, 電子制御工学科, 准教授 (60387503)
|
Project Period (FY) |
2018-04-01 – 2021-03-31
|
Keywords | 点群 / 欠損検出 / 機械学習 / 3次元スキャナー |
Outline of Annual Research Achievements |
本研究の課題は、3Dスキャナーを用いて取得した点群データ中に頻発するデータ欠損の問題に対して、信頼性の高い点群データの生成法を確立することである。 2018年度の主な目標としてはデータ欠損の自動検出手法の提案と評価を行うことであり、点群モルフォロジー演算を用いて新たな点を発生させ、その点群表面を分析することでデータの欠損部分を検出する手法を提案した。また、提案手法では、非常に多くの点を新たに生成するため、処理時間が膨大になるという問題がある。そこでボクセル空間を導入したラフ判定を取り入れることで高速化を実現している。これにより、欠損検出処理を1~2割程度に削減することができた。また、点群モルフォロジーの構造要素を変更することで検出する欠損の大きさを制御できることも利点である。提案手法の性能評価としては、Bendelsらの欠損検出手法を従来法として検出精度の比較を行った。再現率、適合率、F値を用いて定量的な評価を行ったところ提案手法の優位性を確認できた。 また、深層学習を用いた欠損補間についても予備実験と評価を行った。入力としては、欠損を検出した点群データをボクセルモデルに変換したものを取り上げた。実験では、欠損ありボクセルデータ、欠損なしボクセルデータを用意し、畳み込みニューラルネットワークに学習させた。その結果、欠損ありのボクセルに対して、形状を考慮した補間処理が進んでいることを確認した。また、点群を直接ニューラルネットワークに投入し、セグメンテーションやクラス分類の精度について評価を行った。今後については、ボクセル変換の必要性の有無を分析し、点群データを直接補間する方法との比較を行い、提案手法を確立させていく予定である。 また、並行して欠損補間の後処理として位置付けている点群の鮮鋭化についても手法を提案し実験を行った。
|
Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本課題は、点群データに頻発する欠損に対してデータ補間を行い、信頼性の高い点群モデルを生成することである。初年度の目標である欠損の自動検出手法の提案と評価において実施計画の通り実施することができた。また、補間処理に導入する機械学習について、ボクセルモデルを対象とした実験、及び点群を直接扱う実験を実施できた。 さらに、次年度以降に計画をしている点群モデルの鮮鋭化について手法の提案と検証実験を実施することができた。成果については国内学会にて発表している。
|
Strategy for Future Research Activity |
次年度については、機械学習を用いた欠損補間手法の確立に重点を置き、安価なコンシューマスキャナーにより得られた点群データ(解像度:低、欠損:多い)の超解像に取り組む。 まずは既存物体のスキャン作業を進め、より多くのモデルを用いた機械学習の出力精度を調査する。ここでは、高解像度と低解像度の点群データを準備し、高解像度のデータを教師データとして採用する。次に、ボクセルモデルへ変換したデータを機械学習への入力とする手法と点群データを直接入力する手法を比較検証し、より最適な入力データを特定する予定である。 予備実験では欠損領域の情報を付加してある点群データの方が補間精度は高いという結果が得られたが、欠損の度合いや点密度などの要因によって補間結果が変化すると考えられる。本研究で目指す超解像限界の解明を意識し、ネットワークの構成および、学習データの変更を行いながら、引き続き実験を行う予定である。
|
Causes of Carryover |
予定していた学会参加の旅費が不要であった。また、論文については現在執筆中であり、出版までは至らず印刷代が不要であった。次年度の学会参加および論文執筆の活動に使用する予定である。
|
Research Products
(2 results)