深度画像復元手法に基づく超解像３次元地図再構成手法の研究

2021 Fiscal Year Research-status Report

• Project/Area Number: 19K12050
• Research Institution: Tokyo University of Science
• Principal Investigator: 古川 利博 東京理科大学, 工学部情報工学科, 教授 (00190140)
• Co-Investigator(Kenkyū-buntansha): 小西 克巳 法政大学, 情報科学部, 教授 (20339138)
• Project Period (FY): 2019-04-01 – 2023-03-31
• Keywords: ３次元再構成 / 画像修復 / 深度画像

Outline of Annual Research Achievements

本年度は、昨年度に引き続き、「１．高解像RGB映像と低解像深度映像を用いた高解像３次元再構成手法の導出」と「２．１で導出された手法の計算の高速化手法の研究」を実施した。１については、小型ドローンが撮影する高解像度RGB映像と低解像度深度映像から超解像度の３次元再構成手法を導出するための基礎研究を実施した。昨年度に導出した３次元再構成手法では、画像修復手法を併用することで、深度画像のうち、深度が観測されてない箇所がある場合についても、効率よく３次元ボクセルデータを修復することを可能としている。本年度は、この画像修復手法の精度向上の研究を進めた。具体的には、深度映像を多次元多様体上の多次元データとして扱い、その多次元データを深層学習を用いて復元する手法を提案した。すでに我々が提案しているオートエンコーダに基づく多次元信号修復手法を拡張し、深層学習を適用可能とした手法である。これにより、これまでの手法より修復精度を向上させることを実現した。２については、昨年度に引き続き、３次元ボクセルデータを生成するにあたり、深度画像から直接生成するのではなく、３次元メッシュを生成したのちに３次元ボクセルデータを生成する手法に取り組んだ。適宜、計算を省略することにより、精度低下をおさえつつ、高速な計算が可能となった。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の予定通り、観測されてない箇所を含む深度画像から３次元再構成を可能にする手法を導出した。さらに、その計算を高速化する手法の導出も実現できた。

Strategy for Future Research Activity

2021年度に引き続き「１．高解像RGB映像と低解像深度映像を用いた高解像３次元再構成手法の導出」と「２．１で導出された手法の計算の高速化手法の研究」を実施する。本年度は深層学習を積極的に利用した手法に取り組む。

Causes of Carryover

コロナ感染により、次年度まで研究計画を延長したため。