深度画像復元手法に基づく超解像３次元地図再構成手法の研究

2023 Fiscal Year Research-status Report

• Project/Area Number: 19K12050
• Research Institution: Tokyo University of Science
• Principal Investigator: 古川 利博 東京理科大学, 工学部情報工学科, 教授 (00190140)
• Co-Investigator(Kenkyū-buntansha): 小西 克巳 法政大学, 情報科学部, 教授 (20339138)
• Project Period (FY): 2019-04-01 – 2025-03-31
• Keywords: ３次元再構成 / 画像修復 / カラリゼーション

Outline of Annual Research Achievements

本研究では、高解像度RGBカメラ映像と低解像度な深度映像を組み合わせることで、超解像かつ高精度な３次元地図を再構成する手法の確立が目的である。本年度は、昨年度に引き続き、高解像RGB映像と低解像深度映像を用いて、高解像３次元再構成手法の分散アルゴリズムの構築を行った。行列の核ノルム最小化に基づく画像修復手法を応用した手法の分散アルゴリズムである。
行列の核ノルム最小化を用いることで、画像修復や画像の超解像度化、カラリゼーションなどが可能となる。本研究では、核ノルム最小化により３次元情報を復元する手法を導出している。しかしながら、３次元情報の復元のためには超大規模行列の核ノルム最小化問題を解く必要がある。また、動画像による３次元情報復元を目指す場合は、時間方向にも観測データがあるため、大規模テンソルデータとなる。核ノルム最小化によるテンソル修復の手法は、すでに導出されているが、計算機上のメモリ不足により、現実的には計算不可能である。そこで本研究では、超大規模行列の核ノルム最小化問題を解くための分散核ノルム最小化手法を導出している。行列の右特異行列を同期することで、核ノルム最小化の分散計算を可能にする手法である。同手法をテンソル補完問題に拡張し、分散核ノルム最小化によるテンソル補完手法を導出した。計算の高速化のため、GPUを利用するが、通常のGPU計算ではメモリ不足で計算不可能なテンソル補完問題が効率よく解けることを確認した。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の予定どおり、画像のカラリゼーションおよび画像修復手法を応用することで、高解像RGB映像と低解像深度映像を用いて、高解像な３次元データの復元が実現できた。多くの計測データを用いて、その有効性を確認している。

Strategy for Future Research Activity

再構成された３次元データの精度向上、および、計算の高速化を目指し、研究を進める。

Causes of Carryover

コロナ感染により，予算使用計画が一年後倒れになったため．