深度画像復元手法に基づく超解像３次元地図再構成手法の研究
| Project/Area Number |
19K12050
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Tokyo University of Science |
|---|
Principal Investigator |
古川 利博 東京理科大学, 工学部情報工学科, 教授 (00190140)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小西 克巳 法政大学, 情報科学部, 教授 (20339138)
|
|---|
| Project Period (FY) |
2019-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2020: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2019: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | ３次元再構成 / 画像修復 / カラリゼーション / 低解像深度映像 / 3次元再構成 / 深度画像 / 三次元再構成 / 画像復元 / 超解像 |
|---|
| Outline of Research at the Start |
本研究では、高解像度RGBカメラ映像と低解像度な深度映像を組み合わせることで、超解像かつ高精度な３次元地図を再構成する手法の確立を目的とする。近年では、スマートフォンに搭載可能な小型深度センサが多く開発されているが、通常のRGBカメラと比べると解像度は低く、得られた深度情報で３次元形状を再構成した場合には、解像度の低い3次元データとなる。本研究では、屋内における災害現場を小型ドローンで撮影することを想定し、小型RGBカメラの映像と小型距離センサの深度情報を用いて、目視により被害状況が確認可能な、超解像度、かつ、高精度なテクスチャを持つ３次元地図を再構成する手法の確立を目指す。
|
| Outline of Annual Research Achievements |
本研究では、高解像度RGBカメラ映像と低解像度な深度映像を組み合わせることで、超解像かつ高精度な３次元地図を再構成する手法の確立が目的である。本年度は、昨年度に引き続き、高解像RGB映像と低解像深度映像を用いて、高解像３次元再構成手法の分散アルゴリズムの構築を行った。行列の核ノルム最小化に基づく画像修復手法を応用した手法の分散アルゴリズムである。
行列の核ノルム最小化を用いることで、画像修復や画像の超解像度化、カラリゼーションなどが可能となる。本研究では、核ノルム最小化により３次元情報を復元する手法を導出している。しかしながら、３次元情報の復元のためには超大規模行列の核ノルム最小化問題を解く必要がある。また、動画像による３次元情報復元を目指す場合は、時間方向にも観測データがあるため、大規模テンソルデータとなる。核ノルム最小化によるテンソル修復の手法は、すでに導出されているが、計算機上のメモリ不足により、現実的には計算不可能である。そこで本研究では、超大規模行列の核ノルム最小化問題を解くための分散核ノルム最小化手法を導出している。行列の右特異行列を同期することで、核ノルム最小化の分散計算を可能にする手法である。同手法をテンソル補完問題に拡張し、分散核ノルム最小化によるテンソル補完手法を導出した。計算の高速化のため、GPUを利用するが、通常のGPU計算ではメモリ不足で計算不可能なテンソル補完問題が効率よく解けることを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の予定どおり、画像のカラリゼーションおよび画像修復手法を応用することで、高解像RGB映像と低解像深度映像を用いて、高解像な３次元データの復元が実現できた。多くの計測データを用いて、その有効性を確認している。
|
| Strategy for Future Research Activity |
再構成された３次元データの精度向上、および、計算の高速化を目指し、研究を進める。
|
Report
(5 results)
Research Products
(1 results)
