2021 Fiscal Year Annual Research Report
Improvement of range image measurement by fusion of multiple modalities
| Project/Area Number |
19H04191
|
|---|
| Research Institution | Chuo University |
|---|
Principal Investigator |
梅田 和昇 中央大学, 理工学部, 教授 (10266273)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 距離画像計測 / センサフュージョン / 複数モダリティー / 小型距離画像センサ / アクティブステレオ / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本研究では，複数のモダリティーの融合により距離画像計測手法の高度化を行うことを目的とし，具体的な融合として，(a) アクティブステレオにおけるDepth from Defocus (DFD)との融合，(b) ステレオとStructure from Motion (SfM)の融合，(c) Time of Flight (TOF)とステレオの融合に関する研究開発を行っている．2021年度は以下の成果を上げた．
(a)に関しては，複数のスリット光を対象に投影してカメラで撮像した時にスリット像がぼけることを利用したDFD方式に基づく距離画像計測手法に関して，ぼけを用いた距離画像計測とアクティブステレオによる距離画像計測との基礎的な融合手法の構築に成功した．また，複数のスリット光を用いたアクティブステレオに基づく距離画像センサにぼけ情報を付加することで計測レンジを拡大するシステムのオンライン計測も実現した．
(b)に関しては，2フレームの画像対を用いて2眼ステレオとSfMとを融合させることで魚眼ステレオカメラで得られる距離画像の計測精度を向上する手法の改善として，3フレーム以上の画像対の活用に関する検討を行った．具体的には，バンドルアジャストメントの枠組みで定式化し，レーベンバーグ・マーカート法で実装することを進めた．しかしながら，手法の完成には至らなかった．
(c)に関しては， TOF方式のFAROのように大スケールで得られる距離画像情報と小型のステレオカメラで得られる小スケールの距離画像との位置合わせを実現可能な手法を，深層学習による点群処理手法の導入により提案することが出来た．具体的には，点数が異なる点群の位置推定手法として，PointpartNetと呼ぶ独自の深層学習ベースのネットワークを構築し，データセットによる評価で既存手法よりも優れた位置推定を実現することに成功した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2021年度は，3つの融合のうち，(b)に関しては目に見える成果が上がらなかった一方で，(a) (c)に関しては期待以上の成果が上がったことから，総合的にはおおむね順調に進展していると判断する．(a)に関しては，複数のスリット光を対象に投影してカメラで撮像した時にスリット像がぼけることを利用したDFD方式に基づく距離画像計測手法に関して，前年度からの懸案であったぼけを用いた距離画像計測とアクティブステレオによる距離画像計測との基礎的な融合手法の構築に成功し，2手法を用いたシームレスな計測を実現したことは，十分な進捗であったと考えている．また，複数のスリット光を用いたアクティブステレオに基づく距離画像センサにぼけ情報を付加することで計測レンジを拡大するシステムに関しても，まだ誤対応などの課題は残るものの，オンライン計測の実現に至ったことは，着実な進捗が得られていると判断する． 一方，(b)に関しては，3フレーム以上の画像対を用いて2眼ステレオとSfMとを融合させることで魚眼ステレオカメラで得られる距離画像の計測精度を向上する手法の構築を目指し，手法の構築や実装に一定の進捗はあるものの，手法の完成には残念ながら至らなかった．対して，(c)に関しては，TOFとステレオの2種のセンサで得られる距離画像を融合することで計測可能対象の拡大と高精度化を実現する従来手法の高度化に関しては目立った成果が上がらなかった一方で，TOF方式のFAROのように大スケールで得られる距離画像情報と小型のステレオカメラで得られる小スケールの距離画像との位置合わせを実現可能な手法を，深層学習による点群処理手法の導入により提案することが出来たことは，当初想定していなかった新たな研究テーマにおける成果であり，期待以上の成果が十分上がったと考えている．
|
| Strategy for Future Research Activity |
3種の融合に関する研究をそれぞれ継続発展し，成果をまとめることを目指す．
(a)に関しては，2021年度に，複数のスリット光を対象に投影してカメラで撮像した時にスリット像がぼけることを利用したDFD方式に基づく距離画像計測手法に関して，ぼけを用いた距離画像計測とアクティブステレオによる距離画像計測との基礎的な融合手法の構築に成功した一方で，融合手法が単純で，誤計測が生じやすいという課題が残っている．そこで，まずこの融合手法の改善・高度化による計測精度向上をはかり，さらに両手法の融合によるオンライン計測システムを構築する．また，複数のスリット光を用いたアクティブステレオに基づく距離画像センサにぼけ情報を付加することで計測レンジを拡大するシステムに関しては，現在残っている課題であるぼけ計測の不安定性などから一部誤対応が発生して計測精度が十分でない問題をキャリブレーション手法やぼけモデルの改善により克服し，センサシステムとしての完成を目指す．(b)に関しては，3フレーム以上の画像対を用いて2眼ステレオとSfMとを融合させることで魚眼ステレオカメラで得られる距離画像の計測精度を向上する手法の構築を引き続き進め，新規な手法ならびにセンサシステムの構築を行いたい．その際，数理的なアプローチに行き詰まった場合は，深層学習の枠組みの導入も検討する．(c)に関しては，昨年度に導入したTOF方式のFAROのように大スケールで得られる距離画像情報と小型のステレオカメラで得られる小スケールの距離画像との位置合わせを深層学習による点群処理手法の導入により実現する手法を発展させることを第一に行う．具体的には，深層学習のネットワークの改善により，位置合わせ手法の完成を目指す．さらに，位置合わせされた異種点群データの統合に関する手法の構築も検討したい．
|
