2020 Fiscal Year Annual Research Report
Improvement of range image measurement by fusion of multiple modalities
| Project/Area Number |
19H04191
|
|---|
| Research Institution | Chuo University |
|---|
Principal Investigator |
梅田 和昇 中央大学, 理工学部, 教授 (10266273)
|
|---|
| Project Period (FY) |
2019-04-01 – 2023-03-31
|
| Keywords | 距離画像計測 / センサフュージョン / 複数モダリティー / 小型距離画像センサ / アクティブステレオ |
|---|
| Outline of Annual Research Achievements |
本研究では，複数のモダリティーの融合により距離画像計測手法の高度化を行うことを目的とし，具体的な融合として，(a) アクティブステレオにおけるDepth from Defocus (DFD)との融合，(b) ステレオとStructure from Motion (SfM)の融合，(c) Time of Flight (TOF)とステレオの融合に関する研究開発を行っている．2020年度は，以下の成果を上げた．
(a)に関しては，複数のスリット光を対象に投影してカメラで撮像した時にスリット像がぼけることを利用したDFD方式に基づく距離画像計測手法において，ぼけのモデルの改善ならびに実用化に向けてオンライン計測の実装を実現した．また，前年度に構築した複数のスリット光を用いたアクティブステレオに基づく距離画像センサにぼけ情報を付加することで計測レンジを拡大するシステムの改良も試み，システムのオンライン計測に関して研究の進捗が見られた．
(b)に関しては， 2フレームの画像対を用い，2眼ステレオとSfMとを融合させることで，魚眼ステレオカメラで得られる距離画像の計測精度を向上する手法の改善を実現した．具体的には，この融合に用いる擬似バイラテラルフィルタの定式化の改良を行うことで，理論的な最適化ならびに精度向上を実現した．また，3フレーム以上の画像対の活用に関する検討も開始した．
(c)に関しては，まず，TOFとステレオの2種のセンサで得られる距離画像を融合することで計測可能対象の拡大と高精度化を実現できることを，既に実装していたのとは異なるステレオカメラを用いて検証した．また，TOF方式のFAROのように大スケールで得られる距離画像情報と小型のステレオカメラで得られる小スケールの距離画像とのレジストレーション手法を構築する研究に着手した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2020年度は，3つの融合のそれぞれに関して一定の成果が上がったことから，総合的にはおおむね順調に進展していると判断する．(a)に関しては，既存のDFD手法の改良に関して，一定の成果を得ることができた．ぼけのモデルの改善を行い，オンライン計測の実装を実現したことは，地道な進捗ではあるものの，提案手法の実用化を考えた時に意義のある成果であると考えている．一方で，目標としていたぼけを用いた距離画像計測とアクティブステレオによる距離画像計測との融合手法の構築に関して進捗が見られなかった．また，前年度に構築した複数のスリット光を用いたアクティブステレオに基づく距離画像センサにぼけ情報を付加することで計測レンジを拡大するシステムの改良に関しては，対象物の反射率の違いの影響を受ける欠点の克服は実現できなかったものの，システムのオンライン計測に関して研究の進捗が見られたことは評価できると考えている．また，(b)に関しては，既に提案していた2眼ステレオとSfMとの融合手法の改良を行い，理論的な最適化ならびに精度向上を実現して，一連の成果を，投稿論文としてまとめることで，研究の大きな一区切りをつけることが出来，十分な進捗を得ることができたと考えている．さらに，(c)に関しては，前年度に開始したTOFとステレオの2種のセンサで得られる距離画像の融合に対しては，計測可能対象の拡大と高精度化を実現できることを既に実装していたのとは異なるステレオカメラを用いて検証したにとどまった一方で，この枠組みでの新たな研究として，TOF方式のFAROのように大スケールで得られる距離画像情報と小型のステレオカメラで得られる小スケールの距離画像とのレジストレーション手法を構築する研究に着手し，一定の成果が上がりつつあり，着実に研究が進捗していると判断する．
|
| Strategy for Future Research Activity |
2020年度に成果が上がった研究の継続・発展を行いつつ，新たに立ち上げた研究を推進することを目指す．
(a)に関しては，DFD方式に基づく距離画像計測手法に関して，ぼけのモデルの改善ならびに実用化に向けてオンライン計測の実装を実現した一方で，目標としていたぼけを用いた距離画像計測とアクティブステレオによる距離画像計測との融合手法の構築に関しては，進捗が見られなかった．そこで，まずこの融合手法の実装を行うことを再度目標とし，オンライン計測で両手法の融合ならびに適切な切り替えを実現可能なシステムを構築したい．また，2019年度に構築した複数のスリット光を用いたアクティブステレオに基づく距離画像センサにぼけ情報を付加することで計測レンジを拡大するシステムに関して，オンライン計測の実現を目指す．
(b)に関しては，2020年度に一定の完成を見た2フレームの画像対を用いて2眼ステレオとSfMとを融合させることで魚眼ステレオカメラで得られる距離画像の計測精度を向上する手法を発展させるべく，3フレーム以上の画像対の活用に関する検討を行う．また更なる精度向上などを目指して深層学習の枠組みを導入することも検討する．
(c)に関しては，まずTOFとステレオの2種のセンサで得られる距離画像を融合することで計測可能対象の拡大と高精度化を実現する手法の高度化は継続して目指したい．また，2020年度に新たな研究としてTOF方式のFAROのように大スケールで得られる距離画像情報と小型のステレオカメラで得られる小スケールの距離画像とのレジストレーション手法を構築する研究を開始したが，今後は，このように性質の異なる距離画像のレジストレーション手法を近年発展が著しい深層学習による点群処理の手法の導入で実現することを，このサブテーマにおける主たる目標とする．
|
