A Study on Image Capturing and Processing System using Optical Control Device and Event Camera

2021 Fiscal Year Annual Research Report

• Project/Area Number: 21H03464
• Research Institution: Nagoya University
• Principal Investigator: 藤井 俊彰 名古屋大学, 工学研究科, 教授 (30273262)
• Co-Investigator(Kenkyū-buntansha): 都竹 千尋 名古屋大学, 工学研究科, 助教 (20884240)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: イベントカメラ / 光線空間補間 / 走査光学系

Outline of Annual Research Achievements

本研究では，視覚フィードバックを備えた「目を能動的に動かして情報を得る」新しいカメラシステム，すなわちセンサ上に像を形成する光学系を高速に制御してイベント情報を取得し，その解析結果を元に光学系にフィードバックを行いつつシーンの情報を取得するシステムを研究することが目的である．今年度は，フレームとイベントが同じセンサーで撮影できるカメラを用いて撮影を行い，得られた撮影画像とイベントデータから視点を補間し光線空間を復元する研究を行った．
ネットワークへの入力に２フレームの撮影画像のみを用いた場合と，２フレームの撮影画像に加えて入力にイベントデータを用いた場合と用いない場合の視点補間の精度の比較を行った．この比較によって，画像のみを入力に用いた視点補間画像と比較して，イベントデータを入力に加えた方が精度が向上することが確認できた．
次にS.TulyakovらによるTimeLensの研究を参考に，撮影画像とイベントデータから視点を補間する復元ネットワークを構築した． 被写体を机上に配置し，カメラを電動ステージに乗せて並行移動させることで撮影するという実機による実験を行い，視点の補間結果を先行研究による結果と比較した．実機による実験では先行研究に比べて視点補間が十分な精度で実現できなかった．これらの結果から，視点補間においてイベントデータは有効であるが，補間画像の精度を上げるためにはイベントデータをそのまま使うだけでは困難であり，何らかの工夫が必要あるとの知見が得られた．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

当初の初年度計画は，利用可能な空間光変調器について検討を行うことであった．一方で，イベントカメラの最先端の研究としてS.TulyakovらによるTimeLensの研究が出てきたことから，光線空間の補間についての研究にまず着手した．その中で，補間を行うCNN(Convolutional Neural Network)を構築し，イベント情報を用いる場合と用いない場合の比較を試みた．その結果，イベント情報の有用性を確認することができた．

Strategy for Future Research Activity

今後は，イベント信号の情報処理技術の開発に取り組む．低レベルな信号の問題としてイベント信号のノイズの問題と時刻同一性の問題がある．イベント信号はある画素値の輝度値の変化値が閾値を超えた場合に生ずるものであるが，特に閾値が小さい場合には非常にノイズの多い信号となる．この中から真に意味のある注目イベントを抽出する手法を確立する必要がある．従来のノイズ除去手法の適用の可能性と限界の把握を行うとともに，イベント情報に特化した新たなノイズ除去手法の開発を行う．もう一つの時刻同一性の問題とは，多くの画素において一斉に輝度変化が生じた場合に,それらのイベントに含まれる時刻が完全に同一とならず，時刻に対するイベントヒストグラムが裾野を引いたような頻度分布になる，という問題である．イベントベースビジョンで試みられている深層学習の手法も参考にしつつ,目的関数の最適化などの解析的な手法と深層学習に基づく手法について検討を進めていく．最後に，得られた処理結果を元に光学系に対してフィードバックしていく系を検討し，実験的に検証を行う．