2022 Fiscal Year Annual Research Report
A Study on Image Capturing and Processing System using Optical Control Device and Event Camera
| Project/Area Number |
21H03464
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
藤井 俊彰 名古屋大学, 工学研究科, 教授 (30273262)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
都竹 千尋 名古屋大学, 工学研究科, 助教 (20884240)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | イベントカメラ / 光線空間補間 / 走査光学系 |
|---|
| Outline of Annual Research Achievements |
本研究では，視覚フィードバックを備えた「目を能動的に動かして情報を得る」新しいカメラシステム，すなわちセンサ上に像を形成する光学系を高速に制御してイベント情報を取得し，その解析結果を元に光学系にフィードバックを行いつつシーンの情報を取得するシステムを研究することが目的である.
今年度は，その中で特にイベント信号の情報処理技術の開発に取り組んだ．低レベルな信号の問題として，イベント信号のノイズの問題と時刻同一性の問題がある．ノイズの問題については，これまで画像処理の分野で動的光線空間のノイズ除去として研究されてきた周波数領域でのデノイズ手法の拡張として，短時間(離散)フーリエ変換(Short Term DFT)を用いた雑音除去の検討を行った．イベント情報は空間的に飛び飛びの情報となるため，これらを適切に補間してからDFTを行う手法について検討し，有効性を確認した．時刻同一性の問題は，多くの画素において一斉に輝度変化が生じた場合に,それらのイベントに含まれる時刻が完全に同一とならなず，時刻に対するイベントヒストグラムが裾野を引いたような頻度分布になる，という問題である．この現象の詳細を分析するため，コンピュータ制御に基づいて高速に点滅する発光システムを構築し，それをイベントカメラの一つであるDAVIS（DynamicActive Vision Image Sensor）を用いて撮影し，時刻同一性の評価を行った．得られた処理結果を元に光学系に対してフィードバックしていく系を検討し，実験的に検証を行った．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の初年度計画は，前年度に構築した取得装置を用いて実際のシーンを対象にイベントデータを取得し，そのイベント信号に対する情報処理技術を実験的に検証することであった．ここで着目した問題点は，上記の通りイベント信号のノイズの問題と時刻同一性の問題である．これらに対し，フーリエ変換面におけるノイズ除去と，実際の発光・取得システムを用いたイベント取得・解析の検討を行った．当初計画通りの進捗であると言える．
|
| Strategy for Future Research Activity |
今後は，イベントカメラからのイベント情報処理結果を光学系にリアルタイムでフィードバックするシステムを設計し，プロトタイプを作製するとともに性能評価を行う．前年度に検討した情報処理手法を実装するにあたり，最適化問題として求解するか深層学習により推論するかを考慮し，GPUの台数や搭載するメモリ量の検討，さらには高速化が必要な信号処理部にはFPGAへの実装を行うなど，全体のシステムとして最も性能が出る構成を検討し，実際のシステム構築を行う．このシステムを用いて３次元実シーンを対象に撮像実験を行う．静的なシーン，一部動きのあるシーン，車やドローンへの搭載などエゴモーションを伴う状況など様々なシーンを対象に取得実験を行い，イベントカメラの信号レート，光学系の応答速度，フィードバック制御系の応答性能などのパラメータと,得られる画像の精度の関係などを詳しく解析し，データを蓄積する．以上の上記各段階での成果をまとめ，新しい原理に基づくカメラの基礎資料として整備するとともに，生物の目を模した新しいカメラとその情報処理法という新たな学問の創出・体系化へと展開させていく.
|
