A Study on Image Capturing and Processing System using Optical Control Device and Event Camera

2023 Fiscal Year Final Research Report

• Project/Area Number: 21H03464
• Research Category: Grant-in-Aid for Scientific Research (B)
• Allocation Type: Single-year Grants
• Section: 一般
• Review Section: Basic Section 61010:Perceptual information processing-related
• Research Institution: Nagoya University
• Principal Investigator: FUJII Toshiaki 名古屋大学, 工学研究科, 教授 (30273262)
• Co-Investigator(Kenkyū-buntansha): 都竹 千尋 名古屋大学, 工学研究科, 助教 (20884240)
• Project Period (FY): 2021-04-01 – 2024-03-31
• Keywords: イベントカメラ / 光線空間補間 / 走査光学系

Outline of Final Research Achievements

This research proposes a new camera system that “obtains information by actively moving the eyes” by combining an event camera, which is a camera that detects and outputs “temporal changes in luminance values” of each pixel, and visual feedback. The system acquires event information by controlling the optical system that forms an image on the sensor at high speed, and then provides feedback to the optical system based on the analysis results to acquire information on the scene. In this study, we investigated a spatial light modulator that can be controlled at high speed, analyzed event signals in detail, investigated information processing methods, and fabricated and evaluated a prototype to verify the principle of this new image acquisition and processing system.

Free Research Field

情報処理

Academic Significance and Societal Importance of the Research Achievements

本研究は，視覚フィードバックに基づいたイベント情報の蓄積からシーンの情報を把握していく新しい画像取得システムである．イベントカメラが生物の網膜を模したものとするならば，本研究はそれに眼球運動を加え，かつ視覚フィードバックを付加したもの，ということができる．このような視覚フィードバックを伴うイベント情報の処理により画像情報を取得・処理する手法を検討し，画像を「画素値の集合」ではなく「イベント情報の集合」として表す方法論の確立を目指した．この研究により,従来フレームベースカメラで行われてきた手法をイベントカメラの出力に対して適用する枠組みを超え，新たな「イベント情報処理」への道を開いた．