• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

A Study on Image Capturing and Processing System using Optical Control Device and Event Camera

Research Project

Project/Area Number 21H03464
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionNagoya University

Principal Investigator

FUJII Toshiaki  名古屋大学, 工学研究科, 教授 (30273262)

Co-Investigator(Kenkyū-buntansha) 都竹 千尋  名古屋大学, 工学研究科, 助教 (20884240)
Project Period (FY) 2021-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥17,420,000 (Direct Cost: ¥13,400,000、Indirect Cost: ¥4,020,000)
Fiscal Year 2023: ¥5,720,000 (Direct Cost: ¥4,400,000、Indirect Cost: ¥1,320,000)
Fiscal Year 2022: ¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥7,410,000 (Direct Cost: ¥5,700,000、Indirect Cost: ¥1,710,000)
Keywordsイベントカメラ / 光線空間補間 / 走査光学系 / 制御光学系 / 画像取得システム
Outline of Research at the Start

各画素の輝度値の(時間)変化情報のみを非同期に出力する「イベントカメラ」と制御光学系を組み合わせることにより, 視覚フィードバックを備えた「目を能動的に動かして情報を得る」新しいカメラシステムの開発を行う.センサ上に像を形成する光学系を高速に制御してイベント情報を取得し,その解析結果を元に光学系にフィードバックを行いつつシーンの情報を取得するシステムを研究する.本研究ではこのカメラシステムの原理検証,プロトタイプ作製,評価を行い,新しい画像取得・処理システムとして確立する.

Outline of Final Research Achievements

This research proposes a new camera system that “obtains information by actively moving the eyes” by combining an event camera, which is a camera that detects and outputs “temporal changes in luminance values” of each pixel, and visual feedback. The system acquires event information by controlling the optical system that forms an image on the sensor at high speed, and then provides feedback to the optical system based on the analysis results to acquire information on the scene. In this study, we investigated a spatial light modulator that can be controlled at high speed, analyzed event signals in detail, investigated information processing methods, and fabricated and evaluated a prototype to verify the principle of this new image acquisition and processing system.

Academic Significance and Societal Importance of the Research Achievements

本研究は,視覚フィードバックに基づいたイベント情報の蓄積からシーンの情報を把握していく新しい画像取得システムである.イベントカメラが生物の網膜を模したものとするならば,本研究はそれに眼球運動を加え,かつ視覚フィードバックを付加したもの,ということができる.このような視覚フィードバックを伴うイベント情報の処理により画像情報を取得・処理する手法を検討し,画像を「画素値の集合」ではなく「イベント情報の集合」として表す方法論の確立を目指した.この研究により,従来フレームベースカメラで行われてきた手法をイベントカメラの出力に対して適用する枠組みを超え,新たな「イベント情報処理」への道を開いた.

Report

(4 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • Research Products

    (12 results)

All 2024 2023 2022

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (11 results) (of which Int'l Joint Research: 1 results)

  • [Journal Article] Denoising Multi-View Images by Soft Thresholding: A Short-Time DFT Approach2022

    • Author(s)
      Keigo Tomita, Chihiro Tsutake, Keita Takahashi, Toshiaki Fujii
    • Journal Title

      Signal Processing: Image Communication

      Volume: 105, 116710 Pages: 1-13

    • DOI

      10.1016/j.image.2022.116710

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access
  • [Presentation] Unsupervised Framerate Upsampling from Events2024

    • Author(s)
      Hiroyuki Okuno, Chihiro Tsutake, Keita Takahashi, Toshiaki Fujii
    • Organizer
      International Workshop on Advanced Image Technology 2024
    • Related Report
      2023 Annual Research Report
    • Int'l Joint Research
  • [Presentation] イベントと自己教師学習による画像のぶれ除去2023

    • Author(s)
      田村 大輔, 奥野 広之, 都竹 千尋, 高橋 桂太, 藤井 俊彰
    • Organizer
      画像符号化シンポジウム・映像メディア処理シンポジウム
    • Related Report
      2023 Annual Research Report
  • [Presentation] イベント情報を用いた動画像の高フレームレート化 -座標ベースニューラル表現の長時系列への拡張-2023

    • Author(s)
      奥野 広之, 都竹 千尋, 高橋 桂太, 藤井 俊彰
    • Organizer
      画像符号化シンポジウム・映像メディア処理シンポジウム
    • Related Report
      2023 Annual Research Report
  • [Presentation] イベントカメラを用いた高速ビデオの生成2023

    • Author(s)
      奥野 広之, 都竹 千尋, 高橋 桂太, 藤井 俊彰
    • Organizer
      電気学会東海支部若手セミナー
    • Related Report
      2023 Annual Research Report
  • [Presentation] 動画像の高フレームレート化におけるイベント情報の有効性2023

    • Author(s)
      奥野 広之, 都竹 千尋, 高橋 桂太, 藤井 俊彰
    • Organizer
      電気・電子・情報関係学会東海支部連合大会
    • Related Report
      2023 Annual Research Report
  • [Presentation] イベント情報を用いた動画像の高フレームレート化における座標ベースニューラル表現の活用2023

    • Author(s)
      奥野 広之, 都竹 千尋, 高橋 桂太, 藤井 俊彰
    • Organizer
      画像の認識・理解シンポジウム
    • Related Report
      2023 Annual Research Report
  • [Presentation] 動的光線空間の雑音除去における短時間フーリエ変換の最適化2022

    • Author(s)
      冨田 佳吾, 都竹 千尋, 高橋 桂太, 藤井 俊彰
    • Organizer
      画像符号化シンポジウム・映像メディア処理シンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] イベント情報と座標ベースのニューラル表現を用いた動画像の高フレームレート化2022

    • Author(s)
      奥野 広之, 都竹 千尋, 高橋 桂太, 藤井 俊彰
    • Organizer
      画像符号化シンポジウム・映像メディア処理シンポジウム
    • Related Report
      2022 Annual Research Report
  • [Presentation] イベント情報を手がかりにした動画像の適応的撮影の一検討2022

    • Author(s)
      奥野 広之, 都竹 千尋, 高橋 桂太, 藤井 俊彰
    • Organizer
      電気・電子・情報関係学会東海支部連合大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] 短時間フーリエ変換を用いた動的光線空間の雑音除去2022

    • Author(s)
      冨田 佳吾, 都竹 千尋, 高橋 桂太, 藤井 俊彰
    • Organizer
      映像情報メディア学会年次大会
    • Related Report
      2022 Annual Research Report
  • [Presentation] イベントカメラを用いた光線空間の高密度復元2022

    • Author(s)
      奥野 広之, 都竹 千尋, 高橋 桂太, 藤井 俊彰
    • Organizer
      画像の認識・理解シンポジウム(MIRU)2022
    • Related Report
      2022 Annual Research Report

URL: 

Published: 2021-04-28   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi