• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

イメージセンサを用いた高時間分解能の動き分布の推定理論構築とその映像処理への応用

Research Project

Project/Area Number 20K19829
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionSophia University (2021-2023)
Tokyo University of Science (2020)

Principal Investigator

亀田 裕介  上智大学, 理工学部, 助教 (50711553)

Project Period (FY) 2020-04-01 – 2025-03-31
Project Status Granted (Fiscal Year 2023)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥780,000 (Direct Cost: ¥600,000、Indirect Cost: ¥180,000)
Fiscal Year 2022: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2021: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2020: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Keywordsオプティカルフロー / シーンフロー / イメージセンサ / 映像処理 / 高速計算 / イベントカメラ / dynamic vision sensor / neuromorphic camera / 奥行きマップ / 動き補償 / 動き推定 / データ圧縮 / 映像圧縮符号化
Outline of Research at the Start

映像のフレームレートを超える時間分解能の動き分布の推定理論を確立し、既存イメージセンサで取得できる映像や奥行き等の高品質化、映像圧縮率の向上、短時間未来予測、高速映像処理、パターン認識などへの応用を目指す。4つの項目の実現により、明暗分布変化を高速に取得するイメージセンサを用いた高時間分解能の動き分布の推定理論とその応用に関する学術的基盤を確立する。
1.様々な明暗分布変化センサからの動き分布の推定理論とその数値安定な計算法の構築
2.高時間分解能な動き分布を用いた映像処理の性能改善
3.オクルージョン領域付近での動き分布推定精度の改善
4.高時間分解能の動き分布の基礎的なデータ圧縮符号化理論の解明

Outline of Annual Research Achievements

映像から推定される動きの分布はオプティカルフローやシーンフローなどとよばれ、被写体やカメラの運動に伴う全画面での見かけの速度や被写体表面の三次元速度を表しており、さらには加速度の推定法も提案されている。近年の推定法の発展に伴い、動き分布は動物体検出やパターン認識、さらには映像データ圧縮符号化にも応用されており、映像処理における基盤的要素としてその更なる応用が期待されている。動き分布情報の理論的な方向性の一つは、映像のフレームレートを超える高時間分解能の動き分布の取得と応用が挙げられる。高時間分解能の動き分布が推定できたとすると、様々な映像処理の性能向上が見込まれる。明暗分布変化を高速に取得するイメージセンサを用いた高時間分解能の動き分布の推定理論とその応用に関する学術的基盤を確立し、将来的に様々な研究分野に対して動き分布情報を汎用センサ情報として定着させることを目指している。本研究課題ではイメージセンサを用いた高時間分解能の動き分布の推定理論構築のために、当該年度では次の項目の研究を実施した。
・イベントカメラからの高時間分解能の動き分布推定法の構築
・オクルージョン領域付近での動き分布推定精度の改善
・動き推定に基づくフレームレート向上のための映像補間の改善
神経模倣カメラとも呼ばれるイベントカメラは、高速小型省電力で動作するセンサである。新設研究室の大学院生と共に、研究成果の国内シンポジウム発表、国際会議発表を実施するとともに、英文論文誌へ投稿した。

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

研究内容の特許化の検討及び英文論文誌への投稿を実施しているため。

Strategy for Future Research Activity

成果をまとめるための研究を継続しつつ、特許化や論文化を進める。

Report

(4 results)
  • 2023 Research-status Report
  • 2022 Research-status Report
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (28 results)

All 2024 2023 2022 2021 2020 Other

All Journal Article (13 results) (of which Peer Reviewed: 9 results,  Open Access: 5 results) Presentation (13 results) (of which Int'l Joint Research: 3 results,  Invited: 1 results) Remarks (2 results)

  • [Journal Article] CMOS Image Sensor with Pixel-Parallel ADC and HDR Reconstruction from Intermediate Exposure Images2022

    • Author(s)
      KURATA Shinnosuke、OTAKA Toshinori、KAMEDA Yusuke、HAMAMOTO Takayuki
    • Journal Title

      IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences

      Volume: E105.A Issue: 1 Pages: 82-86

    • DOI

      10.1587/transfun.2021EAL2024

    • NAID

      130008138730

    • ISSN
      0916-8508, 1745-1337
    • Year and Date
      2022-01-01
    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] High Frame Rate Motion Estimation for Image Sensor with Controllable Exposure Patterns2022

    • Author(s)
      Yuma Masui, Yusuke Kameda, Shunichi Sato, Takayuki Hamamoto
    • Journal Title

      Proc. of The 11th International Workshop on Image Media Quality and its Applications, IMQA2022

      Volume: - Pages: 78-81

    • NAID

      40022622632

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] Evaluation of A Moving Subject For Adaptive Exposure Time Control Using Multiple Exposure Time Imaging2022

    • Author(s)
      Kurumi Kataoka, Yusuke Kameda, Shunichi Sato, Takayuki Hamamoto
    • Journal Title

      Proc. of The 11th International Workshop on Image Media Quality and its Applications, IMQA2022

      Volume: - Pages: 82-85

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] Imaging Method using Multi-Threshold Pattern for Photon Detection of Quanta Image Sensor2022

    • Author(s)
      Shuichi Namiki, Shunichi Sato, Yusuke Kameda, Takayuki Hamamoto
    • Journal Title

      Proc. of International Workshop on Advanced Image Technology

      Volume: 12177 Pages: 1-6

    • DOI

      10.1117/12.2625974

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] Depth scene flow estimation based on variational method using thin-plate spline regularization2022

    • Author(s)
      Kameda Yusuke
    • Journal Title

      Proc. of International Workshop on Advanced Imaging Technology (IWAIT) 2022

      Volume: 121770E Pages: 1-4

    • DOI

      10.1117/12.2625848

    • Related Report
      2022 Research-status Report
    • Peer Reviewed
  • [Journal Article] Scene Adaptive Exposure Time Control for Imaging and Apparent Motion Sensor2021

    • Author(s)
      SHIKAKURA Misaki、KAMEDA Yusuke、HAMAMOTO Takayuki
    • Journal Title

      IEICE Transactions on Fundamentals of Electronics, Communications and Computer Sciences

      Volume: E104.A Issue: 6 Pages: 907-911

    • DOI

      10.1587/transfun.2020IML0007

    • NAID

      130008046402

    • ISSN
      0916-8508, 1745-1337
    • Year and Date
      2021-06-01
    • Related Report
      2021 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] [Paper] Adaptive Exposure-time Control Based on Image Entropy for Multiple-exposure-time Image Sensor2021

    • Author(s)
      Kataoka Kurumi、Kameda Yusuke、Hamamoto Takayuki
    • Journal Title

      ITE Transactions on Media Technology and Applications

      Volume: 9 Issue: 2 Pages: 128-135

    • DOI

      10.3169/mta.9.128

    • NAID

      130008020073

    • ISSN
      2186-7364
    • Related Report
      2021 Research-status Report 2020 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Image Quality Improvements Based on Motion-Based Deblurring for Single-Photon Imaging2021

    • Author(s)
      Kiyotaka Iwabuchi, Yusuke Kameda, Takayuki Hamamoto
    • Journal Title

      IEEE Access

      Volume: 9 Pages: 30080-30094

    • DOI

      10.1109/access.2021.3059293

    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] 単一光子検出型撮像方式によるビットプレーン列からの被写体毎の動き推定とその応用2021

    • Author(s)
      岩渕清隆、亀田裕介、浜本隆之
    • Journal Title

      電子情報通信学会技術研究報告

      Volume: 120 Pages: 37-42

    • Related Report
      2020 Research-status Report
  • [Journal Article] HDR Imaging Based on Image Interpolation and Motion Blur Suppression in Multiple-Exposure-Time Image Sensor2020

    • Author(s)
      SHIMAMOTO Masahito、KAMEDA Yusuke、HAMAMOTO Takayuki
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E103.D Issue: 10 Pages: 2067-2071

    • DOI

      10.1587/transinf.2020PCL0001

    • NAID

      130007920575

    • ISSN
      0916-8532, 1745-1361
    • Year and Date
      2020-10-01
    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] 動き推定機能を有するイメージセンサのための露光時間制御及び再構成処理2020

    • Author(s)
      鹿倉未咲、亀田裕介、浜本隆之
    • Journal Title

      映像情報メディア学会技術研究報告

      Volume: 44 Pages: 5-8

    • Related Report
      2020 Research-status Report
  • [Journal Article] 多重露光時間撮像のための画像エントロピーに基づく適応的な露光時間制御2020

    • Author(s)
      片岡胡桃、亀田裕介、浜本隆之
    • Journal Title

      映像情報メディア学会技術研究報告

      Volume: 44 Pages: 13-18

    • Related Report
      2020 Research-status Report
  • [Journal Article] 単一光子検出型撮像方式における画像再構成のための動きぼけ抑制処理2020

    • Author(s)
      並木修一、亀田裕介、浜本隆之
    • Journal Title

      映像情報メディア学会技術研究報告

      Volume: 44 Pages: 7-11

    • Related Report
      2020 Research-status Report
  • [Presentation] Optical flow estimation based on spatiotemporal segmentation and plane fitting of event point clouds2024

    • Author(s)
      Takumi Eda and Yusuke Kameda
    • Organizer
      International Workshop on Advanced Imaging Technology (IWAIT)
    • Related Report
      2023 Research-status Report
    • Int'l Joint Research
  • [Presentation] イベント群の時空間平面推定に基づくオプティカルフロー推定法2023

    • Author(s)
      江田拓海、亀田裕介
    • Organizer
      画像符号化シンポジウム・映像メディア処理シンポジウム
    • Related Report
      2023 Research-status Report
  • [Presentation] フレーム補間モデルの効率的な学習のための固定カメラシーン検出による学習データセット作成2023

    • Author(s)
      宇佐美光、亀田裕介
    • Organizer
      画像符号化シンポジウム・映像メディア処理シンポジウム
    • Related Report
      2023 Research-status Report
  • [Presentation] 境界検出に基づくオプティカルフロー推定の奥行マップへの適用とその性能評価2022

    • Author(s)
      江田拓海、亀田裕介
    • Organizer
      映像情報メディア学会年次大会2022
    • Related Report
      2022 Research-status Report
  • [Presentation] 微分画像列からのオプティカルフロー推定手法の検討2022

    • Author(s)
      宇佐美悠也、前田慶博、亀田裕介、浜本隆之
    • Organizer
      映像情報メディア学会年次大会2022
    • Related Report
      2022 Research-status Report
  • [Presentation] 単一光子検出型イメージセンサにおける動被写体を考慮したHDR撮像方式2022

    • Author(s)
      武藤雅司、前田慶博、亀田裕介、佐藤俊一、浜本隆之
    • Organizer
      映像情報メディア学会年次大会2022
    • Related Report
      2022 Research-status Report
  • [Presentation] Depth Scene Flow Estimation based on Variational Method using Thin-Plate Spline Regularization2022

    • Author(s)
      Yusuke Kameda
    • Organizer
      The 25th International Workshop on Advanced Imaging Technology (IWAIT 2022)
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] Imaging Method using Multi-Threshold Pattern for Photon Detection of Quanta Image Sensor2022

    • Author(s)
      Shuichi Namiki, Shunichi Sato, Yusuke Kameda and Takayuki Hamamoto
    • Organizer
      The 25th International Workshop on Advanced Imaging Technology (IWAIT 2022)
    • Related Report
      2021 Research-status Report
    • Int'l Joint Research
  • [Presentation] 映像の速度場・流れ推定の基礎と応用2022

    • Author(s)
      亀田裕介
    • Organizer
      2022年電子情報通信学会総合大会
    • Related Report
      2021 Research-status Report
    • Invited
  • [Presentation] 単一光子検出型イメージセンサのための複数の光子検出閾値を用いた撮像方式2021

    • Author(s)
      並木修一, 佐藤俊一, 亀田裕介, 浜本隆之
    • Organizer
      第36回画像符号化シンポジウム(PCSJ 2021)・第26回映像メディア処理シンポジウム(IMPS 2021)
    • Related Report
      2021 Research-status Report
  • [Presentation] 単一光子検出型撮像方式における動き推定のためのbit-plane画像の蓄積制御2021

    • Author(s)
      甲田紘己, 亀田裕介, 佐藤俊一, 浜本隆之
    • Organizer
      映像情報メディア学会情報センシング研究会
    • Related Report
      2021 Research-status Report
  • [Presentation] 露光パターン制御可能なイメージセンサを用いた高フレームレート動き推定2021

    • Author(s)
      増井悠眞, 亀田裕介, 佐藤俊一, 浜本隆之
    • Organizer
      映像情報メディア学会情報センシング研究会
    • Related Report
      2021 Research-status Report
  • [Presentation] 単一光子検出型撮像方式のための画素毎に推定した注目度に基づく動きぼけ抑制2020

    • Author(s)
      岩渕 清隆、亀田 裕介、浜本 隆之
    • Organizer
      第35回画像符号化シンポジウム(PCSJ 2020)・第25回映像メディア処理シンポジウム(IMPS 2020)
    • Related Report
      2020 Research-status Report
  • [Remarks]

    • URL

      https://www.tus.ac.jp/en/mediarelations/archive/20210510_0987.html

    • Related Report
      2020 Research-status Report
  • [Remarks]

    • URL

      https://www.tus.ac.jp/today/archive/20210513_0959.html

    • Related Report
      2020 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi