• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Study on multi-view video compression with fast and efficient encoding of dense light fields

Research Project

Project/Area Number 20H04216
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionNational Institute of Informatics

Principal Investigator

Kodama Kazuya  国立情報学研究所, コンテンツ科学研究系, 准教授 (80321579)

Project Period (FY) 2020-04-01 – 2024-03-31
Project Status Completed (Fiscal Year 2023)
Budget Amount *help
¥14,820,000 (Direct Cost: ¥11,400,000、Indirect Cost: ¥3,420,000)
Fiscal Year 2023: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2022: ¥2,080,000 (Direct Cost: ¥1,600,000、Indirect Cost: ¥480,000)
Fiscal Year 2021: ¥5,200,000 (Direct Cost: ¥4,000,000、Indirect Cost: ¥1,200,000)
Fiscal Year 2020: ¥5,850,000 (Direct Cost: ¥4,500,000、Indirect Cost: ¥1,350,000)
Keywords3次元画像 / 光線 / 多眼 / 圧縮 / 符号化 / 3次元画像
Outline of Research at the Start

超多眼映像は光線全体を稠密に取得再現し、単なる両眼視を越え同時に多数のユーザに対し様々な視点から対象の観察を可能とする。一方、そのデータ量は著しく膨大で、高能率圧縮による簡便な蓄積や伝送が新たに重要な課題となる。

本研究では、超多眼映像を動的な稠密光線場とみなすことで、撮影対象の3次元分布と良く対応した焦点ボケ画像群を介し、その本質的冗長性をまとめて抽出削減する圧縮方式を確立する。

具体的には、一般的な2次元動き補償等をバラバラに組み合わせる既存の多視点映像符号化と異なり、強く構造化された動的稠密光線場に応じた、焦点ボケ画像群の時系列上での3次元動き補償への統合などを様々に導入していく。

Outline of Final Research Achievements

We have previously proposed high efficiency multi-view image compression via multi-focus images synthesized from dense light fields. In this study as its extension, we aimed to develop an encoding scheme that can be applied to multi-view videos composed of dynamic light fields. Instead of ordinary 2-D motion compensation analyzing various kinds of disparity on multi-view videos independently, our novel 3-D motion compensation effectively works for synthesized multi-focus videos corresponding to the 3-D scene, where fast and efficient encoding of dense light fields can be achieved. We also studied lightweight transform between multi-view videos and multi-focus videos and adaptive filters dealing with its residuals. They are integrated into our novel multi-view video compression, that robustly eliminates structured redundancy on dynamic light fields.

Academic Significance and Societal Importance of the Research Achievements

3次元画像技術は、単にステレオ映像を用いて両眼立体視したり、静的な撮影対象を自由な視点から観察したり、といった実装規模を抑えやすい課題を越え、超多眼化と動画化が並行して進んでいる。実際、「像」ではなく、それを発生させる「光線」そのものを情報として扱い、いわば<完全な光線場>を取得、再現しようとする先端的な視覚環境の構築が、新たに重要な課題となってきた。本研究では、こうした稠密かつ動的な光線情報が有する莫大なデータを、高速、高能率に圧縮する符号化を提案、その簡便な蓄積や伝送を実現した。これにより、当該の高度な視覚環境も柔軟に共有可能となり、本格的な実証段階への展開を拓いた。

Report

(5 results)
  • 2023 Annual Research Report   Final Research Report ( PDF )
  • 2022 Annual Research Report
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • Research Products

    (32 results)

All 2024 2023 2022 2021 2020 Other

All Int'l Joint Research (4 results) Journal Article (15 results) (of which Int'l Joint Research: 5 results,  Peer Reviewed: 15 results,  Open Access: 1 results) Presentation (13 results) (of which Invited: 1 results)

  • [Int'l Joint Research] York University(カナダ)

    • Related Report
      2023 Annual Research Report
  • [Int'l Joint Research] York University(カナダ)

    • Related Report
      2022 Annual Research Report
  • [Int'l Joint Research] 天津財経大学(中国)

    • Related Report
      2022 Annual Research Report
  • [Int'l Joint Research] York University(カナダ)

    • Related Report
      2021 Annual Research Report
  • [Journal Article] Efficient graph learning for 4D light field image denoising based on data augmentation using single-view images2024

    • Author(s)
      Rino Yoshida, Kazuya Kodama, Gene Cheung, Takayuki Hamamoto
    • Journal Title

      International Workshop on Advanced Image Technology

      Volume: 2024(Poster A) Pages: 1-1

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Filter Bank for Perfect Reconstruction of Light Field from Its Focal Stack2023

    • Author(s)
      Akira Kubota, Daiki Tamura, Asami Ito, Kazuya Kodama
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E106.D Issue: 10 Pages: 1650-1660

    • DOI

      10.1587/transinf.2023PCP0006

    • ISSN
      0916-8532, 1745-1361
    • Year and Date
      2023-10-01
    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] ミラーアレイを介した多視点撮像系における鏡像群を用いた単眼カメラの位置合わせの検討2023

    • Author(s)
      前田 峻輔, 児玉 和也, 浜本 隆之
    • Journal Title

      3次元画像コンファレンス

      Volume: 2023(P-1) Pages: 1-4

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 色チャネルごとのグラフ学習に基づく4次元光線情報の雑音抑制2023

    • Author(s)
      吉田 莉乃, 児玉 和也, チョン ジーン, 浜本 隆之
    • Journal Title

      3次元画像コンファレンス

      Volume: 2023(P-2) Pages: 1-4

    • Related Report
      2023 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Robust extension of light fields with probable 3D distribution based on iterative scene estimation from multi-focus images2023

    • Author(s)
      Zhen Wang, Lan Huang, Kazuya Kodama
    • Journal Title

      Signal Processing: Image Communication

      Volume: 111(116896) Pages: 1-13

    • DOI

      10.1016/j.image.2022.116896

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Dense view interpolation of 4D light fields for real-time augmented reality applications2022

    • Author(s)
      Hidemichi Yoshino, Kazuya Kodama, Takayuki Hamamoto
    • Journal Title

      APSIPA Annual Summit and Conference

      Volume: 2022 Pages: 1626-1631

    • DOI

      10.23919/apsipaasc55919.2022.9979976

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Unrolling Graph Total Variation for Light Field Image Denoising2022

    • Author(s)
      Rino Yoshida, Kazuya Kodama, Huy Vu, Gene Cheung, Takayuki Hamamoto
    • Journal Title

      IEEE International Conference on Image Processing

      Volume: 2022 Pages: 2162-2166

    • DOI

      10.1109/icip46576.2022.9897244

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] 単視点から多視点へのデータ拡張に基づく4 次元光線情報のグラフ学習型雑音抑制の効率化の検討2022

    • Author(s)
      吉田 莉乃, 児玉 和也, ヴュー フイ, チョン ジーン, 浜本 隆之
    • Journal Title

      3次元画像コンファレンス

      Volume: 2022(P-5) Pages: 1-4

    • Related Report
      2022 Annual Research Report
    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Study on 5-D light field compression using multi-focus images2022

    • Author(s)
      Shuho Umebayashi, Kazuya Kodama, Takayuki Hamamoto
    • Journal Title

      SPIE International Workshop on Advanced Image Technology

      Volume: 2022(3B2) Pages: 1-6

    • DOI

      10.1117/12.2625828

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] A Study on 4D Light Field Compression Using Multi-focus Images and Reference Views2021

    • Author(s)
      Shuho Umebayashi, Kazuya Kodama, Takayuki Hamamoto
    • Journal Title

      IEEE Visual Communications and Image Processing

      Volume: 2021 Pages: 1-5

    • DOI

      10.1109/vcip53242.2021.9675378

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 疎な4次元光線情報の奥行き分布に応じたリアルタイム稠密補間処理の検討2021

    • Author(s)
      吉野 秀道, 児玉 和也, 浜本 隆之
    • Journal Title

      3次元画像コンファレンス

      Volume: 2021(7-2) Pages: 1-4

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 焦点ぼけ画像群を介する5次元光線情報符号化方式の検討2021

    • Author(s)
      梅林 秀朋, 児玉 和也, 浜本 隆之
    • Journal Title

      3次元画像コンファレンス

      Volume: 2021(7-1) Pages: 1-4

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] A Study on Light Field Denoising for 3D Consistent Visualization2020

    • Author(s)
      Shunsuke Ishihara, Kazuya Kodama, Takayuki Hamamoto
    • Journal Title

      IEEE International Conference on Image Processing

      Volume: 2020 Pages: 2800-2805

    • DOI

      10.1109/icip40778.2020.9191291

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 焦点ぼけ画像群と参照視点画像を用いる4次元光線情報符号化方式の検討2020

    • Author(s)
      梅林 秀朋, 児玉 和也, 浜本 隆之
    • Journal Title

      3次元画像コンファレンス

      Volume: 11-5 Pages: 1-4

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] 3次元映像メディアに適した光線空間上の劣化復元における視点間相関と画像内相関の協調の検討2020

    • Author(s)
      石原 駿佑, 児玉 和也, 浜本 隆之
    • Journal Title

      3次元画像コンファレンス

      Volume: 11-2 Pages: 1-4

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Presentation] 障害物の透明化に向けた裸眼立体表示系の簡易な構成の検討2024

    • Author(s)
      渡辺 哲生, 児玉 和也, 浜本 隆之
    • Organizer
      電子情報通信学会総合大会, D-11A-17, 1-1
    • Related Report
      2023 Annual Research Report
  • [Presentation] ミラーアレイを介した多視点撮像系における鏡像群を用いた単眼カメラ位置推定の検討2023

    • Author(s)
      前田 峻輔, 児玉 和也, 浜本 隆之
    • Organizer
      画像符号化/映像メディア処理シンポジウム(PCSJ/IMPS 2023), P2-08, 60-61
    • Related Report
      2023 Annual Research Report
  • [Presentation] 4次元光線情報のグラフ学習型雑雑音抑制における復元パッチ間の加重平均の検討2023

    • Author(s)
      吉田 莉乃, 児玉 和也, チョン ジーン, 浜本 隆之
    • Organizer
      画像符号化/映像メディア処理シンポジウム(PCSJ/IMPS 2023), P4-01, 108-109
    • Related Report
      2023 Annual Research Report
  • [Presentation] リアルタイム光線伝搬の簡易実装に向けた稠密視点補間の効率化と超多眼出力系への展開2022

    • Author(s)
      吉野 秀道, 児玉 和也, 浜本 隆之
    • Organizer
      画像符号化/映像メディア処理シンポジウム(PCSJ/IMPS 2022), P2-14, 82-83
    • Related Report
      2022 Annual Research Report
  • [Presentation] 画素単位で重みを調整する忠実項を組み込んだグラフ学習に基づく4 次元光線情報の高精度雑音抑制2022

    • Author(s)
      吉田 莉乃, 児玉 和也, チョン ジーン, 浜本 隆之
    • Organizer
      画像符号化/映像メディア処理シンポジウム(PCSJ/IMPS 2022), P1-12, 36-37
    • Related Report
      2022 Annual Research Report
  • [Presentation] 焦点ぼけ画像群を用いた視点補間に基づく 4 次元光線情報の圧縮符号化2022

    • Author(s)
      梅林 秀朋, 児玉 和也, 浜本 隆之
    • Organizer
      電子情報通信学会 画像工学研究会, 信学技報, IE2021-28, 121(346), 5-8
    • Related Report
      2021 Annual Research Report
  • [Presentation] 疎な4次元光線情報の奥行き分布に応じた稠密補間処理の効率化2022

    • Author(s)
      吉野 秀道, 児玉 和也, 浜本 隆之
    • Organizer
      電子情報通信学会 画像工学研究会, 信学技報, IE2021-27, 121(346), 1-4
    • Related Report
      2021 Annual Research Report
  • [Presentation] グラフ学習に基づく光線空間上の雑音除去の検討2021

    • Author(s)
      吉田 莉乃, 児玉 和也, ヴュー フイ, チョン ジーン, 浜本 隆之
    • Organizer
      電子情報通信学会 画像工学研究会, 信学技報, IE2021-21, 121(269), 13-18
    • Related Report
      2021 Annual Research Report
  • [Presentation] 焦点ぼけ画像群を介する5 次元光線情報圧縮における参照視点映像を用いた高品質化2021

    • Author(s)
      梅林 秀朋, 児玉 和也, 浜本 隆之
    • Organizer
      画像符号化/映像メディア処理シンポジウム(PCSJ/IMPS 2021), 113-114
    • Related Report
      2021 Annual Research Report
  • [Presentation] 疎な4 次元光線情報の奥行き分布に応じた稠密補間処理の効率化の検討2021

    • Author(s)
      吉野 秀道, 児玉 和也, 浜本 隆之
    • Organizer
      画像符号化/映像メディア処理シンポジウム(PCSJ/IMPS 2021), 69-70
    • Related Report
      2021 Annual Research Report
  • [Presentation] 画像情報処理から光線情報処理へと展開する視覚メディア技術 ~ コロナ禍の中で、コロナ禍を超えて ~2021

    • Author(s)
      児玉 和也
    • Organizer
      電子情報通信学会 画像工学研究会
    • Related Report
      2020 Annual Research Report
    • Invited
  • [Presentation] 焦点ぼけ画像群と参照視点画像を用いる4次元光線情報圧縮における残差符号化の検討2020

    • Author(s)
      梅林 秀朋, 児玉 和也, 浜本 隆之
    • Organizer
      画像符号化/映像メディア処理シンポジウム
    • Related Report
      2020 Annual Research Report
  • [Presentation] 3次元映像メディアに適した光線空間上での劣化復元における視点間相関と画像内相関の協調2020

    • Author(s)
      石原 駿佑, 児玉 和也, 浜本 隆之
    • Organizer
      画像符号化/映像メディア処理シンポジウム
    • Related Report
      2020 Annual Research Report

URL: 

Published: 2020-04-28   Modified: 2025-01-30  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi