• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Annual Research Report

Development of Technology for Realizing High-Compression of Video by Extracting Important Regions

Research Project

Project/Area Number 20H04201
Research InstitutionTohoku University

Principal Investigator

大町 真一郎  東北大学, 工学研究科, 教授 (30250856)

Co-Investigator(Kenkyū-buntansha) 宮崎 智  東北大学, 工学研究科, 助教 (10755101)
菅谷 至寛  東北大学, 工学研究科, 准教授 (80323062)
大町 方子  仙台高等専門学校, 総合工学科, 教授 (90316448)
Project Period (FY) 2020-04-01 – 2023-03-31
Keywords映像符号化
Outline of Annual Research Achievements

日々生成され続ける画像データや映像データの量は保存できるストレージの量を超えており、膨大なデータの中から真に必要なデータのみを残す技術は画像データや映像データを有効活用する上で重要な技術である。本研究では、画像や映像から重要領域を検出し、画像や映像としての価値や必要な情報を損なわずに高圧縮を実現する技術を開発することを目的としている。
映像の意味を理解することにより重要領域を検出するために、イメージキャプショニングを利用する手法を開発した。すなわち、映像を説明する文章を生成し、文章の意味を解析することにより重要領域や重要度を推定する。特に画像の主体に対応することが多い主語が重要であると仮定し、主語を表す画像を重要領域とみなす手法を開発した。キャプションの文章から句構造解析と係り受け解析を利用して主語を抽出し、主語に相当する画像の特徴マップを活用して重要領域を特定する。また、重要物体どうしは空間的に近い位置に存在することが多いことを利用し、深度情報も併用することで精度の向上を図っている。そして、既存の画像データセットに重要度の情報を付加したデータセットを構築し、提案手法がどの程度人間の感性と一致しているかを定量的に評価した。
また、重要領域の品質を保持したまま大幅にデータサイズを削減する手法として、画像生成を用いた手法を開発した。重要領域はそのまま残し、それ以外の部分については敵対的生成ネットワークを用いた画像生成の技術で元の画像を復元する。領域ごとに情報量を変えることで、高い圧縮効率を実現することが可能であることを示した。
さらに、画像中のテキスト領域は可読性を保証するために特に高い解像度が必要となることを考慮し、テキストを高精度に検出する手法についても検討を行った。加えて、テキストに限った場合の重要さについても検討を行い、重要テキストを検出する手法を開発した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

イメージキャプショニングを用いて映像中から重要領域を検出する手法、重要領域の品質を保持したまま大幅にデータサイズを削減する手法について検討し、一定の成果が得られた。

Strategy for Future Research Activity

重要領域を推定する手法、重要領域の情報ロスを最小化する圧縮手法、非重要領域において必要最小限の情報から映像を復元する手法のそれぞれについて、より高精度な手法を探索していく。さらに、これらを組み合わせることにより、高圧縮映像符号化アルゴリズムを開発する。

  • Research Products

    (9 results)

All 2021 2020

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 2 results) Presentation (6 results) (of which Int'l Joint Research: 5 results)

  • [Journal Article] Multiple Visual-Semantic Embedding for Video Retrieval from Query Sentence2021

    • Author(s)
      Huy Manh Nguyen, Tomo Miyazaki, Yoshihiro Sugaya, Shinichiro Omachi
    • Journal Title

      Applied Sciences

      Volume: 11 Pages: 3214~3214

    • DOI

      10.3390/app11073214

    • Peer Reviewed / Open Access
  • [Journal Article] Text Detection Using Multi-Stage Region Proposal Network Sensitive to Text Scale2021

    • Author(s)
      Yoshito Nagaoka, Tomo Miyazaki, Yoshihiro Sugaya, Shinichiro Omachi
    • Journal Title

      Sensors

      Volume: 21 Pages: 1232~1232

    • DOI

      10.3390/s21041232

    • Peer Reviewed / Open Access
  • [Journal Article] Fidelity-Controllable Extreme Image Compression with Generative Adversarial Networks2021

    • Author(s)
      Shoma Iwai, Tomo Miyazaki, Yoshihiro Sugaya, Shinichiro Omachi
    • Journal Title

      Proceedings of the 25th International Conference on Pattern Recognition

      Volume: - Pages: 8235~8242

    • Peer Reviewed
  • [Presentation] Extraction of important text information from images2021

    • Author(s)
      Shinichiro Omachi
    • Organizer
      Symposium of Yotta Informatics Research Platform for Yotta-Scale Data Science 2021
    • Int'l Joint Research
  • [Presentation] Fidelity-Controllable Extreme Image Compression with Generative Adversarial Networks2021

    • Author(s)
      Shoma Iwai, Tomo Miyazaki, Yoshihiro Sugaya, Shinichiro Omachi
    • Organizer
      25th International Conference on Pattern Recognition
    • Int'l Joint Research
  • [Presentation] Study of Detecting Important Regions in Natural Images with Image Captioning2020

    • Author(s)
      Taku Suzuki, Daisuke Sato, Tomo Miyazaki, Yoshihiro Sugaya, Shinichiro Omachi
    • Organizer
      The 17th International Workshop on Emerging ICT
    • Int'l Joint Research
  • [Presentation] Survey of Automatic Video Colorization by DeepNeural Network2020

    • Author(s)
      Takuto Toida, Tomo Miyazaki, Yoshihiro Sugaya, Shinichiro Omachi
    • Organizer
      The 17th International Workshop on Emerging ICT
    • Int'l Joint Research
  • [Presentation] Two-Stage Training for High-Fidelity Image Compression with Generative Adversarial Networks2020

    • Author(s)
      Shoma Iwai, Tomo Miyazaki, Yoshihiro Sugaya, Shinichiro Omachi
    • Organizer
      The 17th International Workshop on Emerging ICT
    • Int'l Joint Research
  • [Presentation] キャプショニングを用いた画像中の重要領域判別手法の検討2020

    • Author(s)
      鈴木 拓, 佐藤大亮, 宮崎 智, 菅谷至寛, 大町真一郎
    • Organizer
      第23回 画像の認識・理解シンポジウム

URL: 

Published: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi