• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Annual Research Report

Development of Technology for Realizing High-Compression of Video by Extracting Important Regions

Research Project

Project/Area Number 20H04201
Research InstitutionTohoku University

Principal Investigator

大町 真一郎  東北大学, 工学研究科, 教授 (30250856)

Co-Investigator(Kenkyū-buntansha) 宮崎 智  東北大学, 工学研究科, 助教 (10755101)
菅谷 至寛  東北大学, 工学研究科, 准教授 (80323062)
大町 方子  仙台高等専門学校, 総合工学科, 教授 (90316448)
Project Period (FY) 2020-04-01 – 2023-03-31
Keywords映像符号化
Outline of Annual Research Achievements

生成されるデータの量は保存できるストレージの量を超えており、データの重要性の判定は今後ますます重要な技術となる。特に画像データや映像データはデータ量が大きい反面冗長性も高く、重要なデータのみを効率よく保存または伝送する技術はこれらのデータを有効活用する上で極めて重要である。本研究では、画像や映像から重要領域を検出し、画像や映像としての価値や必要な情報を損なわずに高圧縮を実現する技術を開発することを目的としている。
映像の意味を理解することにより重要領域を検出するために、イメージキャプショニングを利用する手法を開発した。すなわち、映像を説明する文章を生成し、文章の意味を解析することにより重要な領域や重要度を推定する。前年度までは主に文章の主語に注目したが、今年度は主語に加え目的語も考慮することでより適切に重要領域を検出する手法を開発した。キャプションの文章と画像の特徴マップを対応させることで重要領域を特定する。そして、既存の画像データセットに重要度の情報を付加したデータセットを構築し、提案手法がどの程度人間の感性と一致しているかを評価した。
一方で、環境中のテキストが人間にとって重要な情報を与えることから、テキストの重要度を判定する手法についても検討を行った。テキストの重要度を表すデータベースを構築し、画像特徴を用いて機械学習によりテキストの重要度を推定する手法を開発した。さらに、テキストの領域は可読性を保証するために特に高い解像度が必要となることを考慮し、可読性を判断する手法についても検討を行った。
また、重要領域の品質を保持したままデータサイズを削減する手法として、画像生成を用いた手法を開発した。重要領域はそのまま残し、それ以外の部分については敵対的生成ネットワークを用いた画像生成の技術で元の画像を復元する。セマンティックマップを活用することで精度を向上させることに成功した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

映像中から重要領域を検出する手法、重要度を判定する手法、重要領域の品質を保持したまま大幅にデータサイズを削減する手法について検討し、一定の成果が得られた。

Strategy for Future Research Activity

重要領域を推定する手法、重要領域の情報ロスを最小化する圧縮手法、非重要領域において必要最小限の情報から映像を復元する手法のそれぞれについて、より高精度な手法を探索していく。さらに、これらを組み合わせることにより、高圧縮映像符号化アルゴリズムを開発する。

  • Research Products

    (13 results)

All 2022 2021

All Journal Article (7 results) (of which Peer Reviewed: 7 results,  Open Access: 4 results) Presentation (6 results) (of which Int'l Joint Research: 2 results,  Invited: 1 results)

  • [Journal Article] Correlation-Based Data Augmentation for Machine Learning and its Application to Road Environment Recognition2022

    • Author(s)
      Shinichiro Omachi and Masako Omachi
    • Journal Title

      IEEE Transactions on Vehicular Technology

      Volume: - Pages: -

    • Peer Reviewed
  • [Journal Article] Importance Estimation for Scene Texts Using Visual Features2022

    • Author(s)
      Kota Oodaira, Tomo Miyazaki, Yoshihiro Sugaya, Shinichiro Omachi
    • Journal Title

      Interdisciplinary Information Sciences

      Volume: - Pages: -

    • Peer Reviewed / Open Access
  • [Journal Article] Stroke-Based Scene Text Erasing Using Synthetic Data for Training2021

    • Author(s)
      Zhengmi Tang, Tomo Miyazaki, Yoshihiro Sugaya, Shinichiro Omachi
    • Journal Title

      IEEE Transactions on Image Processing

      Volume: 30 Pages: 9306~9320

    • DOI

      10.1109/TIP.2021.3125260

    • Peer Reviewed / Open Access
  • [Journal Article] A Framework for Estimating Gaze Point Information for Location-Based Services2021

    • Author(s)
      Junpei Masuho, Tomo Miyazaki, Yoshihiro Sugaya, Masako Omachi, Shinichiro Omachi
    • Journal Title

      IEEE Transactions on Vehicular Technology

      Volume: 70 Pages: 8468~8477

    • DOI

      10.1109/TVT.2021.3101932

    • Peer Reviewed
  • [Journal Article] Multiple Visual-Semantic Embedding for Video Retrieval from Query Sentence2021

    • Author(s)
      Huy Manh Nguyen, Tomo Miyazaki, Yoshihiro Sugaya, Shinichiro Omachi
    • Journal Title

      Applied Sciences

      Volume: 11 Pages: 3214~3214

    • DOI

      10.3390/app11073214

    • Peer Reviewed / Open Access
  • [Journal Article] Self Texture Transfer Networks for Low Bitrate Image Compression2021

    • Author(s)
      Shoma Iwai, Tomo Miyazaki, Yoshihiro Sugaya, Shinichiro Omachi
    • Journal Title

      Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops

      Volume: - Pages: 1901~1905

    • DOI

      10.1109/CVPRW53098.2021.00214

    • Peer Reviewed
  • [Journal Article] Mackerel Fat Content Estimation Using RGB and Depth Images2021

    • Author(s)
      Shuya Sano, Tomo Miyazaki, Yoshihiro Sugaya, Naohiro Sekiguchi, Shinichiro Omachi
    • Journal Title

      IEEE Access

      Volume: 9 Pages: 164060~164069

    • DOI

      10.1109/ACCESS.2021.3134260

    • Peer Reviewed / Open Access
  • [Presentation] Image and Video Compression Preserving Important Information for Humans2021

    • Author(s)
      Shinichiro Omachi
    • Organizer
      2021 6th International Conference on Signal and Image Processing (ICSIP 2021)
    • Int'l Joint Research / Invited
  • [Presentation] Self Texture Transfer Networks for Low Bitrate Image Compression2021

    • Author(s)
      Shoma Iwai, Tomo Miyazaki, Yoshihiro Sugaya, Shinichiro Omachi
    • Organizer
      The 4th Workshop and Challenge on Learned Image Compression
    • Int'l Joint Research
  • [Presentation] Semantic Guided Extreme Image Compression with Generative Adversarial Networks2021

    • Author(s)
      Shoma Iwai, Tomo Miyazaki, Yoshihiro Sugaya, Shinichiro Omachi
    • Organizer
      電気関係学会東北支部連合大会
  • [Presentation] Erasing Scene Text Based on Stroke Prediction2021

    • Author(s)
      Zhengmi Tang, Tomo Miyazaki, Yoshihiro Sugaya, Shinichiro Omachi
    • Organizer
      電気関係学会東北支部連合大会
  • [Presentation] 文字の可読性を考慮した画像の高効率符号化手法の実験的検証2021

    • Author(s)
      内ヶ崎翔平, 菅谷至寛, 宮崎智, 大町真一郎
    • Organizer
      画像の認識・理解シンポジウム
  • [Presentation] 参照型超解像による特徴転移を利用した高品質な画像符号化2021

    • Author(s)
      岩井翔真, 宮崎智, 菅谷至寛, 大町真一郎
    • Organizer
      画像の認識・理解シンポジウム

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi