2021 Fiscal Year Annual Research Report
Development of Technology for Realizing High-Compression of Video by Extracting Important Regions
| Project/Area Number |
20H04201
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
大町 真一郎 東北大学, 工学研究科, 教授 (30250856)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
宮崎 智 東北大学, 工学研究科, 助教 (10755101)
菅谷 至寛 東北大学, 工学研究科, 准教授 (80323062)
大町 方子 仙台高等専門学校, 総合工学科, 教授 (90316448)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 映像符号化 |
|---|
| Outline of Annual Research Achievements |
生成されるデータの量は保存できるストレージの量を超えており、データの重要性の判定は今後ますます重要な技術となる。特に画像データや映像データはデータ量が大きい反面冗長性も高く、重要なデータのみを効率よく保存または伝送する技術はこれらのデータを有効活用する上で極めて重要である。本研究では、画像や映像から重要領域を検出し、画像や映像としての価値や必要な情報を損なわずに高圧縮を実現する技術を開発することを目的としている。
映像の意味を理解することにより重要領域を検出するために、イメージキャプショニングを利用する手法を開発した。すなわち、映像を説明する文章を生成し、文章の意味を解析することにより重要な領域や重要度を推定する。前年度までは主に文章の主語に注目したが、今年度は主語に加え目的語も考慮することでより適切に重要領域を検出する手法を開発した。キャプションの文章と画像の特徴マップを対応させることで重要領域を特定する。そして、既存の画像データセットに重要度の情報を付加したデータセットを構築し、提案手法がどの程度人間の感性と一致しているかを評価した。
一方で、環境中のテキストが人間にとって重要な情報を与えることから、テキストの重要度を判定する手法についても検討を行った。テキストの重要度を表すデータベースを構築し、画像特徴を用いて機械学習によりテキストの重要度を推定する手法を開発した。さらに、テキストの領域は可読性を保証するために特に高い解像度が必要となることを考慮し、可読性を判断する手法についても検討を行った。
また、重要領域の品質を保持したままデータサイズを削減する手法として、画像生成を用いた手法を開発した。重要領域はそのまま残し、それ以外の部分については敵対的生成ネットワークを用いた画像生成の技術で元の画像を復元する。セマンティックマップを活用することで精度を向上させることに成功した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
映像中から重要領域を検出する手法、重要度を判定する手法、重要領域の品質を保持したまま大幅にデータサイズを削減する手法について検討し、一定の成果が得られた。
|
| Strategy for Future Research Activity |
重要領域を推定する手法、重要領域の情報ロスを最小化する圧縮手法、非重要領域において必要最小限の情報から映像を復元する手法のそれぞれについて、より高精度な手法を探索していく。さらに、これらを組み合わせることにより、高圧縮映像符号化アルゴリズムを開発する。
|
