2020 Fiscal Year Annual Research Report
Development of Technology for Realizing High-Compression of Video by Extracting Important Regions
| Project/Area Number |
20H04201
|
|---|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
大町 真一郎 東北大学, 工学研究科, 教授 (30250856)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
宮崎 智 東北大学, 工学研究科, 助教 (10755101)
菅谷 至寛 東北大学, 工学研究科, 准教授 (80323062)
大町 方子 仙台高等専門学校, 総合工学科, 教授 (90316448)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | 映像符号化 |
|---|
| Outline of Annual Research Achievements |
日々生成され続ける画像データや映像データの量は保存できるストレージの量を超えており、膨大なデータの中から真に必要なデータのみを残す技術は画像データや映像データを有効活用する上で重要な技術である。本研究では、画像や映像から重要領域を検出し、画像や映像としての価値や必要な情報を損なわずに高圧縮を実現する技術を開発することを目的としている。
映像の意味を理解することにより重要領域を検出するために、イメージキャプショニングを利用する手法を開発した。すなわち、映像を説明する文章を生成し、文章の意味を解析することにより重要領域や重要度を推定する。特に画像の主体に対応することが多い主語が重要であると仮定し、主語を表す画像を重要領域とみなす手法を開発した。キャプションの文章から句構造解析と係り受け解析を利用して主語を抽出し、主語に相当する画像の特徴マップを活用して重要領域を特定する。また、重要物体どうしは空間的に近い位置に存在することが多いことを利用し、深度情報も併用することで精度の向上を図っている。そして、既存の画像データセットに重要度の情報を付加したデータセットを構築し、提案手法がどの程度人間の感性と一致しているかを定量的に評価した。
また、重要領域の品質を保持したまま大幅にデータサイズを削減する手法として、画像生成を用いた手法を開発した。重要領域はそのまま残し、それ以外の部分については敵対的生成ネットワークを用いた画像生成の技術で元の画像を復元する。領域ごとに情報量を変えることで、高い圧縮効率を実現することが可能であることを示した。
さらに、画像中のテキスト領域は可読性を保証するために特に高い解像度が必要となることを考慮し、テキストを高精度に検出する手法についても検討を行った。加えて、テキストに限った場合の重要さについても検討を行い、重要テキストを検出する手法を開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
イメージキャプショニングを用いて映像中から重要領域を検出する手法、重要領域の品質を保持したまま大幅にデータサイズを削減する手法について検討し、一定の成果が得られた。
|
| Strategy for Future Research Activity |
重要領域を推定する手法、重要領域の情報ロスを最小化する圧縮手法、非重要領域において必要最小限の情報から映像を復元する手法のそれぞれについて、より高精度な手法を探索していく。さらに、これらを組み合わせることにより、高圧縮映像符号化アルゴリズムを開発する。
|
