2022 Fiscal Year Annual Research Report
動画の知覚的質の解明と，動画超解像とマルチスケール動画認識への応用
| Project/Area Number |
22H03618
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Toyota Technological Institute |
|---|
Principal Investigator |
浮田 宗伯 豊田工業大学, 工学(系)研究科(研究院), 教授 (20343270)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 超解像 / 深層学習 / 物体検出 / 知覚的質 |
|---|
| Outline of Annual Research Achievements |
動画超解像の基礎となる静止画超解像およびそれに関連する画像補正・強調技術の基礎検討と実験的検証：本科研研究のメインターゲットである超解像に限定されず，多様な画像処理において画像の知覚的質に焦点を当てた研究が始まりつつある．そこで，そのような画像の知覚的質にかかわる研究のサーベイを広く多分野にわたって実施した．そのサーベイの中で，有用な技術のいくつかについては，簡単な実験まで実施して，その成果を発表してきた．
具体例としては，撮影ノイズの大きなタイムラプス画像集合からの複数画像超解像や，バースト超解像と呼ばれる連続撮影画像からの超解像の研究を実施した．ノイズが大きな複数画像からの超解像では，ノイズの特性を自動的に識別し，そのノイズ特性に合わせた画像領域の取捨選択による超解像の高精度化を提案した．バースト超解像では，我々の研究室で提案された静止画超解像技術をベースにして，多数バースト撮影された画像集合の位置合わせを組み合わせることで超解像性能を向上させた．
加えて，超解像よりもさらに情報欠損が大きな問題として画像インペインティングにおける知覚的質向上のための取り組みを調査して，そこから超解像にも適用可能な知見を得た．具体的には，画像を２次元テクスチャの集合とだけみなすのではなく，３次元情報が２次元画像に投影されて得られたデータであるという前提に基づいて，その３次元的な距離関係に応じて画像補正することで出力画像の精度が向上することを確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
動画超解像の基盤としての静止画に焦点を当てた研究にとどまったが，広い分野における研究技術動向を調査することができたため，今後の科研費研究に大いに役立てることができる知見を得ることができた．
|
| Strategy for Future Research Activity |
２０２２年度に得られた知見や基礎的な技術（プログラムまで含む）をもとにして，複数画像からの超解像や動画超解像に研究を発展させていく．具体的には，知覚的質の高い画像生成手法として急激に広まっている拡散モデルを利用した研究や，動画の特性に依存しない知覚的質の解明や知覚的質向上のための研究を予定している．また，これらの超解像技術の応用として目標に掲げていた物体に注目した画像処理も手掛ける予定である．
|
Research Products
(4 results)
