2023 Fiscal Year Annual Research Report
動画の知覚的質の解明と，動画超解像とマルチスケール動画認識への応用
| Project/Area Number |
22H03618
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Toyota Technological Institute |
|---|
Principal Investigator |
浮田 宗伯 豊田工業大学, 工学(系)研究科(研究院), 教授 (20343270)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 超解像 / 深層学習 / 物体検出 / 知覚的質 |
|---|
| Outline of Annual Research Achievements |
（１）物体に注目した画像処理：本科研費では，動画超解像における知覚的の質向上を目的にして，人間の知覚に大きな影響を与える動画中の同物体，特に人間の像（写り方）に注目している．そこで，超解像に限らない一般的な画像処理における物体領域の補間を提案した．
（２）拡散モデルを利用した複数低解像度画像を統合した超解像：本科研費の焦点・独創的な点は，人間の知覚的に注目した画像処理（超解像）である．近年の画像生成分野では，拡散モデルと呼ばれる生成深層学習によって，人間が違和感を感じない画像生成が可能になってきた．例えば，プロンプトと呼ばれるキーワードや短文を入力にして，そのプロンプトがあらわす画像をランダムに，しかし知覚的質の高い画像を生成できる．しかし，この拡散モデルでは，ランダムな画像が生成されるが，画像処理では入力劣化画像に対応する劣化修復画像が出力されなければならない．そこで，入力低解像度画像を複数枚入力すると，その複数低解像度画像を位置合わせしつつ統合して，拡散モデル中で「画像の微修正をする段階のみ」を通すことで，効率的かつ高精細な超解像を実現した．実験によって，提案手法が様々な超解像手法の知覚的質の向上を可能にすることを確認した．
（３）動画の特性に依存しない動画超解像の学習法：効率的な動画処理（例：動画超解像）のためには，再帰型深層学習器が有用である．しかし，動画の連続フレームを再帰的に処理することで，再帰的に誤差が蓄積することが知られている．そこで，動画学習時にこの誤差蓄積を踏まえたうえで出力動画の質を向上させるような学習を提案した．様々なタイプの動画超解像手法に対して提案する学習法を適用することで，いずれのケースにおいても動画の質が向上できることを実験的に確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究実績の概要で述べた通り，（１）人間の知覚的に画質が重要視される人間を中心とした物体領域に注目した研究，（２）知覚的に質の高い画像生成研究をけん引する拡散モデルを活用した研究，（３）多様な動画と多様な動画超解像手法のどのような組み合わせにおいても動画超解像の質向上を実現するための研究を推進できた．
これらの研究は申請書で目標とした通りの内容であり，本科研費研究はおおむね順調に推移しているということができる．
|
| Strategy for Future Research Activity |
研究実績の概要で述べた（２）拡散モデルを活用した超解像では，拡散モデルと超解像を組み合わせることができたが，入力される低解像度画像はフレーム数やフレーム間の変化が今だ限定的である．一方，（３）動画超解像の学習法でが，フレーム数もフレーム間の見え方の変化にも制限なく，多様な動画における性能向上を確認している．そこで，これらの成果をさらに統合することで，任意の動画において知覚的質の向上に注目した研究を推進する予定である．
|
Research Products
(6 results)
