ディジタル映像アーカイブのための画像修復システムの開発

2013 Fiscal Year Research-status Report

• Project/Area Number: 24500218
• Research Institution: Kanagawa Institute of Technology
• Principal Investigator: 武尾 英哉 神奈川工科大学, 工学部, 教授 (90434414)
• Keywords: 画像処理 / 人工知能 / 認知工学 / 経年劣化ノイズ抑制処理 / モデル化 / システム工学 / 実用化

Research Abstract

（１）フォーカス微動に対する抑制処理の更なる改良・・・フイルム転写時や撮影時にフォーカスがフレーム毎に微変動し，画像がボケたり鮮明になったりする現象をフォーカス微動という．昨年度この微動を抑制する処理を開発したが，幾つかの問題点が見つかったため，更なる改良を行い処理を完成させた．昨年度の処理の問題点は，前後の多くのフレーム画像を利用しすぎていたため，ボケもしくは鮮鋭の程度の推測がずれることがあり，適切な抑制ができない場合があることがわかった．そこで本年度は，利用するフレームの数，場所，画質推測の評価関数を見直した．その結果，未来フレームよりも過去フレームを多く利用すること，評価関数として画像の中央部分に重み付けした相互相関関数を用いることなどの改良により，複数のシーンに対して正しく微動抑制が働くことを確認した．また，理想的なフーリエ変換等を利用した処理の場合と同程度の改善効果があることも確認でき，演算時間的にも実利用に非常に有利な処理を実現できた．
（２）統合ノイズ抑制処理ソフトウエアVersion2の開発・・・昨年度開発したソフトウエアVersion1に対して上記(1)を組み込むとともに，プロのソフトウエアエンジニアによるコードレビューを実施し，ソースコードの整理と処理の高速化を図った．潜在していたバグを洗い出すとともに，約1.2倍の高速化を実現した．
（３）民生向けビデオ映像への適用・・・本処理を民生用のビデオカメラで撮影された動画像へ適用した．その結果，ビデオ特有のノイズの存在や逆にシネフイルムにしか生じないノイズもあることから，ビデオ向け専用のノイズ抑制処理を開発した．具体的には，画像圧縮によるブロックノイズ対応として後置フィルタによるブロック境界の軽減，スクラッチノイズなどビデオ系には存在しない処理の機能オフなどを行い，ビデオ向けに対応したノイズ抑制処理を完成した．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

フォーカス微動に対する抑制処理に関して，一度は昨年度完成していたが，再評価により問題点が見つかり，今年度前半は，まずはその改善を優先させた．その結果，改良を図ることができ，複数のシーンで問題ないことが確認できた．
さらに本処理をシステムソフトウエアに組み込み統合化を行い，バグの抽出（バグによる処理への本質的な影響がないことは確認している）と高速化を行い，これまでの成果をシステム化できたため，今後すぐに実フイルムへ適用できる準備が整った．
一方，ビデオ系映像への本処理の適用を行い，経年劣化フイルムとは異なる特徴を見いだし，それぞれにあった改良を行った．その結果，ビデオ系映像専用のノイズ抑制システムが開発できた．
なお，当初の計画では，ビデオ系対応は３年目，実フイルム評価を２年目に実施する予定であったが，経年劣化フイルムの入手時期の都合上，先に本年度にビデオ系対応を行い，来年度（３年目）に実フイルムによる評価を行うこととした．すなわち，この課題のみ，開発＆評価順序を変更（交換）した．
以上のように，当初の計画（３年計画中の２年間）の成果の目標通り，あるいはそれ以上の進行を達成できていると言える．

Strategy for Future Research Activity

まずは，今年度の成果である「ビデオ向けノイズ抑制処理」を統合ノイズ抑制処理ソフトウエアVersion2に組み込み，ソフトウエアVersion3を開発する．
そして，たくさんの未知データ（開発につかっていない手つかずの動画）を用いて総合的な評価をすることである．
特に，経年劣化フイルムとビデオ系フイルムのそれぞれにおいて，長時間一本分の動画に対して適用し，画質改善評価だけでなく，どの程度の実時間を実現できたのかも評価する．
なお，経年劣化フイルムについては，品川区立図書館および慶応大学ＤＭＣよりお借りしたフイルムに対して適用する．