2012 Fiscal Year Research-status Report
記録フィルム映像の修復のための信号処理アルゴリズムと映像修復システムの開発
| Project/Area Number |
24560438
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Research Institution | Tohoku University |
|---|
Principal Investigator |
阿部 正英 東北大学, 工学(系)研究科(研究院), 准教授 (90312602)
|
|---|
| Project Period (FY) |
2012-04-01 – 2015-03-31
|
| Keywords | 信号処理 / 映像処理 / 映像修復 / 画像処理 |
|---|
| Research Abstract |
現在までに本申請者は，古いフィルム映像の修復アルゴリズムの段階的な処理として，高精度な位置ずれ補正法，フリッカ補正法，ブロッチ除去法，スクラッチ除去法について提案してきた．位置ずれ補正法では，位置ずれの検出に位相限定相関を用いている．この位相限定相関法を理論的に解析することにより，サブピクセルレベルの高精度な位置ずれ検出を可能としてきた．また，位置ずれ補正法では，カメラワークの推定法を組み込むことにより，ほとんどすべての映像に対して位置ずれ補正が可能となっている．ブロッチ除去のための動き推定法では，移動物体上のブロッチを除去するために重要な動き推定を高精度に行う方法を提案してきた．
これらについて，位置ずれ補正法については，位相限定相関を利用してサブピクセルレベルの高精度な位置ずれ補正法を実現している．この際に利用している位相限定相関について，方向統計学に基づく統計的解析を行い，より精度の高い位置ずれ量推定をより計算量を少なく実現する方法について検討を進めている．また，位相限定相関における雑音の影響について検討し，古いフィルム映像におけるフリッカ・ブロッチ・スクラッチなどの劣化が位置ずれ推定に与える影響についての基礎的検討を進めている．
さらに，ブロッチやスクラッチの除去について，ミッシングデータの修復手法について調査・検討を進めている．ここでは，イメージインペインティングによる修復手法ならびに動きベクトルを考慮した補間・修復手法について実現を進めている．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，フィルム映像のディジタル修復のためのディジタル信号処理手法を開発し，これらによるディジタル映像修復システムを実現する．対象とするフィルムとしては，本申請者がこれまで主に取り扱ってきた1930年代の35mmフィルムにとどまらず8mm～70mmのフィルムで，年代も初期の白黒フィルムから近年のカラーフィルムまでを扱う．これまでは，専用のスキャナを使用して，フィルムをディジタル映像にしていたが，スキャンできるフィルムが伸び・縮み・よれなどの劣化のない35mmフィルムに制限されているなどの制約があった．このために，35mmフィルム専用のフィルムスキャナではなく高解像度のディジタルカメラを用いてフィルム映像をディジタル化し，形状や年代などの違いによるフィルムのさまざまな劣化やディジタル化の際の位置ずれなどを考慮したディジタル修復システムを実現する．
このように本研究では，幅広い記録フィルム映像を対象とした映像修復システムを構築している．
本申請者がこれまでに実現してきた位置ずれ補正法とフリッカ補正法，ブロッチ除去法に対して，さまざまな年代の映像での映像修復性能について評価する．これについて，1930年代から1970年代のフィルム映像に対して基礎的検討を行った．さらに，フィルム映像にはその上映機構からほとんどの場合スクラッチが入っており，この検出と除去を映像修復システムに組み込んだ．また，高解像度のディジタルカメラを使用してディジタル化したフィルム映像に対して，ディジタル化の際に発生した平行移動と回転を除去する手法の検討を進めている．
これらの処理結果について，対象としている映像を4Kモニタに表示して，劣化の残存について主観評価を行った．
|
| Strategy for Future Research Activity |
高解像度のディジタルカメラを使用してディジタル化したフィルム映像に対して，ディジタル化の際に発生した平行移動と回転を除去する手法を検討する．上記の映像修復システムのプロトタイプシステムを構築し，フィルム映像の修復システムを処理時間の点から評価する．
古いフィルム映像には少ないため，これまでの修復システムに組み込んでいないズームやカラーへの対応を進める．その上で，それぞれの処理システムの統合のため，画像データのフォーマット統一ならびに修復パラメータのフォーマットの策定を行う．これにより，処理過程でのデータの劣化を防ぐとともに，並列処理におけるシステム内でのデータ通信を規定する．
その上で，映像修復における性能（画質と処理速度）を向上させることを目指す．まずは，修復アルゴリズムを改善することを目指す．特に，カメラパラメータの各処理段階での利用と移動物体の補償性能を向上させる．さらに，劣化要因であるスクラッチに対して，位置ずれ補正の情報を利用して修復することを検討する．また，縮小映像を利用した多重解像度処理など高解像度映像特有の性質を利用して，画質を劣化させずに処理速度を向上させる．本研究においては，修復処理のパイプライン処理を考慮し，フィルムのスキャンにかかる時間（1フレーム10秒程度）で1フレームの修復ができるようにすることを目標として，処理時間の削減を検討する．
|
| Expenditure Plans for the Next FY Research Funding |
本研究では，フィルム映像の修復アルゴリズムの開発を行っている．修復アルゴリズムの開発にあたり，映像データを処理・保存する高速なワークステーションと大容量ハードディスクが必要になる．今年度は，研究の進捗を考慮し，修復アルゴリズムの開発を進めるために，当初計画していた大容量ハードディスクにかわり，ワークステーションを導入した．次年度は，今年度購入したワークステーションで映像データを処理し，処理対象となる映像データを保管するための大容量ハードディスクを購入する予定である．
次年度の使用額は，今年度の研究を効率的に推進したことに伴い発生した未使用額と平成25年度請求額とをあわせ，平成25年度の研究遂行に使用する予定である．
|
