補間技術を用いた適応的高品位映像撮像技術に関する研究

2014 Fiscal Year Research-status Report

• Project/Area Number: 26870009
• Research Institution: Hokkaido University
• Principal Investigator: 筒井 弘 北海道大学, 情報科学研究科, 准教授 (30402803)
• Project Period (FY): 2014-04-01 – 2017-03-31
• Keywords: フレーム補間 / 動領域抽出

Outline of Annual Research Achievements

近年の撮像デバイスでは(1)高解像度・通常フレームレート(2)低解像度・高フレームレート，といった撮影モードをユーザが設定できるようになっている．このような2種類の動画像が利用可能である場合，それらから補間技術により高品位映像(高解像度・高フレームレート)を生成可能であると考える．初年度は，このようなアプローチの有効性確認を行うとともに，動領域抽出アルゴリズムならびに映像補間アルゴリズムの検討を行った．
既存撮像デバイスでは上記のような動画像を同時に得ることは困難であるため，市販のカメラにより得られた動画像を参照データとし，間引きにより(1)フレームレートを低くしたもの，(2)低解像度にしたもの，を入力データとして実験を行った．実験では，(1)のみのデータと，(1)と(2)を組み合わせたデータを，非圧縮データ量が同じとなるように用意し，両者からフレーム補間により生成した動画像が，参照データとどの程度一致するかを評価した．評価の結果，(1)と(2)を組み合わせたデータ，つまり提案アプローチの方が元の動画像に近い動画像を生成出来ることを確認した．また，(2)のデータを用いることにより，自然で滑らかな動きが再現可能であることを確認した．
上記のように，解像度・フレームレートを撮影対象に応じて適応的に切り替えることにより，後処理である補間技術も含めて，効率的な高品位映像撮像が可能となる．また，映像中の動きの有無に応じた適応処理によりさらなる効率化が実現できると考えられる．すなわち，動きのある領域(動領域)の抽出処理が重要な役割を担う．そこで，グローバルモーション補償と背景差分ならびにオプティカルフローに基づく動領域抽出アルゴリズムの検討を行った．また，撮像デバイス制御のため，ハードウェア実装によるリアルタイム処理が必須であるため，処理に縮小画像を用いるなどの計算量・使用メモリ量の削減検討を行った．

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

初年度の研究実績は概要で述べたとおりであり，概ね順調に進展していると考える．ただし，フレーム補間を用いた有効性評価に関しては，動領域抽出に基づいた前景・背景分離型のフレーム補間による評価に関しては，現在遂行中である．また，低解像度・高解像度フレームの動画像特性に応じたそれぞれの数の適切な割合いや，どのようなタイミングで高解像度フレームを撮像すれば効率的に補間が可能か，といった点に関しても，アルゴリズム検討のために実装したソフトウェアを用いて，現在評価を進めている．

Strategy for Future Research Activity

今後は，初年度の検討結果をさらに詳細化するとともに，その結果に基づいて全体システム構成の検討を行い，撮像デバイス適応制御のための動領域抽出ハードウェアおよび提案システムのための映像補間ソフトウェア処理の，詳細実装のための仕様を策定する．また，動領域抽出ハードウェアからはオフライン処理である映像補間処理のために動領域情報が出力可能であり，その点も考慮して，初年度に実装したソフトウェアを更新する．
一方で，撮像デバイスの効率的適応制御のため，応募時には考慮していなかった予測処理の導入が有効であることも考えられ，これについては並行して検討を進める予定である．
つぎに，検討を行った詳細実装の仕様に基づき，撮像デバイス適応制御のための動領域抽出ハードウェア実装，ならびに，提案システムのための映像補間ソフトウェア処理実装を行う．なお，実装においては最終年度にデモ環境を構築することを考慮して，入出力インタフェースはデモ環境のものを想定する．またハードウェア実装に関しては動画像入出力用インタフェースを有するFPGAボードを利用する．
その後に，全体システムの実装を進めるとともに実証のためのデモ環境構築を行う．ただしカメラからの取得データは一定フレームレート・解像度とし，撮像モード設定は前述のとおり間引き等により擬似的に行う．つまり，研究実績の概要で述べたとおり，市販デジタルカメラの一定フレームレート・解像度撮像データから間引きにより(1)フレームレートを低くしたもの，(2)低解像度にしたもの，を生成し，それをデモ環境の入力とする．ただしこの疑似データ生成処理はハードウェアで行い，適応制御ハードウェアと実時間連携動作を可能とする．得られたデータはソフトウェアによる補間処理を行い，提案手法を用いることにより効率的に高品位映像撮像が可能となることを実証する．

Causes of Carryover

初年度にアルゴリズム開発やシミュレーションに利用する専用計算機を購入予定であったが，申請者所属の研究室における共通利用可能計算機資源を用いることにより研究推進が可能であったため，当該研究課題における実際の計算機利用状況を考慮したうえで，専用計算機の選定・購入を3月に行った．そのため物品は納入済みであるが，次年度使用額が生じることとなった．

Expenditure Plan for Carryover Budget

上記のとおり，次年度使用額相当の部分に関しては，専用計算機を購入済みである．