2018 Fiscal Year Research-status Report
Spatio-temporal rate control techniques for very high-frame-rate videos and its application to video coding
| Project/Area Number |
18K11370
|
|---|
| Research Institution | University of Fukui |
|---|
Principal Investigator |
吉田 俊之 福井大学, 学術研究院工学系部門, 教授 (50240297)
|
|---|
| Project Period (FY) |
2018-04-01 – 2021-03-31
|
| Keywords | 動画像符号化 / 高フレームレート / 時空間画質 / MOS / 画質制御 / レート制御 |
|---|
| Outline of Annual Research Achievements |
研究代表者はこれまでに，動画像の時空間アクティビティを解析して必要なフレームレートを推定し，時空間符号配分をバランスさせて総合画質を最大化する動画像符号か手法を確立してきた．本研究は，この手法を次世代の高精細240fps動画像に拡張し，データレートを抑えつつ画質を最大化する時空間のレート制御法およびその符号化応用を提案・確立することを目的とする．
初年度に当たる平成30年度は，研究計画に基づき，動画像のフレームレートと時間画質（知覚される動きの滑らかさ）の関係を決定する要因の基礎的な分析を行なった．まず，240fps撮影が可能なカメラを用いて様々な時間アクティビティを持つ動画像を21種類撮影し，そのフレームレートを120fps(Frame Per Second)，60fpsに間引いた計63種に対し，主観評価実験によって時間画質を5段階MOS(Mean Opinion Score)として測定した．次に，フレームレート120fps，60fpsの各動画像に対する時間画質を決定する要因を探るため，対象動画像から種々の特徴量を抽出し，実測MOSとの間で重回帰分析を行なってMOSの予測精度を検証した．具体的には，ブロック単位に抽出したフレーム間差分，エッジ量，コントラストを特徴量として，抽出に用いる閾値を変化させながらステップワイズに基づく重回帰分析を実行して有効な特徴量を選択した結果，フレーム間差分とエッジ量が選択された．63種類の実測結果に対し，得られた特徴量を用いてMOSを予測して精度を検証した結果，最大誤差0.80，平均誤差0.28の精度で予測可能なことを確認した．また，Leave-one-out法を用いて予測の安定性の検証すると共に，過去に提案されている時間方向のMOS予測手法と比較し，本手法の有効性を確認した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初計画で課題として挙げた，「動画像のフレームレートと時間画質の関係を決定する要因分析と予測に用いる特徴量の検討」については，まずフレーム間のフリッカが存在しない条件の下で実行して初期の成果が得られたため．「おおむね順調に進展している」と判断される．ただし，実際にはフレーム間フリッカは不可避であるため，その影響を受けない特徴量の検討が必要になり，次年度に継続して検討を行なう．
|
| Strategy for Future Research Activity |
2年目に当たる平成31年度は，前年度までに得られた要因と特徴量に基づき，フレームレート30fps～240fpsに対するMOS分布の予測手法を確立する．特に，各要因に対して基本的にフリッカに不感な特徴量を定義し，フリッカに不感なMOS分布の予測手法を確立する．得られた手法を実動画像に適用し，実測MOSとの比較を通して提案手法の予測精度と有効性を検証する．必要に応じて，要因と特徴量の再検討を行ない，予測誤差の低減を図る．
|
