2014 Fiscal Year Annual Research Report
人間視覚に基づく画材に依存しない動画への絵画風効果付与
| Project/Area Number |
14J00211
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
谷田川 達也 東京大学, 総合文化研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2014-04-25 – 2016-03-31
|
| Keywords | 画像・動画編集 / 情報圧縮 / スパース正則化 |
|---|
| Outline of Annual Research Achievements |
本研究の目的は動画像へ人間にとって自然な絵画風効果を付与することである。その中で、本年は特に動画に対する汎用的な編集法について研究を実施した。本年の研究で扱った動画編集は動画中の物体の色調や輪郭線の尖鋭度など、基礎的な画像特徴を変更するものである。この編集は、それらの画像特徴をどの程度変化させるかを表す編集パラメータを各画素に付与する問題に帰着できる。従来、編集パラメータの割り当ては二次のエネルギー関数を最小化する問題として扱われてきた。
従来法は動画全体に単一のエネルギー関数を定義して、それを最小化する問題を解いてきたが、動画がより高画質になる場合や、撮影時間が長くなる場合に計算量が多きくなるという問題があった。研究代表者はこの問題を解決するため、各フレーム間での編集パラメータ割り当てを変換する処理を低ランク行列として表現する方法を提案した。これにより、高画質の動画や撮影時間の長い動画であっても、一定の計算量で編集できるようになった。
ただし、上記の提案法は依然として、Full HD等の高画質動画に対しては、1フレームごとに数秒程度の計算時間を要したため、実用的とは言えなかった。そこで、研究代表者はさらに、動画の各フレームを代表画素により近似することで、この計算を高速化する手法を提案した。代表画素による画像の近似自体は、これまでにも多くの手法が提案されてきた。従来法の多くは、代表画素を選ぶ計算と、代表画素を用いた画像近似の計算の間で異なる定式化を用いており、研究代表者は、それが近似誤差を低下させている原因であることを突き止めた。そこで、提案法では、従来法において用いられてきた凸形式の画像近似を一般化し、アフィン結合性を利用して画像を近似した。この定式化の変更により代表画素の選択と画像の近似とで同様の定式化が可能になり、従来法と比べ高精度の画像近似に成功した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
上記の研究により、動画が持つ基礎的な画像特徴を高速に編集できるようになったことで、本研究課題はおおむね順調に推移しているといえる。この動画編集の高速化はユーザとの対話的処理を通じて、より自然な絵画風効果付与を実現するためにも重要であり、今後、基礎的な画像特徴の組み合わせにより絵画風の効果を付与する際にも有効に働くものと考える。ただし、本年の研究で実現したのはあくまで、編集パラメータの数値としての連続性であるため、これが絵画風効果の自然さに結びつくかは今後調査を進める必要がある。また、ユーザが入力する情報も単純な編集後の見た目から絵画のストロークのような曖昧さを含むものに変わるため、いかにユーザ入力から有用な情報を抜き出すかという部分でも研究を進める必要がある。
|
| Strategy for Future Research Activity |
今後は本年の研究で得られた動画への編集パラメータ付与を絵画風効果の付与へと拡張していく。絵画風効果を付与する処理は大きく二つの種類に分けられる。すなわち、基礎的な画像特徴の組み合わせによる表現と、実際の絵筆により描かれたサンプル模様の重ね合わせる表現である。前者は画素特徴を変化させるフィルタ処理を組み合わせるだけで実現できるため、計算は容易である。このような処理は水彩画のように絵画中で絵筆の繰り返しが顕著でない画風に対して有効である。一方、サンプル模様を用いる手法は人間が絵画を作成する過程に近く、より広範な表現を実現できる。この手法は油絵や鉛筆画のような、描かれた画材のストロークが際立っている画風に対して有効であるが、どのようにサンプル模様を配置すべきかなど、一定のルールに基づいた処理が難しい側面もある。今後の研究では、両社の特徴を見極めつつ、本年の研究で得られた動画編集を適用していく。前者であればフィルタ処理のパラメータ変数を、後者であればサンプル模様を配置するためのパラメータ変数を、本年の研究で得られた編集パラメータ付与により実現する。とはいえ、上記のパラメータ変数が数値として連続的であれば、絵画として自然な連続性が実現できるという保証はないため、例えば絵画を扱うための特殊なパラメータ空間の導出等が必要になる可能性もある。
また対話的処理により絵画風効果を付与するに当たり、どのようなインターフェースを提供するのが、よりユーザにとって直感的かを調査する必要もある。絵画風効果を付与する際には、ユーザは実際の絵筆のストロークを入力するものと考えられるが、この入力からいかに有用な情報を抜き出し、ユーザ入力に即した編集結果を提供するかは、今後調査を進める必要がある。これに関しては、実際にシステムを実装してユーザテストを繰り返すなどして、機能改善に努めたい。
|
Research Products
(5 results)
