|
本研究は、動画像符号化の新たな枠組みを開発することを目的としている。このためにまず、2次元隠れマルコフモデル(2DHMM)を用いた画像のアピアランスモデルを構築する。このような動画像のモデルを用いることで、オブジェクトの3次元形状の推定や、2次元画像からのパラメータの抽出といった困難な問題を回避することができると考えられる。前年度はアピアランスモデルの基本的な枠組みを構築し、要素技術の開発を行った。これを踏まえ本年度は、前年度で得られた要素技術の高精度化、応用について検討した。
(1)動画像符号化の高精度化
前年度検討した2次元HMMを用いた動画像のモデル化手法を応用し、アピアランスモデルベース符号化方式を検討した。これにより、動画像圧縮性能を向上できることが明らかとなった。具体的には、画像をエンコードした際に得られる状態系列および予測誤差をエントロピー符号化する符号化方式を提案した
(2)アピアランスモデルの顔アニメーションへの応用
提案法は、モデルベース符号化であるため、符号化と復号化で用いるモデルを変えることで面白い効果を生み出すことができると考えられる。ここでは一つの応用として、ある人の顔を他人の顔に変換して顔アニメーションを行うことを検討した。実際にビデオカメラの前で表情を変えたり発話すると、画面上ではあたかも他の人が表情を変えたり、発話するような効果を得ることが可能となった。
(3)アピアランスモデルにおけるセマンティックスの考慮
アピアランスモデルを応用することで、様々な物体の外見や文字を学習するシステムを検討した。また、実際にロボットに実装することで、見た物体を教師なしかつオンラインで学習することが可能となった。これは、アピアランスモデルの自動的なクラスタリングに基づいており、今後さらにロボットによる概念の獲得などに応用することを検討する予定である。
|
