以下の順で研究を行った。 1 試作システム全体の設計 顔面動画像の入力から表情認識を行い結果を出力するまでの一連のシステムの設計を行った。 2 顔面動画像入力装置の製作 人物表情解析用計算機、ビデオカメラ、ビデオボードおよび可視光源を組み合わせ顔面動画像入力装置の製作を行った。 3 顔面動画像処理プログラムの作成 ビデオカメラにより得られたフレームから、顔面の動画像を入力し、前処理(雑音除去、顔領域特定など)を行うためのプログラムを人、物表情解析用計算機上で作成した。 4 顔面内部形状変化算出部と特徴パラメータ抽出部の構築 顔面外部の形状から、顔面内部の形状を算出するプログラムを作成した。ここでは、復顔の分野で活用されている顔面の物理的データを用い、各瞬間における顔面筋肉の収縮による動きを分類した。次に、顔面内部の筋肉収縮量と顔面外部の目・口・眉などの構成要素の表面形状の変化から、解剖学的知識を用い、表情を識別するために有用な特徴パラメータの抽出を行うプログラムを考案し作成した。構成要素の表面形状の変化を追跡するために、新たに個人の顔構成要素の形状に適合したデフォーマブルテンプレートを用いた手法を考案し、実装した。
|