感性情報通信に向けた顔の分析合成処理共通プラットホームの構築

2000 Fiscal Year Annual Research Report

• Project/Area Number: 11555097
• Research Institution: The University of Tokyo
• Principal Investigator: 原島 博 東京大学, 大学院・工学系研究科, 教授 (60011201)
• Co-Investigator(Kenkyū-buntansha): 橋本 周司 早稲田大学, 理工学部, 教授 (60063806) ; 原 文雄 東京理科大学, 工学部, 教授 (90084376) ; 谷内田 正彦 大阪大学, 大学院・基礎工学研究科, 教授 (20029531) ; 山田 寛 日本大学, 文理学部, 助教授 (80191328) ; 森島 繁生 成蹊大学, 工学部, 教授 (10200411)
• Keywords: 顔分析 / 表情合成 / 平均顔 / 擬人化エージェント / 感性処理 / 顔アニメーション / 3次元モデル

Research Abstract

本年は、既存の顔分析・合成プログラムをベースにその改良と機能拡張を行った。まず顔分析ツールを用いた顔画像からの目、瞳、唇、鼻、顔輪郭等の特徴点自動抽出結果に基づき、標準ワイヤフレームを顔画像に自動整合するプロセスを実現した。手動の顔モデル整合ツールでは顔の輪郭を大まかに合わせる部分から序々にミクロな整合を行う進めるようにGUIが配慮されているが、そのプロセスを踏襲して、特徴点の自動抽出結果から顔輪郭特徴点⇒目特徴点⇒唇特徴点⇒各特徴点間の補間という順にワイヤフレームの座標を順次決定してゆく。さらにこの自動整合結果の評価のため、複数の人数の顔画像に提案アルゴリズムによる整合を実施し、平均顔ワイヤフレームと平均テクスチャを計算して平均顔を合成した。これを同じ顔画像に対して手動でモデル整合した結果に基づく平均顔合成結果と主観評価により比較して、自動整合の性能評価する手法を確立した。
一方、手動の顔モデル整合ツールを機能拡張して、正面顔画像のみでなく、側面の顔画像に対して標準顔モデルを整合できるツールを作成した。これにより、横顔輪郭による顔の奥行き情報を顔モデルに追加して、より本人に近い3次元顔モデルが作成可能となった。この機能拡張に伴い、顔アニメーション作成ツールの改良をさらに実施した。日本語および英語の発音記号に対する基本口形の3次元形状を定義しなおし、より自然な発話アニメーションが実現可能となった。また、表情パラメータを表現するアクションユニットに対しても、3次元表情変形を考慮した表情変形ルールを定義し、任意方向からの視点に対しても自然な表情および発話アニメーションが実現可能となった。

Research Products

• [Publications] 森島繁生: "擬人化音声対話エージェント開発と周辺技術(3)対話における顔画像生成"情報処理学会研究報告. 2000. 13-18 (2000)
• [Publications] S.Morishima: "HYPERMASK : Talking Head Projected onto Real Object"MULTIMEDIA MODELING Modeling Multimedia Information and Systems. 403-412 (2000)
• [Publications] N.P.Chandrasiri: "Analysis and Synthesis of Facial Expressions based on Presonal Facial Expression Space"電子情報通信学会大会論文集. A-14-20. (2001)
• [Publications] 森島繁生: "顔の認識・合成のための標準ツール"システム/制御/情報. 44・3. 119-126 (2000)
• [Publications] 緒方信: "ビデオ翻訳システム-自動翻訳合成音声とのモデルベースリップシンクの実現-"情報処理学会シンポジウム、インタラクション2001. 2001・5. 203-210 (2001)