人に優しいヒューマンインタフェースのためのメディア変換技術

1993 Fiscal Year Annual Research Report

• Project/Area Number: 04650295
• Research Institution: SEIKEI UNIVERSITY
• Principal Investigator: 森島 繁生 成蹊大学, 工学部, 助教授 (10200411)
• Keywords: メディア変換 / ヒューマンインタフェース / 表情アニメーション / 3次元モデル / 音声分析 / シナリオ記述 / 音声認識 / テクスチャマッピング

Research Abstract

計算機の画面上に登場する人物とのフェーストゥーフェースの対話環境を実現するため、表情動画像のシナリオ記述システムとこれに基づくインタフェースプロトタイプの製作を行った。まず、人物頭部は3次元モデルによって記述し、表情はモデルの格子点移動によって表現する。表情アニメーションシナリオは、この表情のキーフレームの配置によって決定される。時間軸上に希望の表情を選択して配置すると、これらの間を滑らかにパラメータ補間が行われアニメーションが実現する。唇に関しては、入力されたテキスト情報の分析が自動的に行われ、各音韻の位置に基づいてキーフレームが決まる。音韻の標準継続長と口形パラメータについては会話のシーンの分析により決定した。音声自体を入力することも可能であり、キーフレームの位置は音声のセグメンテーション結果によって決定できる。このアルゴリズムは独自に開発した安定なものである。この表情アニメーションシステムを電子メールに応用する場合を考えると、利用者はまずメールテキストを入力する。必要な場合にはこれを喋っている音声も入力してやる。するとシステムによって音韻分析と音響分析が行われ、唇の動きに関するキーフレームが決定し画面に表示される。これを参考にして、どの時点でどういう表情をさせるかをアイコンを制御して表情キーフレームを決める。この際、基本表情以外は編集画面をオープンして、パラメータをスライドバーで制御して任意の表情を画面を見ながらインタラクティブに作成する。これを登録して時間軸上に配置すればアニメーションの中に取り込める。この一連の編集プロセスの結果、制御パラメータが送信され、受信側ではメールのメッセージを読み上げる表情と音声の同期したアニメーション画像が再生される。本年度はこのようなインタフェースのプロトタイプをワークステーション上に実装して、ユーザフレンドーなインタフェース環境を実現した。

Research Products

• [Publications] 森島,繁生: "Facial Anination Synthesis for Human-Machine Communication System" Proceedings of HCI International '93. 1085-1090 (1993)
• [Publications] 森島,繁生: "Facial Expression Synthesis Based on Natural Voice for Virtual Face-to-Face Communication with Machine" Proceedings of IEEE VRAIS'93. 486-491 (1993)
• [Publications] 森島,繁生: "表情インタフェースのための感情情報の定量表現とモデル化" 第9回ヒューマンインタフェースシンポジウム論文集. 357-360 (1993)
• [Publications] 森島,繁生: "Emotion Space for Analysis and Synthesis of Facial Expression" Proceedings of IEEE Roman'93. 2. 188-193 (1993)
• [Publications] 森島,繁生: "自然な表情アニメーションのための感情空間の構成" NICOGRAPH論文集. 9. 17-27 (1993)
• [Publications] 上木,伸夫・森島,繁生: "多層ニューラルネットによって構成された感情空間に基づく表情の分析・合成システムの構成" 電子情報通信学会論文誌. 77(3月掲載予定). (1994)