擬人化エージェントによるマルチモーダルインタフェースシステムの試作

1999 Fiscal Year Annual Research Report

• Project/Area Number: 09555119
• Research Institution: Seikei University
• Principal Investigator: 森島 繁生 成蹊大学, 工学部, 助教授 (10200411)
• Co-Investigator(Kenkyū-buntansha): 山田 寛 日本大学, 文理学部, 助教授 (80191328)
• Keywords: 感性情報処理 / 顔画像処理 / サイバースペース / エージェント / リップシンク / ワイヤフレームモデル / 表情合成 / 表情分析

Research Abstract

擬人化エージェントを介して、ネットワーク上のサイバースペース内で、フェーストゥーフェースの対話を実現する多人数のコミュニケーションシステムのプロトタイプを完成させた。これは、イーサネットに接続された複数のクライアントと、1台のサーバから構成され、各クライアントには、マイクロフォンとビデオカメラが設置されている、マイクから入力された声は逐次サーバに転送され、ニューラルネットによるパラメータ変換メカニズムによってリアルタイムで口形状への変換が実行される。この口形状パラメータは、各クライアントに送られて、相手から見える本人の擬人化エージェントの表情制御に用いられる。また、音声信号はそのままクライアントに送られて、表情とともにスピーカーから再生される。ファンクションキーに割り当てられている基本表情を選択することによって、相手に提示する表情を変化させることができる。また、仮想空間内をフォークスルーして、擬人化エージェントの位置と視線方向を制御することが可能であるが、エージェントの視線から見た映像の他に、第三者的な視点からシーンの全体像を把握できるようにフライモードを用意している。擬人化エージェントの視線の制御は画面に写るシーンと一致するようになっているので、相手のエージェントとアイコンタクトを取りながら対話することが可能となった。
このプロタイプシステムを利用して、3人のクライアント間でコミュニケーション実験を行った。合成レートはおよそ10フレーム毎秒であり、伝送される音声のクオリティの劣化、さらに伝送遅延による唇の動きとの非同期が生じたが、実際にこのシステムによって、複数の人間の間でネットワークを介して、自然な会話が行えることを評価実験により明らかにした。

Research Products

• [Publications] 森島繁生 八木康史: "顔の認識・合成のための標準ツール"システム/制御/情報. 44・3. 119-126 (2000)
• [Publications] S.Morishima,T.Yotsukura: "Face-to-Face Communication Avatar Driven by Voice"Proceedings of IEEE ICIP. 27AS1-3 (1999)
• [Publications] Shigeo Morishima: "Real-time Voice Driven Facial Animation System"Proceedings of IEEE ICSMC. FP13-5 (1999)
• [Publications] 寺田員人、森島繁生 他: "コンピュータグラフィックスを用いた矯正治療による表情変化"歯科審美. 12・1. 37-51 (1999)
• [Publications] 四倉達夫、藤井英史、森島繁生: "サイバースペース上の仮想人物による実時間対話システムの構築"情報処理学会論文誌. 40・2. 677-686 (1999)