擬人化エージェントによるマルチモーダルインタフェースプロトタイプの構築

1997 Fiscal Year Annual Research Report

• Project/Area Number: 09555119
• Research Institution: Seikei University
• Principal Investigator: 森島 繁生 成蹊大学, 工学部, 助教授 (10200411)
• Co-Investigator(Kenkyū-buntansha): 山田 寛 日本大学, 文理学部, 助教授 (80191328)
• Keywords: エージェント / インタフェース / マルチモーダル / コミュニケーション / 感性情報処理 / サイバースペース / メディア変換 / 感情認識

Research Abstract

平成9年度の研究実績を以下にまとめる。
1)3次元顔モデルの作成 任意の人物への整合も容易に実現できる新しい顔モデルを構築した。このモデルには、頭部および歯の3次元構造はもちろんのこと、口腔壁や眼球、首、舌のモデル等を含んでいる。さらにこのモデルに筋肉の物理構造を付加し、リアルでダイナミックなアニメーションを可能にした。
2)リアルな表情合成パラメータ構成 3次元表情変形を実現して任意の方向から眺めても自然に見えるような表情パラメータを構成した。また日本語および英語の基本口形を作製し、会話のアニメーションのリアリティの向上をはかった。
3)音声からのリアルタイムメディア変換 マイクから入力された音声信号に同期してモデルの口形を制御する方法がメディア変換である。今回は、基本的な母音の口形を忠実に再現し、またニューラルネットを用いて学習外の音声に対しても補間性能が発揮できるように工夫した。
4)実時間感情認識 カメラから取得された顔動画像に基づき、目領域および口領域を自動トラッキングし、この空間周波数情報に基づいて6つの基本感情の認識を実時間で実施するアルゴリズムの開発を行った。
5)プロトタイプテストベッドの構築 一連の処理を複数のプロセッサに分散させ、ネットワークを介したプロセス間通信により画像・音声入力から合成表情出力までを実時間で実行するシステムのプロトタイプを構築した。しかし、効率なアルゴリズムによる遅延時間の解消、ネットワークトラフィック削減のための音声の圧縮伝送、埋没感の得られる仮想空間の構築等が今後の課題として残されている。

Research Products

• [Publications] 四倉達夫, 森島繁生: "音声からの画像へのメディア変換を用いたサイバースペース上での多人数コミュニケーションシステム" インタラクション'98論文集. 133-134 (1998)
• [Publications] 金子正秀, 森島繁生: "顔画像によるアドバンストエージェント" 映像情報メディア学会誌. 51・8. 1169-1174 (1997)
• [Publications] 長谷川 修, 森島繁生: "「顔」の情報処理" 電子情報通信学会論文誌A. J80-8. 1231-1249 (1997)
• [Publications] 坂口竜己, 山田寛, 森島繁生: "顔画像を基にした3次元感情モデルの構築とその評価" 電子情報通信学会論文誌A. J80-8. 1279-1284 (1997)
• [Publications] 坂口竜己, 森島繁生: "画像の2次元離散コサイン変換を利用した実時間顔表情認識" 電子情報通信学会論文誌DII. J80-6. 1547-1554 (1997)
• [Publications] 森島繁生: "A Physics-based Talking Head for Interface Agent" Proceedings of IJCAI Workshop on Animated Agent. 91-97 (1997)