擬人化エージェントによるマルチモーダルインタフェースシステムの試作

1998 Fiscal Year Annual Research Report

• Project/Area Number: 09555119
• Research Institution: Seikei University
• Principal Investigator: 森島 繁生 成蹊大学, 工学部, 助教授 (10200411)
• Co-Investigator(Kenkyū-buntansha): 山田 寛 日本大学, 文理学部, 助教授 (80191328)
• Keywords: エージェント / インタフェース / マルチモーダル / コミュニケーション / 感性情報処理 / サイバースペース / メディア変換 / 感情認識

Research Abstract

平成10年度の研究実績を以下にまとめる
1) 感情を付加する声質変換
韻律パラメータを音声信号から自動的に計算・抽出し、このパラメータ変換によって音声信号を生成するシステム開発を行った。まず音声に含まれる感情特徴パラメータの決定のため、ピッチ、パワー、時間構造、アクセントを任意に変化させて、韻律変換できるツールを完成させた。このツールを用いて各パラメータを試行錯誤で変化させて、無感情で発話された音声に対して、喜び、怒り悲しみの感情をそれぞれ付加して、センテンスによらず、話者によらず感情音声合成が可能となった。
次にピッチ、パワー、発話速度をパラメータとして音声を上記の3つの感情カテゴリーに分類するシステムを構築した。ピッチ抽出はケプストラムに基づき、また発話速度は分析フレーム間のスペクトル距離に基づいて独自の抽出アルゴリズムを開発し、リアルタイムで逐次認識結果を出力できるシステムを完成させた。
2) 知的通信システムの試作
ネットワーク上に構築されたサイバースペース上で多人数でコミュニケーションできるシステムの構築を行った。入力された音声信号から感情の推定と口形の推定をリアルタイムで実施し、音声と表情パラメータが伝送される。受信側では、表情パラメータから表情合成が行われて、再生された音声と同期して毎秒20フレームでの表情合成が可能となった。これによりアバタの表情を通してあたかもフェーストゥーフェースで対話しているような環境が実現できた。

Research Products

• [Publications] 四倉達夫、藤井英史、森島繁生: "サイバースペース上の仮想人物による実時間対話システムの構築" 情報処理学会論文誌. 40巻2号. 677-686 (1999)
• [Publications] Shigeo Morishima: "Real-time Talking Head Driven by Voice and its Application to Communication and Entertainment" Proc.of International Conf.on Auditory Visual Speach Processing. 2巻. 195-200 (1998)
• [Publications] Shigeo Morishima, T.Ishikawa: "Facial Muscle Parameter Decision from 2D Froutal Image" IEEE Proc.of ICPR. 14巻. 160-162 (1998)
• [Publications] Shigeo Morishima: "3D Facial Expression Tracking and Regeneration from Single Camera Image" International Archives of Photorammetry and Remete Seusing. XXXII. 900-905 (1998)
• [Publications] 四倉達夫・森島繁生: "音声から画像へのメディア変換を用いたサイバースペース上での多人数コミュニケーション" インタラクション′98 論文集. 2巻. 133-134 (1998)
• [Publications] 坂口竜己、山田寛、森島繁生: "顔画像を基にした3次元感情モデルの構築とその評価" 電子情報通信学会論文誌A. J80-8. 1547-1554 (1997)