音声における感情情報の記述・分類と感情音声認識・合成

1998 Fiscal Year Annual Research Report

• Project/Area Number: 09750435
• Research Institution: Seikei University
• Principal Investigator: 森島 繁生 成蹊大学, 工学部, 助教授 (10200411)
• Keywords: 感性情報処理 / 感情音声認識 / 音質変換 / 韻律変換 / SD法 / 感情カテゴリー / 主観評価 / 感情音声合成

Research Abstract

音声に含まれるノンバーバル情報のうち感情の特徴に着目して、無感情の音声に感情を付加する感情音声合成、さらに感情を込めて発話された音声を分析して感情のカテゴライズを行う感情音声認識を目的に研究を進めた。
まず音声に含まれる感情特徴パラメータの決定のため、ピッチ、パワー、時間構造、アクセントを任意に変化させて、韻律変換できるツールを完成させた。このツールを用いて各パラメータを試行錯誤で変化させて、無感情で発話された音声に対して、喜び、怒り悲しみの感情をそれぞれ付加して、センテンスによらず、話者によらず感情音声合成が可能となった。
次にピッチ、パワー、発話速度をパラメータとして音声を上記の3つの感情カテゴリーに分類するシステムを構築した。ピッチ抽出はケプストラムに基づき、また発話速度は分析フレーム間のスペクトル距離に基づいて独自の抽出アルゴリズムを開発し、リアルタイムで逐次認識結果を出力できるシステムを完成させた。感情カテゴリー分類には多重判別分析を用いた。このシステムと従来から検討を進めている3次元表情合成とをリンクし、入力された音声にリアルタイムに反応して、その時の感情状態にしたがって表情を変化させる擬人化エージェントシステムも完成させた。

Research Products

• [Publications] 四倉達夫、藤井英史、森島繁生: "サイバースペース上の仮想人物による実時間対話システムの構築" 情報処理学会論文誌. 40巻2号. 677-686 (1999)
• [Publications] Shigeo Morishima: "Real-time Talking Head Driven by Voice and its Application to Communication and Entertainment" Proc.of International Conf.on Auditory Visual Speach Processing. 2巻. 195-200 (1998)
• [Publications] Shigeo Morishima, T.Ishikawa: "Facial Muscle Parameter Decision from 2D Frontal Image" IEEE Proc.of ICPR. 14巻. 160-162 (1998)
• [Publications] Shigeo Morishima: "3D Facial Expression Tracking and Regeneration from Single Camera Image" International Archives of Photogrammetry and Remote Seusing. XXXII. 900-905 (1998)
• [Publications] 四倉達夫・森島繁生: "音声から画像へのメディア変換を用いたサイバースペース上での多人数コミュニケーション" インタラクション'98 論文集. 2巻. 133-134 (1998)
• [Publications] 坂口竜己、山田寛、森島繁生: "顔画像を基にした3次元感情モデルの構築とその評価" 電子情報通信学会論文誌A. J80-8. 1547-1554 (1997)