音響情報からの感情情報抽出とそのヒューマンインタフェースへの応用

1993 Fiscal Year Annual Research Report

• Project/Area Number: 05220221
• Research Institution: Seikei University
• Principal Investigator: 森島 繁生 成蹊大学, 工学部, 助教授 (10200411)
• Co-Investigator(Kenkyū-buntansha): 斎藤 隆弘 神奈川大学, 工学部, 教授 (10150749)
• Keywords: 感性情報処理 / 感情空間 / FACS / ピッチ情報 / 感情認識 / 表情合成 / ニューラルネットワーク / 音声分析

Research Abstract

基本的な感情情報(喜び、悲しみ、怒り、嫌悪)と無感情状態を音声信号のみから認識するための、音響特徴パラメータの抽出を行った。演劇経験者の発声した感情音声を試行錯誤的に分析して、ピッチ統計、時間構造に着目した結果、顕著な差異が現われていることが分かった。特に喜びと怒りはパワーが大きく、ピッチが上昇する傾向にある。悲しみではピッチが一律に下降する。また嫌悪では語尾に行くにしたがってピッチが上昇する傾向が現われ、時間構造に特徴が見いだされた。このパラメータ変化情報に基づいて、無感情音声のピッチと時間構造を変換し特定の感情を付加することが可能となった。この聴取実験結果から感情が付加されているようすが確認された。
一方、感情情報自体の定量化についても検討を行った。これは各感情を表現していると判断される表情パラメータの分析から、基本感情の相対的な空間的位置づけを決定する試みであると同時に、表情から感情認識を行ったり、指定された感情情報から表情への変換を実現することが目的である。具体的にはパラメータ記述された表情を恒等写像を実現するニューラルネットに入力して、このデータに含まれる内部構造を獲得する手法をとった。感情空間の次元数を3、5階層のネットワークを利用して検討を行った結果、従来からの心理学の分野で提案されている感情空間と強い相関があることが実証された。すなわち喜びと怒り、驚きと悲しみが対局的な位置づけとなり、怒りと悲しみの中間に嫌悪、悲しみと驚きの中間に恐れが位置づけられる結果となった。これによって、心理学分野へ大きなインパクトを与えた。

Research Products

• [Publications] 森島,繁生: "Facal Anination Synthesis for Human-Madnine Corninunication System" Proreedings of HCI International′93. 1085-1090 (1993)
• [Publications] 森島,繁生: "Facial Expression Synthesis Basedon Natural Voice for Virtual Face-to-Face Commueication with Machine" Proceedings of IEEE VRAIS′93. 486-491 (1993)
• [Publications] 森島,繁生: "表情インタフェースのための感情情報の定量表現とモデル化" 第9回フューマンインタフェースシンポジウム論文集. 357-360 (1993)
• [Publications] 森島,繁生: "Emotion Space for Analysis and Synthesis of Facial Expression" Proceedings of IEEE Roman′93. 2. 188-193 (1993)
• [Publications] 森島,繁生: "自然な表情アニメーションのための感情空間の構成" NICOGRAPH論文集. 9. 17-27 (1993)
• [Publications] 上木信夫、森島繁生: "多層ニューラルネットによって構成された感情空間に基づく表情の分析・合成システムの構成" 電子情報通信学会論文誌. 77,(3月掲載予定). (1994)