音響情報からの感情情報抽出とそのヒューマンインタフェースへの応用

1992 年度 実績報告書

• 研究課題/領域番号: 04236216
• 研究機関: 成蹊大学
• 研究代表者: 森島 繁生 成蹊大学, 工学部, 助教授 (10200411)
• 研究分担者: 斎藤 隆弘 神奈川大学, 工学部, 教授 (10150749)
• キーワード: 感情認識 / 音声分析 / 表情合成 / メディア変換 / 基本感情記述

研究概要

自然音声に含まれる感情の定量化を試み、音声信号から言語情報や感情情報を自動抽出して、表情動画像を合成する新たなメディア変換技術を目指して検討を進めている。
今年度は人種によりず表出されると推定される喜び、悲しみ、怒り、嫌悪、恐怖と無感情の6つの基本感情について、実際の音声においてこの特徴がどう表現できるか検討を行なった。まず分析対象となる音声刺激を作成するため、感性表出に熟練していると考えられる劇団員数名と一般学生により、ある情景を相像してもらい演技してもらった。発声する音声は言語情報自体に感情がこめられていないものを選択した。又、発声者と聴取者との主観の違いが生じないように、録音した音声に対して十数名の被験者による聞き取りテストを実施し、その音声からどのような感情が聞き取れるかを答えてもらった。この結果に基づいて客観的に特定の感情が顕著に現われていると思われる刺激を選び出し分析対象とした。分析法は合成による分析への発展を考慮して、パラメータ変化させやすい簡単なものに留めた。すなわちピッチ周期の頻度分布とその時間的な変動、そしてパワースペクトラムの平均と時間変化に着目した。時間変化については個人差が大きく出現し、感情による違いは顕著に現われなかった。しかし、音声区間全体で平均特徴としては無感情時からのピッチ周期変化と高周波パワーの占める割合で6つの基本感情が空間的に特徴づけられることが解かった。一方、顔面表情の定量化を試みとして、多層ニュートラルネットの恒等写像学習による2次元感情空間の自動獲得の試みを行なった。この結果により人物の任意の表情は2次元空間上の座標値によって記述され、表情変化は空間上の軌跡として表現できる。次年度以降は音声から抽出された特徴パラメータから、この感情空間へのマッピングを実現して、音声のみから表情を自動合成できるシステムの実現を目指す。

研究成果

• [文献書誌] Shigeo Morishima,他: "Face animation scenario making system for model based image synthesis" Proceedings of Picture Coding Symposium '93. 13.19 (1993)
• [文献書誌] E.Ono,S.Morishima,他: "A modil based shade estimation and reproduction schemes for rotational face" Proceedings of Picture Coding Symposium '93. 2.2 (1993)
• [文献書誌] 上木 伸夫,森島 繁生,他: "ニューラルネットの恒等写像学習による感情空間の構成" 電子情報通信学会技術研究報告. HC92-60. 17-22 (1993)
• [文献書誌] 小野 英太,森島 繁生,他: "照明環境を保存する分析合成符号化の一検討" 電子情報通信学会技術研究報告. HC92-62. 29-34 (1993)
• [文献書誌] Shigeo Morishima,他: "A Facial Image Symthesis System for Human-Machine Interface" IEEE Robot and Human Communication(ROMAN'92). 363-368 (1992)
• [文献書誌] Shigeo Morishima,他: "Human Machine Interface Using Media Conversion and Model-Based Coding Schemes" Proceedings of CGI'92. 95-105 (1992)
• [文献書誌] Shigeo Morishima,他多数: "Visual Computing,CG International Series" Springer-Verlag, 963 (1992)