心情に注目した発話者の意図理解

1997 Fiscal Year Annual Research Report

• Project/Area Number: 08875056
• Research Institution: Tokyo Metropolitan Institute of Technology
• Principal Investigator: 福田 収一 東京都立科学技術大学, 工学部, 教授 (90107095)
• Keywords: 発話者 / 意図理解 / 音声解析 / 時系列解析 / 感情抽出 / 交話 / マハラノビス-田口法 / 色コード

Research Abstract

本研究は、発話者のアナログ音声中から、怒り、喜び、悲しみ等の感情を特徴抽出することを主たる目的として実施した。まず単独の発話者の音声時系列から、音声のチャンクを基礎にその傾き、全体的傾向から概略の感情抽出が可能なことが初期実験から明確となった。本研究では、発話者の使用言語は問題なく、どこの国の人の音声でも感情抽出ができる。この意味で、従来の「意味」中心の音声解析とはまったく異なる新しい方法と言える。その後複数の発話者、すなわち、交話へと展開を進めたが、単独の場合とは異なり、相互の発話状況が深く関係するために、単独発話者の感情抽出よりも非常にむずかしい。しかし、マハラノビス-田口法の適用により、複数発話者の場合も、それぞれの感情抽出が可能であることが判明した。
本研究期間内には、複数の発話者の、それぞれの感情を完全に抽出できるまでは至っていない。しかし、少なくとも、発話者が、ある意図を持って、感情を発話に含め、交話を行う場合には、発話者の使用言語に関係なく、意図された感情を抽出できる。
抽出された、意図された感情をディジタル表現中に含める方法についてもいろいろ調査検討した。背景音として音楽的に表現する方法、また色コードと関連させる方法等について検討を行った。色コードと関連させる方法は、コンピュータに音声入力を行い、それをe-mailで送信し、受信側で、e-mailを読むと、その色により送信者の感情を理解する。またそのメッセージを音声で再生する時に、感情を含めた再生音とする
ことが可能となる。そこで、現在本研究を基礎に、この方向でさらに研究を発展させつつある。

Research Products

• [Publications] 福田収一: "音による感情理解" 日本機械学会論文集(C編). 62・598. 207-212 (1966)
• [Publications] Shuichi Fukuda: "An Approach to Emotional Engineering" Medium/small sized companies International Technology Conference 1996 Proceedings. 668-669 (1996)
• [Publications] 福田収一: "音による感情理解" 超音波TECHNO. 8・12. 19-24 (1996)
• [Publications] 福田収一: "遠隔教育とヒューマンインタフェース" 日本機械学会第74期通常総会講演会講演論文集IV. ・97-1. 176-177 (1997)
• [Publications] Shuichi Fukuda: "Distance Skill Learning With Special Attention Paid to the Nonverbal Aspect" IEEE Workshop on Enabling Technologies:Infrastructure for Collaborative Enterprises,Proceedings of the Sixth,Computer Society,. 347-352 (1697)
• [Publications] Shuichi Fukuda: "NETWORKCENTRIC BUDDY SYSTEM FOR COLLABORATION" Proceedings of DETC'97,ASME Design Engineering Technical Conference. (1997)
• [Publications] Shuichi Fukuda: "Workshop on Distance Learning" IEEE Workshop on Enabling Technologies: Infrastructure for Collaborative Enterprises, Proceedings of the Sixth, Computer Society, 450 (1997)