コミュニケーションの場における雰囲気情報の分析と合成に関する研究

2000 Fiscal Year Annual Research Report

• Project/Area Number: 11480086
• Research Institution: Kyoto Institute of Technology
• Principal Investigator: 新美 康永 京都工芸繊維大学, 工芸学部, 教授 (00026030)
• Co-Investigator(Kenkyū-buntansha): 西本 卓也 京都工芸繊維大学, 工芸学部, 助手 (80283696) ; 荒木 雅弘 京都工芸繊維大学, 工芸学部, 助教授 (50252490)
• Keywords: 雰囲気のモデル化 / コミュニケーションの場 / 動作の雰囲気 / 音声中の雰囲気 / ニュー波 / 感情音声の合成

Research Abstract

本研究の目的は、人間同士がコミュニケーションを行う場における動画像及び音声と、雰囲気に対する人間の知覚を、分析・合成可能な方法で対応づけてモデル化することである。本年度は、次の二点に重点を置いて研究した。
(1)雰囲気を含む映像の収録、分析、モデル化(担当:新美、西本)
動作や身振りの特徴を簡単に抽出できるモーションキャプチャ装置を被験者に装着して、実験者と長時間対話をさせ、その様子をビデオカメラで撮影するとともに、モーションキャプチャ装置の出力をコンピュータに収録した。ビデオカメラに収録された動画像から、対話相手の被験者が、上機嫌、不機嫌、納得している、納得していない、退屈している、落着きがない、興味深そう、などの状態にあると実験者が判断した部分画像を抽出した。この部分画像を無音状態で多数の人に提示し、その画像から感じ取ることのできる雰囲気を質問した。その回答の多くと実験者の感じとが一致した動画像を分析の対象とし、その部分のモーションキャプチャの出力を詳しく分析した。その結果、被験者の頭部のゆれ、肩の動き、手の動きなどに、上記の雰囲気と相関の高い特徴的な動きのあることが分かった。
(2)音声対話の収集と雰囲気情報の分析(担当:荒木)
昨年度収集したニューは分析ツールを改良し、対話音声の分析を行った。さらに、対話音声中によく現れる気分や感情を表現することの出きる表現することのできる一般性の高い音声合成システムを作成した。

Research Products

• [Publications] 西本卓也: "非同期型音声会議システムAVMの設計と評価"電子情報通信学会論文誌D-II. J83-D-II. 2490-2497 (2000)
• [Publications] Y.Niimi: "A task-independent dialogue controller based on the extended frame-driven method"Proc.of Int.Conf.on Spoken Language Processing. 114-117 (2000)
• [Publications] 笠松正紀: "適応素片を用いた感情音声の合成"電子情報通信学会音声研究会技術報告. (2001)