コミュニケーションの場における雰囲気情報の分析と合成に関する研究

1999 Fiscal Year Annual Research Report

• Project/Area Number: 11480086
• Research Category: Grant-in-Aid for Scientific Research (B)
• Research Institution: Kyoto Institute of Technology
• Principal Investigator: 新美 康永 京都工芸繊維大学, 工芸学部, 教授 (00026030)
• Co-Investigator(Kenkyū-buntansha): 西本 卓也 京都工芸繊維大学, 工芸学部, 助手 (80283696) ; 荒木 雅弘 京都工芸繊維大学, 工芸学部, 助教授 (50252490)
• Keywords: 雰囲気のモデル化 / コミュニケーションの場 / 動作の雰囲気 / ジェスチャー認識 / 音声中の雰囲気 / ニュー波

Research Abstract

本研究の目的は、人間同士がコミュニケーションを行う場における動画像及び音声と、雰囲気に対する人間の知覚を、分析・合成可能な方法で対応づけてモデル化することである。本年度は、データの収録とラベリングに重点を置いて研究した。
(1)雰囲気を含む映像及び音声対話の収録(担当:新美):2人、3人及び多数の人が集まってコミュニケーションを行っている情景を収録した。また、状況を単純化するため、1人の人間が指定された雰囲気を醸し出すように演技を行った映像も収録した。最も単純な場合について、試視用映像を抽出し、多数の人が演技された雰囲気を感じるかどうかをアンケート形式で調べた。この結果を分析して、各雰囲気に特徴的な身振りや動作を抽出した。
(2)映像ラベリングとパラメータ抽出(担当:西本):簡単な手振りジェスチャーを収録した動画像から手の動きを表現するパラメータを自動的に抽出するシステムを作成した。さらに、各手振りを表す標準的なパラメータ軌跡と動的計画法を用いてマッチングをとり、手振りジェスチャーの認識を行い良好な結果を得た。
(3)音響情報のラベリングとパラメータ抽出(担当:荒木):収録した対話音声を言語的内容を無視した音響信号として扱い、種々の雰囲気と音響物理量との対応付けを行うラベリング支援システムを作成した。雰囲気と対応づけるパラメータとして、音声の振幅包絡の大局的な時間変化(これをニュー波という)を用いて、セールスマンと顧客との対話や2人が共同してパズルを解いているときの対話などを分析し、人間が聞き取った対話の雰囲気とパラメータとの関係を検討した。

Research Products

• [Publications] Y.Niimi: "Mathematical Analysis of Dialogue Strategies"Proc.of European Conf.on Speech Commnunication and Technology. 1403-1406 (1999)
• [Publications] T.Nishimoto: "An Asynchronous Virtual Meeting System for Bi-directional Speech Dialog"Proc.of European Conf.on Speech Communication and Technology. 2464-2467 (1999)