音声言語と図像の統合によるマルチモーダルコミュニケーション方式の研究

1997 年度 実績報告書

• 研究課題/領域番号: 08458078
• 研究機関: 京都大学
• 研究代表者: 堂下 修司 京都大学, 工学研究科, 教授 (00025925)
• 研究分担者: 荒木 雅弘 京都大学, 総合情報メディアセンター, 講師 (50252490) ; 河原 達也 京都大学, 工学研究科, 助教授 (00234104)
• キーワード: マルチモーダルコミュニケーション / 対話 / 音声認識 / ジェスチャ / 作図システム / 情報統合

研究概要

本研究では、音声言語入力による作図システムの実現を通じて、人と機械とのマルチモーダルコミュニケーションを実現することを目標とし、本年度は以下にあげるような研究成果を得た。
1.音声・指示ジェスチャ・図像情報の統合
複数モード入力に対して、時間的な同期性を仮定せずに対応付けをすることができる柔軟なモード統合手法を開発し、その有効性をマルチモーダルディクテーションシステムにおける情報伝達の信頼性向上によって評価した。
2.作図システムにおける音声・マウス指示を用いたマルチモーダルインタフェースの実現
上記統合手法に加え、信頼できるマウス指示の認識結果を音声認識における制約として用いる手法を開発した。この制約利用によって、音声の認識率に6%の向上が見られた。また、これらの技術を統合したマルチモーダル作図システムを実現した。
3.マルチモーダル作図システムにおける図像情報と文脈情報を利用した発話解釈
上記マルチモーダル作図システムにおいて、自然な音声発話(省略や参照、指示語や指示動作による曖昧性を含む指示)を解析するために、スタックによる文脈情報管理機構を実現し、マルチモーダル作図システムに組み込んだ。

研究成果

• [文献書誌] Araki,M.: "Evaluating Dialogue Strategies under Various Communication Errors" Proc.of IJCAI Workshop on Collaboration,Cooperation and Conflict in Dialogue Systems. 13-18 (1997)
• [文献書誌] 荒木 雅弘: "マルチモーダル作図システムにおける文脈知識を利用した発話理解" 人工知能学会研究会資料SIG-SLUD-9703-1. (1998)
• [文献書誌] 河原達也: "音声言語を用いた仮想空間との対話による試着システム" 情報処理学会論文誌. (採録決定). (1998)
• [文献書誌] Kawahara,T.: "Speaking-style dependent lexicalized filler model for key-phrase detection and verification" 電子情報通信学会技術研究報告. SP97-78. (1997)
• [文献書誌] Kawahara,T.: "Combining key-phrase detection and subword-based verification for flexible speech understanding" Proc.of ICASSP97. 1159-1162 (1997)
• [文献書誌] Kawahara,T.: "Phrase language models for detection and verification-based speech understanding" Proc.IEEE Workshop on Automatic Speech Recognition and Understanding. 49-56 (1997)
• [文献書誌] Araki,M.: ""Automatic Evaluation Environment for Spoken Dialogue Systems" in Mayer,E.et al.ed. "Dialogue Processing in Spoken Language Systems"" Springer-Verlag, 12 (1997)
• [文献書誌] 堂下 修司: "音声による人間と機械の対話" オーム社, 383 (1998)