マルチモーダル対話システムの開発及び音声対話システム作成ツールの開発

1998 Fiscal Year Annual Research Report

• Project/Area Number: 08558030
• Research Institution: Toyohashi University of Technology
• Principal Investigator: 中川 聖一 豊橋技術科学大学, 工学部, 教授 (20115893)
• Co-Investigator(Kenkyū-buntansha): 山本 幹雄 筑波大学, 第3学類, 助教授 (40210562) ; 甲斐 充彦 豊橋技術科学大学, 工学部, 助手 (60283496) ; 澤松 信明 豊橋技術科学大学, 工学部, 助手 (90273333) ; 新田 恒雄 豊橋技術科学大学, 工学部, 教授
• Keywords: 音声認識 / 公開ソフトウェア / 音声対話 / マルチモーダル / エージェント

Research Abstract

一般に音声対話のアプリケーションの構築において、システムは音声認識処理、対話処理、音声応答処理など、複数の要素から構成される。システムの構築や拡張において柔軟な対応を可能とするために、これまで我々が改良を進めてきた連続音声認識システムSPOJUS-SYNOをもとに、クライアント・サーバ構成をべースとして、他のコンポーネントとの連携をより容易にする音声認識サーバを開発し、公開した。
音声のみで入力手段を提供していた音声対話システムでは、システムからの応答が音声のみで行われるために、ユーザに不安や負担を与えることがあった。そこで、「システムとの対話の途中経過表示」や「タッチ入力、及び指示詞や指示代名詞を含んだユーザ発話の許可」といった、マルチモーダルインタフェースを実現した。
本研究では、音声入出力、タッチ入力、テキスト/画像出力、及びエージェントインタフェースがユーザと情報を「相補的」にやり取りする、マルチモーダルインタフェースを備えた観光案内対話システムを実現し、被験者に募って行ったインターフェースの評価実験により、その有効性を確認した。
また、ユーザの質問文に、検索に必要な情報が含まれていなかったり、検索結果の数が多い場合等はユーザへの質問を行ったり、ユーザの望む検索結果が得られなかった場合、それに代わる代案を提供し、ユーザへの協調的応答によってユーザにかかる負担や不安を軽減する方法を実現した。
最後に、本音声対話システムを他のタスクに移植するのが困難なことから、汎用性のあるデータベース検索用音声対話システムの枠組を開発した。

Research Products

• [Publications] 甲斐 充彦: "冗長語・言い直しを含む発話のための未知語処理を用いた音声認識システムの評価" 電子情報通信学会論文誌. 80DII-10. 2615-2625 (1997)
• [Publications] 中川聖一: "マルチモーダル観光案内対話システム" 人工知能学会誌. 13・2. 241-251 (1998)
• [Publications] 中川聖一: "Bigramの使用による話し言葉用確率文脈自由文法の自動学習" 情報処理学会論文誌. 39・3. 575-584 (1998)
• [Publications] 伊藤敏彦: "協調的応答を備えた観光案内音声対話システムとその評価" 情報処理学会論文誌. 39・5. 1248-1257 (1998)
• [Publications] 小暮 悟: "音声対話システムの移植性に関する考察" 情報処理学会、音声言語情報処理研究報告. SLP25. 13-18 (1999)
• [Publications] 甲斐 充彦: "単語N-gram言語モデルを用いた音声認識システムにおける未知語・冗長語処理" 情報処理学会論文誌. 40・4. (1999)
• [Publications] 堂下 修司: "音声による人間と機械との対話" オーム社, 383 (1998)
• [Publications] 田窪 行則: "音声" 岩波書店, 256 (1998)