マルチモーダル対話システムの開発及び音声対話システム作成ツールの開発

1997 Fiscal Year Annual Research Report

• Project/Area Number: 08558030
• Research Institution: Toyohashi University of Technology
• Principal Investigator: 中川 聖一 豊橋技術科学大学, 工学部, 教授 (20115893)
• Co-Investigator(Kenkyū-buntansha): 新田 恒雄 東芝, マルチメディア技術研究所, 主幹 ; 山本 幹雄 筑波大学, 第3学類, 講師 (40210562) ; 甲斐 充彦 豊橋技術科学大学, 工学部, 助手 (60283496) ; 峯松 信明 豊橋技術科学大学, 工学部, 助手 (90273333)
• Keywords: 音声認識 / 公開ソフトウェア / 音声対話 / マルチモーダル / エージェント

Research Abstract

一般に音声対話のアプリケーションの構築において、システムは音声認識処理、対話処理、音声応答処理など、複数の要素から構成される。システムの構築や拡張において柔軟な対応を可能とするために、これまで我々が改良を進めてきた連続音声認識システムSPOJUS-SYNOをもとに、クライアント・サーバ構成をベースとして、他のコンポーネントとの連携をより容易にする音声認識サーバを開発した。本システムは、文脈自由文法および単語辞書からなる言語モデルを逐次切替えることが可能で、対話型のシステムにおける利用への対応を図っている。
音声のみで入力手段を提供していた音声対話システムでは、システムからの応答が音声のみで行われるために、ユーザに不安や負担を与えることがあった。そこで、「システムとの対話の途中経過表示」や「タッチ入力、及び、指示詞や指示代名詞を含んだユーザ発話の許可」といった、マルチモーダルインタフェースの実現を試みてきた。
また、ユーザの質問文に、検索に必要な情報が含まれていなかったり、検索結果の数が多い場合等はユーザへの質問を行ったり、ユーザの望む検索結果が得られなかった場合、それに代わる代案を提供し、ユーザへの協調応答によってユーザにかかる負担や不安を軽減する方法を実現した。
最近では、計算機と人間とのインタラクションを、対話システム上でエージェントという形で実現しようとする研究も盛んに行われている。本研究では、音声入出力、タッチ入力、テキスト/画像出力、及びエージェントインタフェースがユーザと情報を「相補的」にやり取りする、マルチモーダルインタフェースを備えた観光案内対話システムを実現し、被験者を募って行ったインタフェースの評価実験により、その有効性を確認した。

Research Products

• [Publications] 中川聖一: "マルチモーダル観光案内対話システム" 人工知能学会誌. 13・2. 241-251 (1998)
• [Publications] 伊藤敏彦: "協調的応答を備えた観光案内音声対話システムとその評価" 情報処理学会論文誌. 39・3. (1998)
• [Publications] 甲斐充彦: "自然な発話を対象としたパソコン/ワークステーション用連続音声認識ソフトウェア" 日本音響学会秋季研究発表会論文集. (1997)