自然言語音声を利用したマルチモーダルなマン・マシンインターフェースに関する研究

1996 Fiscal Year Annual Research Report

• Project/Area Number: 06452401
• Research Institution: Toyahashi University of Thechnology
• Principal Investigator: 中川 聖一 豊橋技術科学大学, 工学部, 教授 (20115893)
• Co-Investigator(Kenkyū-buntansha): 山本 幹雄 筑波大学, 第3学群, 講師 (40210562) ; 峯松 信明 豊橋技術科学大学, 工学部, 助手 (90273333)
• Keywords: 音声対話 / 音声認識 / 自然言語理解 / マルチモーダルインターフェース / 自然な発話

Research Abstract

(1) 音声対話システムの対話を支援し、ユーザに使い勝手のよいマン・マシンインターフェースを提供することを目的として、「音声入出力」以外に「ポインティングジェスチャ入力」や「画像による出力」などの複数の入出力手段(モダリティ)を相補的に統合し、同時あるいは逐次に用いるマルチモーダルインターフェースの研究も近年盛んに行なわれるようになってきている。
(2) 本研究室では、「富士山観光案内」をタスクとする日本語音声対話システムの開発を行った。このシステムは、ユーザの発声する音声を入力とし、その発話内容に対する観光案内を合成音声で応答する。普段我々が使用しているような話し言葉に近い『自然な発話』を理解することが可能になった。ここでいう『自然な発話』とは、発話文中に「間投詞」「未知語」「助詞落ち」「言い淀み・言い直し」「倒置」といった話し言葉特有の現象を含んだ発話のことである。
(3) しかし、マン・マシンインターフェースを音声のみで提供していたので、システムからの応答が音声のみで行われるために、ユーザに不安や負担を与えることがあった。そこで、「システムとの対話の途中経過表示」や「タッチ入力、及び指示詞や指示代名詞を含んだユーザの発話の許可」といった、マルチモーダルインターフェースの評価実験を行い、有効性を明らかにした。また、プロトタイプの開発を通じて、基本的な問題点を明らかにした。

Research Products

• [Publications] 山本幹雄: "メニューによりガイドされた文節単位による音声対話システム" 情報処理学会論文誌. 37・4. 461-469 (1996)
• [Publications] 山本幹雄: "人間の理解手法を用いたロバストな音声対話システム" 情報処理学会論文誌. 37・4. 471-481 (1996)
• [Publications] Min Zhou: "Succeding word prediction for speech recognition based on stochastic language model" Trans.IEICE Inf.& Syst.E79-D・4. 333-341 (1996)
• [Publications] 中川聖一: "セグメント統計量を用いた隠れマルコフモデルによる音声認識" 電子情報通信学会論文誌. 79-DII・12. 2032-2038 (1996)
• [Publications] 中川聖一: "音声対話システムの構成法とユーザ発話の関係" 電子情報通信学会論文誌. 79-DII・12. 2139-2145 (1996)
• [Publications] 伊藤敏彦: "マルチモーダルインターフェースと協調的応答を備えた観光案内対話システムの評価" 情報処理学会シンポジュウム、インタラクション'97. 135-142 (1997)