自然言語音声を利用したマルチモーダルなマン・マシンインターフェースに関する研究

1995 Fiscal Year Annual Research Report

• Project/Area Number: 06452401
• Research Institution: Toyohashi University of Technology
• Principal Investigator: 中川 聖一 豊橋技術科学大学, 工学部, 教授 (20115893)
• Co-Investigator(Kenkyū-buntansha): 峯松 信明 豊橋技術科学大学, 工学部, 助手 (90273333) ; 井上 克巳 豊橋技術科学大学, 工学部, 助教授 (10252321)
• Keywords: 音声対話 / 音声認識 / タッチ入力 / マルチモーダル

Research Abstract

我々の研究室で開発を行なってきた「富士山の観光案内」をタスクとする音声対話システムでは、マンマシンインターフェイスとしては主に音声のみを用いていた。しかし、システムからの返答が音声のみで行なわれる場合には、返答内容の一部をユーザが聞き逃してしまう等の問題が生じるために、ユーザに不安や負担を与えることになりかねなかった。
そこで本年度は、昨年度の簡単なマルチモーダルインターフェースの開発実験をもとに、ユーザに不安や負担を与えないことを目的とした、システムとの対話の途中経過表示や、タッチ入力&指示代名詞を含んだ発話の実現といった、システムのマルチモーダルインターフェース化により、自然な対話が行なえるようにした。
まず、システムからの返答や過去の対話で得られた情報を記憶し、ユーザが必要とする情報を、対話の途中経過表示として、以下の3種類の手段によって実現した。
1.現在の対話内容に対応する場所の地図を表示。
2.システムからの返答文が多くの項目を含んでいる場合に、これらをメニューとして表示。
3.システムとの対話から得られた情報の内、各観光施設の情報を、対話履歴として随時表示。
次に、ユーザがシステムからの多くの内容を含んだ返答文の一部を聞き逃してしまった場合に、以降の対話で聞き逃した観光地名等を対象とする質問をしたいと思うユーザを助けるため、ディスプレイ上に表示されたメニュー内の項目、若しくは、地図上の位置や地名等に触れながら(タッチ入力)、これを指示代名詞で言い表すことによって、システムとの対話を行なえる、タッチスクリーン入力法を実現した。

Research Products

• [Publications] Seiichi Nakagawa: "A multi-model interface with speech and touch screen" Proc. Sixth Int. Conf. HCI. 213-218 (1995)
• [Publications] Mikio Yamamoto: "A menue-guided spoken dialog system and its evaluation" Proc. Sixth Int. Conf. HCI. 547-552 (1995)
• [Publications] 傳田 明弘: "日本語音声による観光案内システムのマルチモーダルインターフェース化" 情報処理学会,第52回全国大会論文集. (1996)