日米両国語による音声入力可能な高機能ユーザインターフェースの開発

1994 Fiscal Year Annual Research Report

• Project/Area Number: 06044055
• Research Institution: The University of Tokyo
• Principal Investigator: ワード ナイジェル 東京大学, 工学部, 助教授 (00242008)
• Co-Investigator(Kenkyū-buntansha): TAJCHMAN Gar 国際コンピューターサイエンス研究所, 音声課, 研究員 ; MORGAN Nelso 国際コンピューターサイエンス研究所, 音声課・カリフォルニア大学・工学部, 研究員助教授 ; JURAFSKY Dan 国際コンピューターサイエンス研究所, 音声課・カリフォルニア大学・工学部, 研究員助教授 ; 寺田 実 東京大学, 工学部, 助教授 (80163921) ; 井上 博允 東京大学, 工学部, 教授 (50111464)
• Keywords: あいずち / 音声 / 理解 / ユーザー・インタフェース / ノイズ / 英語 / 日本語 / 文法

Research Abstract

<進展状況>知能留守番電話(自動応答、転送、伝言のうけとりなどの機能を音声で応答するもの)の日本語版を作成した。PEPとBeRPの、それぞれに基づいた、簡単な質問に応答するシステムを作成し、評価した。
研究用word spotter(単語認識ソフト)をインターネットで公開した。実験及び評価用データを7年度に公開するためのソフトを半分できた。<得られた知見>構文木を組み立てる必要は(少なくても小語彙の場合)なく、文法知識活用にはより簡単な方法がある。数値的かつ並列的なパーザー(PEPなど)を使用すれば、ニューラル的な意味推論モジュールからのフィードバックは活用できる。BeRPの実験結果で、言語モデルより、正確な文法知識を使用する方が音声認識率が高くなる。<新点>計画した研究とは違うが、人間が緊張せずに音声理解機能付きインタフェースを利用できるための不可欠な機能であるあいづち機能の研究を始めた。これは見発表の研究なので、この機会を使って、概要を説明する。まず、会話における相槌の観察から、相槌が必ずしも言語情報によってのみ打たれるものではないことを示した。即ち、情報は抑揚・話す速さ・身振などの言語情報以外の情報も相槌を打つ手がかりになるのであることを確認した。そこでこの中から抑揚を注目し抑揚の持つ情報を研究した。抑揚は「疑問」・「念押し」などの意思・感情を伝えることを実験により示した。その実験の結果は、発言に込められた意思・感情が話し終りの抑揚とその時間方向の勾配に反映されるというものであった。そして、この抑揚と意思・感情の関係をモデル化し、人間の発言から人間の意思・感情を判定するシステムを作製した。このモデルは、意思判定に言語情報を用いていないにもかかわらず、意味的にもふさわしい判定を多く行なった。勿論、誤判断もあったが、抑揚という非言語情報のみで意思読みとりという意味論的な判断を行うことが出来た。

Research Products

• [Publications] Nigel Ward: "An Approach to Tightly-Coupled Syntactic/Semantic Processing for Speech Understanding" Proceedings of the AAAT Workshop on the Integration of Natural Language and Speech Processing. 50-57 (1994)
• [Publications] Jurafsky,Daniel: "Using a stochastic contex-free grammar as a language model for speech recognition" IEEE ICASSP-95. (1995)
• [Publications] Morgan,Nelson: "Modeling Dynamics in Connectionist Speech Recog-nition-The Time Index Model" International Conference on Spoken Language Processing. 3. 1523-1526 (1994)