音声言語の発話同時理解に基づくマルチモーダルインタフェースに関する研究

1999 Fiscal Year Annual Research Report

• Project/Area Number: 10480070
• Research Institution: Nagoya University
• Principal Investigator: 稲垣 康善 名古屋大学, 工学研究科, 教授 (10023079)
• Co-Investigator(Kenkyū-buntansha): 梶田 将司 名古屋大学, 情報メディア教育センター, 助手 (30273296) ; 河口 信夫 名古屋大学, 工学研究科, 講師 (10273286) ; 外山 勝彦 名古屋大学, 工学研究科, 助教授 (70217561) ; 松原 茂樹 名古屋大学, 言語文化部, 助手 (20303589)
• Keywords: マルチモーダルインタフェース / 音声言語処理 / 自然言語処理 / 自然言語の漸進的解釈 / 発話同時理解 / 即時応答 / 話し言葉理解 / 音声対話

Research Abstract

親しみやすく使いやすい計算機システム実現のためには,話し言葉(音声言語)を用いたヒューマンインタフェースが必要不可欠である。人と計算機がなめらかな対話を行うためには,人が文を発話中にシステムが意味の解釈を随時行い,返答やあいづちを行ったり,適切な反応や処理を行うことが望ましい。本研究は,そのような音声言語を発話と同時に理解するマルチモーダルインタフェースの要素技術の確立,およびその実現を目的とし,以下の項目について研究を実施している。
(1)自然言語の漸進的な意味解釈手法:
従来の自然言語処理手法は文単位で意味を求めていたが,本研究では,発話の途中であっても入力文の意味をできる限り解釈する手法を確立する。また,意味情報を用いた音声認識率向上を目指す。
(2)発話同時理解のための連続音声認識技術:
従来の音声認識技術は,1文単位の文法情報や単語の接続確率を用いて認識率の向上させてきたが,本研究では文法情報を用いずに,連続音声から可能なかぎり単語単位で認識を行う技術を確立する。
(3)マルチドメインシステムの統合手法:
各ドメインにおいて独立に構築した音声対話システムを,結合することにより,マルチドメインシステムの実現を可能とするアーキテクチャを構築する。
最終年度にあたる本年度は,特に(1),(3)についての研究成果を得た。漸進的な意味解釈において,係り受け関係を用いた即時理解手法を開発した。前年度に構築した,プロトタイプシステムSync/Mailはメールの検索や閲覧,発信等を話し言葉とポインティングデバイスにより行うメールツールである。メール処理の最小単位に対応する言語を定め,話し言葉を漸進的に変換することにより,発話と同時にメールの検索を可能にした。本年度では,このシステムに対する評価実験を行い,漸進的な処理が操作を効率化することを確認した。
また,複数のドメインを対象とする音声対話システムを実現するアーキテクチャを提案した。本アーキテクチャでは,認識された音声が各サブシステムに分配され,評価結果を統合した結果から選択し実行する。これにより,複数のドメインのシステムを,音声により同時に扱うことが可能になる。
(2)については,漸進的な音声認識システムを試作し,Sync/Mailと結合して評価を行った。

Research Products

• [Publications] 伊藤傑: "係り受け関係を用いた即時発話理解―音声対話メールシステムにおける手法―"平成12年度言語処理学会全国大会. 220-223 (2000)
• [Publications] Nobuo Kawaguchi: "An Architecture for Multi-Domain Spoken Dialog Systems"Proceedings of the NLPRS'99. 463-466 (1999)
• [Publications] 松原茂樹: "英日話し言葉翻訳のための漸進的文生成手法"情報処理学会研究報告 自然言語処理研究会NL. 132. 88-91 (1999)
• [Publications] 佐野諭: "漸進的処理に基づく音声対話メールツールSync/Mailの評価"情報処理学会第59回全国大会講演論文集. 4. 209-210 (1999)
• [Publications] 加藤芳秀: "確率文脈自由文法を用いた漸進的構文解析における出力タイミング決定手法"情報処理学会第59回全国大会講演論文集. 4. 120-121 (1999)
• [Publications] 田島慶一: "漸進的な連続音声認識システムの試作"平成11年度電気関係学会東海支部連合大会講演論文集. 598-598 (1999)