1998 Fiscal Year Annual Research Report
音声言語の発話同時理解に基づくマルチモーダルインタフェースに関する研究
| Project/Area Number |
10480070
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
稲垣 康善 名古屋大学, 工学研究科, 教授 (10023079)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
松原 茂樹 名古屋大学, 言語文化部, 助手 (20303589)
河口 信夫 名古屋大学, 工学研究科, 助手 (10273286)
梶田 将司 名古屋大学, 情報メディア教育センター, 助手 (30273296)
外山 勝彦 名古屋大学, 工学研究科, 助教授 (70217561)
|
|---|
| Keywords | マルチモーダルインタフェース / 音声言語処理 / 自然言語処理 / 自然言語の漸進的解釈 / 発話同時理解 / 即時応答 / 話し言葉理解 / 図形エディタ |
|---|
| Research Abstract |
話し言葉(音声言語)を用いたヒューマンインタフェースは,親しみやすく使いやすい計算機システムの実現を可能にする。人と計算機の高度な対話を実現するためには,人が文を発話中に,システムが意味の解釈を随時行い,返答やあいづちを行ったり,適切な反応や処理を行うことが望ましい。本研究は,そのような音声言語を発話と同時に理解するマルチモーダルインタフェースの要素技術の確立,およびその実現を目的とし,以下の項目について研究を実施している。
(1) 発話同時理解のための連続音声認識技術:
従来の音声認識技術は,1文単位の文法情報や単語の接続確率を用いて認識率の向上させてきたが,本研究では文法情報を用いずに,連続音声から可能なかぎり単語単位で認識を行う技術を確立する。
(2) 自然言語の漸,進的な意味解釈手法:
従来の自然言語処理手法は文単位で意味を求めていたが,本研究では,発話の途中であっても入力文の意味をできる限り解釈する手法を確立する。また,意味情報を用いた音声認識率向上を目指す。
(3) 複数モダリティの同期手法:
発話の途中でもユーザの操作に対し適切に反応するため,音声入力による言語情報と,マウスボインティングやジェスチャ等の他の入力情報との同期手法を確立する。
初年度にあたる本年度は、特に(2),(3)についての研究成果を得た。意味解釈手法としては、タスクを特定のドメインに限定したドメイン依存の手法を開発し、プロトタイプシステムを実現した。Sync/Drawは作図タスクを対象とした図形エディタであり、線分や円等の作図を話し言葉とポインティングデバイスにより可能にするシステムである。話し言葉入力を単語単位で即座にオブジェクトと呼ばれる図形操作の意味表現へと変換し、画面に反映することにより、本システムは話し言葉に対する発話同時理解を実現している。Sync/Mailはメールの検索や閲覧、発信等を話し言葉とポインティングデバイスにより行うメールツールである。メール処理の最小単位に対応する言語を定め、話し言葉を漸進的に変換することにより、発話と同時にメールの検索を可能にした。o複数モダリティの同期のためには、従来の文法的手法を用いず、タスクに依存した同期手法を開発した。タスク依存解析とタスク独立解析を同時に実行し、もっとも多くの情報を保持するものを用いることにより、タスクに依存したモダリテイの同期が可能になる。
|
-
[Publications] 河口 信夫: "発話同時理解に基づくマルチモーダル図形エディタ" 情報処理学会研究報告 音声言語研究会SLP. 22. 1-6 (1998)
-
[Publications] 松原 茂樹: "マルチモーダル図形エディタのための漸進的な話し言葉処理手法" 情報処理学会研究報告 音声言語研究会SLP. 23. 7-12 (1998)
-
[Publications] 松永 悟: "Sync/Mail:話し言葉の漸進的変換に基づく即時応答インタフェース" 情報処理学会研究報告 音声言語研究会SLP. 24. 33-40 (1998)
-
[Publications] 加藤 芳秀: "文法的不適格文に対する漸進的構文解析手法" 電子情報通信学会技術研究報告NLC. 6. 39-46 (1998)
-
[Publications] 松永 悟: "発話に即時応答可能なメールツールの提案" 情報処理学会第57回全国大会講演論文集. 4. 209-210 (1998)
-
[Publications] 加藤 芳秀: "漸進的な構文解析における出力タイミング決定の一手法" 情報処理学会第57回全国大会講演論文集. 2. 203-204 (1998)
