1997 Fiscal Year Annual Research Report

音声言語と図像の統合によるマルチモーダルコミュニケーション方式の研究

Research Project

Project/Area Number	08458078
Research Institution	KYOTO UNIVERSITY
Principal Investigator	堂下修司京都大学, 工学研究科, 教授 (00025925)
Co-Investigator(Kenkyū-buntansha)	荒木雅弘京都大学, 総合情報メディアセンター, 講師 (50252490) 河原達也京都大学, 工学研究科, 助教授 (00234104)
Keywords	マルチモーダルコミュニケーション / 対話 / 音声認識 / ジェスチャ / 作図システム / 情報統合
Research Abstract	本研究では、音声言語入力による作図システムの実現を通じて、人と機械とのマルチモーダルコミュニケーションを実現することを目標とし、本年度は以下にあげるような研究成果を得た。 1.音声・指示ジェスチャ・図像情報の統合複数モード入力に対して、時間的な同期性を仮定せずに対応付けをすることができる柔軟なモード統合手法を開発し、その有効性をマルチモーダルディクテーションシステムにおける情報伝達の信頼性向上によって評価した。 2.作図システムにおける音声・マウス指示を用いたマルチモーダルインタフェースの実現上記統合手法に加え、信頼できるマウス指示の認識結果を音声認識における制約として用いる手法を開発した。この制約利用によって、音声の認識率に6%の向上が見られた。また、これらの技術を統合したマルチモーダル作図システムを実現した。 3.マルチモーダル作図システムにおける図像情報と文脈情報を利用した発話解釈上記マルチモーダル作図システムにおいて、自然な音声発話(省略や参照、指示語や指示動作による曖昧性を含む指示)を解析するために、スタックによる文脈情報管理機構を実現し、マルチモーダル作図システムに組み込んだ。

Research Products
(8 results)

All Other

All Publications (8 results)

[Publications] Araki,M.: "Evaluating Dialogue Strategies under Various Communication Errors" Proc.of IJCAI Workshop on Collaboration,Cooperation and Conflict in Dialogue Systems. 13-18 (1997)
[Publications] 荒木雅弘: "マルチモーダル作図システムにおける文脈知識を利用した発話理解" 人工知能学会研究会資料SIG-SLUD-9703-1. (1998)
[Publications] 河原達也: "音声言語を用いた仮想空間との対話による試着システム" 情報処理学会論文誌. (採録決定). (1998)
[Publications] Kawahara,T.: "Speaking-style dependent lexicalized filler model for key-phrase detection and verification" 電子情報通信学会技術研究報告. SP97-78. (1997)
[Publications] Kawahara,T.: "Combining key-phrase detection and subword-based verification for flexible speech understanding" Proc.of ICASSP97. 1159-1162 (1997)
[Publications] Kawahara,T.: "Phrase language models for detection and verification-based speech understanding" Proc.IEEE Workshop on Automatic Speech Recognition and Understanding. 49-56 (1997)
[Publications] Araki,M.: ""Automatic Evaluation Environment for Spoken Dialogue Systems" in Mayer,E.et al.ed. "Dialogue Processing in Spoken Language Systems"" Springer-Verlag, 12 (1997)
[Publications] 堂下修司: "音声による人間と機械の対話" オーム社, 383 (1998)

1997 Fiscal Year Annual Research Report

音声言語と図像の統合によるマルチモーダルコミュニケーション方式の研究

Principal Investigator

堂下 修司 京都大学, 工学研究科, 教授 (00025925)

Research Products

[Publications] Araki,M.: "Evaluating Dialogue Strategies under Various Communication Errors" Proc.of IJCAI Workshop on Collaboration,Cooperation and Conflict in Dialogue Systems. 13-18 (1997)

[Publications] 荒木 雅弘: "マルチモーダル作図システムにおける文脈知識を利用した発話理解" 人工知能学会研究会資料SIG-SLUD-9703-1. (1998)

[Publications] 河原達也: "音声言語を用いた仮想空間との対話による試着システム" 情報処理学会論文誌. (採録決定). (1998)

[Publications] Kawahara,T.: "Speaking-style dependent lexicalized filler model for key-phrase detection and verification" 電子情報通信学会技術研究報告. SP97-78. (1997)

[Publications] Kawahara,T.: "Combining key-phrase detection and subword-based verification for flexible speech understanding" Proc.of ICASSP97. 1159-1162 (1997)

[Publications] Kawahara,T.: "Phrase language models for detection and verification-based speech understanding" Proc.IEEE Workshop on Automatic Speech Recognition and Understanding. 49-56 (1997)

[Publications] Araki,M.: ""Automatic Evaluation Environment for Spoken Dialogue Systems" in Mayer,E.et al.ed. "Dialogue Processing in Spoken Language Systems"" Springer-Verlag, 12 (1997)

[Publications] 堂下 修司: "音声による人間と機械の対話" オーム社, 383 (1998)

堂下修司京都大学, 工学研究科, 教授 (00025925)

[Publications] 荒木雅弘: "マルチモーダル作図システムにおける文脈知識を利用した発話理解" 人工知能学会研究会資料SIG-SLUD-9703-1. (1998)

[Publications] 堂下修司: "音声による人間と機械の対話" オーム社, 383 (1998)