知的インターフェイスのためのマルチモーダル情報を用いたユーザの意図理解

2003 Fiscal Year Annual Research Report

• Project/Area Number: 13680471
• Research Institution: Fukuoka University
• Principal Investigator: 鶴田 直之 福岡大学, 工学部, 助教授 (60227478)
• Co-Investigator(Kenkyū-buntansha): 前田 佐嘉志 福岡大学, 工学部, 助手 (90330901) ; 森元 逞 福岡大学, 工学部, 教授 (10309891)
• Keywords: ユーザインターフェイス / マルチモーダル / 意図理解 / 対話システム / 画像認識 / リップリーディング / 音声言語理解

Research Abstract

本研究は、画像と音声、タッチパネルを併用したマルチモーダル情報を利用してユーザの意図を理解することにより、自然で頑健な対話型インターフェイスを実現したものである。
一般に、ユーザの意図理解は次の3つの段階に分けることができる。(A)システムの周囲で行動する人物等の追尾。(B)システムに接近して来る人物の発見と利用意志の確認。(C)利用中に生ずる対話のためのユーザの意図理解。(B)では、特殊なセンサーを用いてシステム端末に接近する物体を検知するものが不自然さが残る。(C)については、ユーザの無意識の行動なのか意図的な行動なのかは画像情報だけでは判断が難しい。更に、3つの段階の間を移行する状態を扱った研究はなく、自然なインターフェイスは実現されていない。
一方、音声/画像を用いたインターフェイスは、現時点において頑健ではない。一方、タッチパネルを用いたインターフェイスは、不自然で使いにくいものであるものの、環境等に左右されない頑健なものである。したがって、極力自然なインターフェイスを用いつつ、確実性が要求される部分において頑健なインターフェイスを用いるといったメディア選択の概念も必要であろう。
そこで、本研究では、(A)については他の研究の成果を流用するものとし、以下の3点について新たな方式を提案した。(1)(B)の段階で接近するユーザを検知した場合、システムから能動的な情報収集を行い、それに対するユーザの振舞を解析して自然な対話の開始を実現することにより、(B)から(C)への自然な移行を実現した。(2)(C)の段階において、リップリーディングの併用や対話における文脈情報を積極的な利用により発話認識の精度向上を目指し、自然な対話を可能にするための基礎技術を確立した。なお、ユーザとの対話の進行には、対話プランの動的生成モデルを利用した。(3)(B)および(C)の段階において、対話が安定に進まない場合の最終手段としてメニュー画面およびタッチパネルの併用を前提とした上で、可能な限り音声/画像対話を用いるというメディア選択のための制御方式を確立した。

Research Products

• [Publications] Tarek EL.Tobely, N.Tsuruta, M.Amamiya: "The Competitive Algorithm of The Hypercolumn Neural Network Toward Real-time Image Recognition"Journal of Neural Network World. 1-03. 15-39 (2003)
• [Publications] N.Tsuruta, A.M.Sagheer, T.Iuchi, T.EL.Tobely: "Self-organizing Feature Maps for HMM Based Lip-reading"Lecture notes in computer science (Springer). 2774. 162-168 (2003)
• [Publications] S.Takahashi, T.Morimoto, S.Maeda, N.Tsuruta: "Robust Speech Understanding Based on Expected Discourse Plan"Proc.of the EUROSPEECH. 1. 661-664 (2003)
• [Publications] S.Takahashi, T.Morimoto, S.Maeda, N.Tsuruta: "Dialogue Experiment for Elderly People in Home Health Care System"Proc. of the TSD2003. 1. 418-423 (2003)