知的インターフェイスのためのマルチモーダル情報を用いたユーザの意図理解

2001 Fiscal Year Annual Research Report

• Project/Area Number: 13680471
• Research Institution: Fukuoka University
• Principal Investigator: 鶴田 直之 福岡大学, 工学部, 助教授 (60227478)
• Co-Investigator(Kenkyū-buntansha): 前田 佐嘉志 福岡大学, 工学部, 助手 (90330901) ; 森元 逞 福岡大学, 工学部, 教授 (10309891)
• Keywords: ユーザインターフェイス / マルチモーダル / ジェスチャ認識 / 意図理解 / 対話モデル

Research Abstract

本研究では、障害者や老人でも計算機システムを利用できるように、「身振り手振り(ジェスチャ)を交えた自然で頑健なインターフェイス」の実現を目指している。このようなインターフェイスにおいて、カメラから入力したジェスチャ映像を基にして利用者の意図を理解するためには、次の3段階の処理が必要である。(A)システム周辺で行動する人物等の追尾。(B)システムに接近してくる人物の発見と利用意思の確認。(C)利用中に生ずる対話のための利用者の意図理解。ここでの課題は、以下の3点である。(1)(B)の実時間処理を可能にすることにより、特別な端末操作やポーズ(姿勢の静止)を利用者に要求することなく、(A)から(C)へスムースに移行できること。(2)(C)においてリアルタイムに利用者のジェスチャを識別できること。(3)(C)において利用者の単純なジェスチャと意図を正確に結びつけるために、能動的な問いかけによる情報収集と、文脈情報を利用した意図の絞込みが行えること。
今年度は、課題の(1)に対して、利用意志をもってシステムに対座した利用者を瞬時に検出して(A)から(B)、(B)から(C)へスムースに移行する方式を提案した。具体的には、ディスプレイ光の利用者への映り込みを解析することによって複雑な背景下でも安定した検出が可能になった。同時に、画像中の利用者の顔領域を特定することができ、(C)で必要な目や唇領域の検出が可能になった。また、課題の(2)に関して、画像情報を用いて利用者のジェスチャを実時間で認識する方式の提案を行った。本方式を「手話による数字表現の読み取り」と「唇の形状による発話の母音の読み取り」に適応し、良好な結果を得た。更に、課題の(3)に関して、対話内容に応じて能動的な問いかけ内容を変更する対話モデルと対話プラン生成法を提案し、プロトタイプを作成した。

Research Products

• [Publications] 高橋, 森元, 鶴田, 前田: "音声対話による在宅健康管理支援システム"インタラクション2002論文集、IPSJ Symposium Series. 2002・7. 193-194 (2002)
• [Publications] T.Tsuruta, T.El.Tobely, Y.Yoshiki: "A Randomized Self-organizing Maps for Gesture Recognition"日本ファジィ学会誌. 14・1. 822-887 (2002)
• [Publications] S.Maeda, S.Takahashi, N.Tsuruta, T.Morimoto: "A Home Health Care System Composed of Diagnostic and Dynamic Dialogue System"Proc. of First International workshop on e-house and e-healthcare. Session2-Session2 (2001)
• [Publications] N.Tsuruta, Y.Yoshiki, T.El.Tobely: "A Randomized Hypercolumn Model and Gesture Recognition"Connectionist Models of Neurons, Learning Processes, and Artificial Intelligence, Springer. LNCS 2084. 235-242 (2001)