知的インターフェイスのためのマルチモーダル情報を用いたユーザの意図理解

2002 Fiscal Year Annual Research Report

• Project/Area Number: 13680471
• Research Institution: Fukuoka University
• Principal Investigator: 鶴田 直之 福岡大学, 工学部, 助教授 (60227478)
• Co-Investigator(Kenkyū-buntansha): 前田 佐嘉志 福岡大学, 工学部, 助手 (90330901) ; 森元 逞 福岡大学, 工学部, 教授 (10309891)
• Keywords: 意図理解 / 画像認識 / ジェスチャー認識 / リップリーディング / 顔検出 / 唇検出

Research Abstract

研究実績の概要は以下のとおり.
今日、様々な形で日常生活に計算機が浸透しているため、計算機に不慣れな人でも安心して利用できる自然で頑健なマン・マシンインターフェイスが求められている。そこで、本研究では、画像情報を利用してユーザの意図を理解し、「身ぶり手振りを交えた自然なインターフェイス」や「障害者や老人も利用可能な頑強なインターフェイス」を実現することを目的としている。
これに対し、平成14年度に行った研究の概要は以下の通りである。
・対話開始処理の実践的評価
平成13年度に実装した対話開始部を様々な環境でテストし、実践的な評価を行った。その結果、計算機端末に近付いて来た人物を検出し、利用意思を持ってディスプレイ正面に座った人物の顔領域を画像中から検出可能であることが確かめられた。また、検出した顔領域から唇領域を検出し、実時間で唇位置を追跡できることを確認した。
・対話中のユーザの意図理解
上記の唇検出位置に対して、リップリーディング処理を適応し、1分程度の発話練習をした学生の場合、70%以上の認識率が得られることを確認した。高齢者の場合、口をはっきり開けることができる人であれば、学生と同様に70%以上の認識率が得られる。逆に、口をはっきり開けることができない人の場合には、30%に低下する。
・対話データの収集
上の実験結果から、リップリーディングの学習データの収集方法などに関する新しい知見を得た。

Research Products

• [Publications] Shin-ya Takahashi, Tsuyoshi Morimoto, Sakashi Maeda, Naoyuki Tsuruta: "Spoken Dialogue System for Home Health Care"Proc. Int. Conf. Spoken Language Processing. 4. 2709-2712 (2002)
• [Publications] 鶴田, 重田, 前田, 高橋, 森: "在宅健康管理のための対話システム"ヒューマンインターフェイス学会研究報告集. 4-4. 25-39 (2002)
• [Publications] Naoyuki TSURUTA, Tarek EL.Tobely, Yuichiro YOSHIKI: "A Randmized Self-organizing Map for Gesture Recognition"Int. Journal of Japan Society for Fuzzy Theory and Systems. 14-1. 82-87 (2002)
• [Publications] Tarek EL.Tobely, Naoyuki TSURUTA, Makoto Amamiya: "A Lip Reading System for Japanese Language Based on the Hypercolumn Neural Network"Proc. of the Int. Conf. on Aritificial Intelligence and Applications. 198-203 (2002)
• [Publications] Tarek EL.Tobely, Naoyuki TSURUTA, Makoto Amamiya: "On-Line Speech-Reading System for Japanese Language"Proc. of the Int. Conf. of Information neural Processing. 1188-1193 (2002)