ロボット視覚における人物行動理解のための音声言語情報を援用した注意制御機構の実現

1995 Fiscal Year Annual Research Report

• Project/Area Number: 07245203
• Research Institution: University of Tsukuba
• Principal Investigator: 中村 裕一 筑波大学, 電子・情報工学系, 講師 (40227947)
• Co-Investigator(Kenkyū-buntansha): 大田 友一 筑波大学, 電子・情報工学系, 教授 (50115804)
• Keywords: 人物行動理解 / 動作と発話の関係 / 自然言語処理 / 注視点の選択 / 画像理解 / ヒューマンインタフェース / マン・マシンコミュニケーション / 知能ロボット

Research Abstract

視覚による人間の行動理解や追跡を柔軟に行なうための機構,すなわち,人間の発話,行動の柔軟に対応し,視覚によるセンシングのためのタイミングや注視点を動的に選択するための機構の実現を目的として,研究を行なった.具体的には,人間の重要なコミュニケーション手段である身振り動作(ジェスチャーよりもより広い範囲を含む)とそれと同時に発せられる発話との関係を調査し,発話者の意図を推定するための基礎的な研究を行った.
1.人間の動作には種々の意味(動作種別)があり,数種類に大別されることが従来より明らかになっている.本研究では,発話内容を考慮することによって,人間の動作種別を識別すること,その結果多くの注目対象候補から最も重要な注目点を選ぶための基本的手法を提案した.現在の段階では,あらかじめ整備された環境で,(1)手や頭を中心とした身振り動作を計測し,(2)時間的に同期した発話内容の自然言語解析し,(3)両者の整合性をチェックすることで,動作種別,注目すべき点が絞り込めることを確認している.今後,より一般的な場面で上記の処理を行うための研究を行う予定である.
2.注目すべき点として与えられた候補点を追跡し,新たな情報を得るためのカメラ制御システムについて研究を行った.そのために,一台の可動型カメラを構成し,注視点を移動しながら人物の行動認識において重要な部分を撮像する制御系を構築した.また,注目点から新しい情報を注出するための位置,解像度の選択方法について検討を行った.今後,実際に人間が対話を望んでいる場面でカメラを動かし,その有効性を確かめる予定である.

Research Products

• [Publications] 中村裕一: "プレゼンテーション映像における話者の行動理解" 信学技報 パターン認識・理解. 95-143. 51-56 (1995)
• [Publications] 上堀幸代: "画像特徴を音響特徴を利用したCM映像の自動的構造化手法" 信学技報 パターン認識・理解. 95-159. 9-12 (1995)
• [Publications] 向川康博: "Synthesis of Arbitrarily Oriented Face Views from Two Images" Asian Conference on Computer Vision,Singapore. 3. 718-722 (1995)
• [Publications] 角保志: "Detection of Face Orientation and Facial Components Using Distributed Appearance Model" Int.Workshop on Automatic Face-and Gesture Recognition. 254-259 (1995)
• [Publications] 中村裕一: "Knowledge Extraction from Diagram and Text for Media Integration" Proc. Int. Conference on Multimedia Computing and Systems. (to be published). (1996)
• [Publications] 蔵田武史: "隠れ境界上の特徴点追跡法" 信学技報 パターン認識・理解. 95-205. 55-62 (1996)